mmfdr 发表于 2015-1-26 00:14
TXT文件合并后，上边那个就可以做到，下边的AB是相同行都不保留了，两个文件都去掉了
基本有思路了
先下了，明天再试试
GN
joneni 发表于 2015-1-26 00:17
但这样不是把文件越拼越大吗？
大了可以分割成多个小文件，要不不去重复各个小文件都有重复
看似笨办法 其实是最靠谱的 至于时间 那是没有办法的事 试过很多软件 都有这样那样的bug 内存够大 cpu够强大才是去重复的王道
老白2015 发表于 2015-1-26 08:41
看似笨办法 其实是最靠谱的 至于时间 那是没有办法的事 试过很多软件 都有这样那样的bug 内存够大 cpu够强 ...
说的有道理:lol
老白2015 发表于 2015-1-26 08:41
看似笨办法 其实是最靠谱的 至于时间 那是没有办法的事 试过很多软件 都有这样那样的bug 内存够大 cpu够强 ...
大数据表执行SQL去重复语句就只占用一个核心的CPU资源，剩下的CPU核心闲坐一边抽烟聊天，内存倒是能吃满，就是实在太慢....
BTA 试过没有
wanghao78549633 发表于 2015-1-26 09:40
BTA 试过没有
听都没听过，请教......
支持啦 哈哈
joneni 发表于 2015-1-26 09:41
听都没听过，请教......
BTA 合并去重复 提纯 无限大
本帖最后由 mmfdr 于 2015-1-26 15:55 编辑
wanghao78549633 发表于 2015-1-26 15:45
BTA 合并去重复 提纯 无限大
不知道是个什么软件
是的，这个BTA到底是什么？
yys5161 发表于 2015-1-26 16:09
是的，这个BTA到底是什么？
想了半天 才想起他说的应该是这个东东~~~~~~
原程序也是论坛某位仁兄的 主要用来去重
本人对dos界面下输入命令经常记不住 为了方便操作 加了2个批处理 一个用来合并字典 另一个用来调用那个去重的exe
这个东西用过很久 很好用 但发现偶尔有时候会出现bug 丢失小部分不重复数据！初步怀疑是在去重操作中 机器在做其他事情 导致内存或者啥出现资源不够丢失数据