ubnt解决方案
楼主: joneni

请教各位一个关于多字典去重复的问题

[复制链接]

460

回帖

1万

积分

327 小时

在线时间

上校

注册时间
2009-10-11
金币
18187 个
威望
1 个
荣誉
0 个
累计签到:92 天
连续签到:0 天
[LV.100]试剑无线
发表于 2015-1-26 00:20 |显示全部楼层
mmfdr 发表于 2015-1-26 00:14
TXT文件合并后,上边那个就可以做到,下边的AB是相同行都不保留了,两个文件都去掉了

基本有思路了
先下了,明天再试试
GN
签到签到
回复

使用道具 举报

3218

回帖

7万

积分

2563 小时

在线时间

中将

注册时间
2012-6-7
金币
73222 个
威望
2 个
荣誉
0 个
累计签到:334 天
连续签到:1 天
[LV.365]无线熟人
发表于 2015-1-26 00:31 |显示全部楼层
joneni 发表于 2015-1-26 00:17
但这样不是把文件越拼越大吗?

大了可以分割成多个小文件,要不不去重复各个小文件都有重复
闲着没事只跑小字典
回复

使用道具 举报

877

回帖

1万

积分

579 小时

在线时间

上校

注册时间
2014-12-10
金币
10290 个
威望
8 个
荣誉
1 个
累计签到:618 天
连续签到:182 天
[LV.730]常住居民
发表于 2015-1-26 08:41 |显示全部楼层
看似笨办法 其实是最靠谱的 至于时间 那是没有办法的事 试过很多软件 都有这样那样的bug 内存够大 cpu够强大才是去重复的王道
回复

使用道具 举报

3218

回帖

7万

积分

2563 小时

在线时间

中将

注册时间
2012-6-7
金币
73222 个
威望
2 个
荣誉
0 个
累计签到:334 天
连续签到:1 天
[LV.365]无线熟人
发表于 2015-1-26 08:46 |显示全部楼层
老白2015 发表于 2015-1-26 08:41
看似笨办法 其实是最靠谱的 至于时间 那是没有办法的事 试过很多软件 都有这样那样的bug 内存够大 cpu够强 ...

说的有道理
闲着没事只跑小字典
回复

使用道具 举报

460

回帖

1万

积分

327 小时

在线时间

上校

注册时间
2009-10-11
金币
18187 个
威望
1 个
荣誉
0 个
累计签到:92 天
连续签到:0 天
[LV.100]试剑无线
发表于 2015-1-26 09:18 |显示全部楼层
老白2015 发表于 2015-1-26 08:41
看似笨办法 其实是最靠谱的 至于时间 那是没有办法的事 试过很多软件 都有这样那样的bug 内存够大 cpu够强 ...

大数据表执行SQL去重复语句就只占用一个核心的CPU资源,剩下的CPU核心闲坐一边抽烟聊天,内存倒是能吃满,就是实在太慢....
签到签到
回复

使用道具 举报

1185

回帖

5931

积分

430 小时

在线时间

中校

注册时间
2014-1-21
金币
4641 个
威望
4 个
荣誉
1 个
累计签到:279 天
连续签到:1 天
[LV.365]无线熟人
发表于 2015-1-26 09:40 |显示全部楼层
BTA 试过没有
回复

使用道具 举报

460

回帖

1万

积分

327 小时

在线时间

上校

注册时间
2009-10-11
金币
18187 个
威望
1 个
荣誉
0 个
累计签到:92 天
连续签到:0 天
[LV.100]试剑无线
发表于 2015-1-26 09:41 |显示全部楼层

听都没听过,请教......
签到签到
回复

使用道具 举报

1589

回帖

4368

积分

139 小时

在线时间

少校

注册时间
2014-7-31
金币
2746 个
威望
0 个
荣誉
0 个
累计签到:273 天
连续签到:0 天
[LV.365]无线熟人
发表于 2015-1-26 10:44 |显示全部楼层
  支持啦 哈哈  
回复

使用道具 举报

1185

回帖

5931

积分

430 小时

在线时间

中校

注册时间
2014-1-21
金币
4641 个
威望
4 个
荣誉
1 个
累计签到:279 天
连续签到:1 天
[LV.365]无线熟人
发表于 2015-1-26 15:45 |显示全部楼层
joneni 发表于 2015-1-26 09:41
听都没听过,请教......

BTA 合并去重复 提纯 无限大
回复

使用道具 举报

3218

回帖

7万

积分

2563 小时

在线时间

中将

注册时间
2012-6-7
金币
73222 个
威望
2 个
荣誉
0 个
累计签到:334 天
连续签到:1 天
[LV.365]无线熟人
发表于 2015-1-26 15:48 |显示全部楼层
本帖最后由 mmfdr 于 2015-1-26 15:55 编辑
wanghao78549633 发表于 2015-1-26 15:45
BTA 合并去重复 提纯 无限大

不知道是个什么软件
闲着没事只跑小字典
回复

使用道具 举报

2758

回帖

1万

积分

1309 小时

在线时间

上校

杰出会员

注册时间
2010-12-9
金币
14307 个
威望
44 个
荣誉
10 个
累计签到:2241 天
连续签到:3 天
[LV.2920]超级粉丝
发表于 2015-1-26 16:09 |显示全部楼层
是的,这个BTA到底是什么?
回复

使用道具 举报

877

回帖

1万

积分

579 小时

在线时间

上校

注册时间
2014-12-10
金币
10290 个
威望
8 个
荣誉
1 个
累计签到:618 天
连续签到:182 天
[LV.730]常住居民
发表于 2015-1-27 09:23 |显示全部楼层
yys5161 发表于 2015-1-26 16:09
是的,这个BTA到底是什么?

想了半天 才想起他说的应该是这个东东~~~~~~


原程序也是论坛某位仁兄的 主要用来去重

本人对dos界面下输入命令经常记不住 为了方便操作 加了2个批处理 一个用来合并字典 另一个用来调用那个去重的exe


这个东西用过很久 很好用 但发现偶尔有时候会出现bug 丢失小部分不重复数据!初步怀疑是在去重操作中 机器在做其他事情 导致内存或者啥出现资源不够丢失数据

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?注册 微信登录

x
开心就好~~
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册 微信登录

本版积分规则

Archiver | 手机版 | 无线门户 ( 粤ICP备11076993号|粤公网安备44010602008359号 ) |网站地图

GMT+8, 2025-7-10 02:38

返回顶部 返回列表