无线论坛»论坛 › 无线安全 - 有影响力的无线安全论坛 › 互助跑包区 › 请教各位一个关于多字典去重复的问题

123 / 3 页下一页

返回列表

楼主: joneni

请教各位一个关于多字典去重复的问题

[复制链接]

joneni

460 回帖	1万积分	327 小时在线时间

上校

注册时间: 2009-10-11

金币: 18187 个

威望: 1 个

荣誉: 0 个

发消息

累计签到：92 天
连续签到：0 天
[LV.100]试剑无线

发表于 2015-1-26 00:20 |显示全部楼层

mmfdr 发表于 2015-1-26 00:14
TXT文件合并后，上边那个就可以做到，下边的AB是相同行都不保留了，两个文件都去掉了

基本有思路了
先下了，明天再试试
GN

签到签到

使用道具举报

mmfdr

3218 回帖	7万积分	2563 小时在线时间

中将

注册时间: 2012-6-7

金币: 73222 个

威望: 2 个

荣誉: 0 个

发消息

累计签到：334 天
连续签到：1 天
[LV.365]无线熟人

发表于 2015-1-26 00:31 |显示全部楼层

joneni 发表于 2015-1-26 00:17
但这样不是把文件越拼越大吗？

大了可以分割成多个小文件，要不不去重复各个小文件都有重复

闲着没事只跑小字典

使用道具举报

老白2015

877 回帖	1万积分	579 小时在线时间

上校

注册时间: 2014-12-10

金币: 10290 个

威望: 8 个

荣誉: 1 个

发消息

累计签到：618 天
连续签到：182 天
[LV.730]常住居民

发表于 2015-1-26 08:41 |显示全部楼层

看似笨办法其实是最靠谱的至于时间那是没有办法的事试过很多软件都有这样那样的bug 内存够大 cpu够强大才是去重复的王道

Anywlan官方QQ群

使用道具举报

mmfdr

3218 回帖	7万积分	2563 小时在线时间

中将

注册时间: 2012-6-7

金币: 73222 个

威望: 2 个

荣誉: 0 个

发消息

累计签到：334 天
连续签到：1 天
[LV.365]无线熟人

发表于 2015-1-26 08:46 |显示全部楼层

老白2015 发表于 2015-1-26 08:41
看似笨办法其实是最靠谱的至于时间那是没有办法的事试过很多软件都有这样那样的bug 内存够大 cpu够强 ...

说的有道理

闲着没事只跑小字典

使用道具举报

joneni

460 回帖	1万积分	327 小时在线时间

上校

注册时间: 2009-10-11

金币: 18187 个

威望: 1 个

荣誉: 0 个

发消息

累计签到：92 天
连续签到：0 天
[LV.100]试剑无线

发表于 2015-1-26 09:18 |显示全部楼层

老白2015 发表于 2015-1-26 08:41
看似笨办法其实是最靠谱的至于时间那是没有办法的事试过很多软件都有这样那样的bug 内存够大 cpu够强 ...

大数据表执行SQL去重复语句就只占用一个核心的CPU资源，剩下的CPU核心闲坐一边抽烟聊天，内存倒是能吃满，就是实在太慢....

签到签到

使用道具举报

wanghao78549633

1185 回帖	5931 积分	430 小时在线时间

中校

注册时间: 2014-1-21

金币: 4641 个

威望: 4 个

荣誉: 1 个

发消息

累计签到：279 天
连续签到：1 天
[LV.365]无线熟人

发表于 2015-1-26 09:40 |显示全部楼层

BTA 试过没有

使用道具举报

joneni

460 回帖	1万积分	327 小时在线时间

上校

注册时间: 2009-10-11

金币: 18187 个

威望: 1 个

荣誉: 0 个

发消息

累计签到：92 天
连续签到：0 天
[LV.100]试剑无线

发表于 2015-1-26 09:41 |显示全部楼层

wanghao78549633 发表于 2015-1-26 09:40
BTA 试过没有

听都没听过，请教......

签到签到

使用道具举报

bbt123

1589 回帖	4368 积分	139 小时在线时间

少校

注册时间: 2014-7-31

金币: 2746 个

威望: 0 个

荣誉: 0 个

发消息

累计签到：273 天
连续签到：0 天
[LV.365]无线熟人

发表于 2015-1-26 10:44 |显示全部楼层

支持啦哈哈

使用道具举报

wanghao78549633

1185 回帖	5931 积分	430 小时在线时间

中校

注册时间: 2014-1-21

金币: 4641 个

威望: 4 个

荣誉: 1 个

发消息

累计签到：279 天
连续签到：1 天
[LV.365]无线熟人

发表于 2015-1-26 15:45 |显示全部楼层

joneni 发表于 2015-1-26 09:41
听都没听过，请教......

BTA 合并去重复提纯无限大

使用道具举报

mmfdr

3218 回帖	7万积分	2563 小时在线时间

中将

注册时间: 2012-6-7

金币: 73222 个

威望: 2 个

荣誉: 0 个

发消息

累计签到：334 天
连续签到：1 天
[LV.365]无线熟人

发表于 2015-1-26 15:48 |显示全部楼层

本帖最后由 mmfdr 于 2015-1-26 15:55 编辑

wanghao78549633 发表于 2015-1-26 15:45
BTA 合并去重复提纯无限大

不知道是个什么软件

闲着没事只跑小字典

使用道具举报

yys5161

2758 回帖	1万积分	1309 小时在线时间

上校

注册时间: 2010-12-9

金币: 14307 个

威望: 44 个

荣誉: 10 个

发消息

累计签到：2241 天
连续签到：3 天
[LV.2920]超级粉丝

发表于 2015-1-26 16:09 |显示全部楼层

是的，这个BTA到底是什么？

使用道具举报

老白2015

877 回帖	1万积分	579 小时在线时间

上校

注册时间: 2014-12-10

金币: 10290 个

威望: 8 个

荣誉: 1 个

发消息

累计签到：618 天
连续签到：182 天
[LV.730]常住居民

发表于 2015-1-27 09:23 |显示全部楼层

yys5161 发表于 2015-1-26 16:09
是的，这个BTA到底是什么？

想了半天才想起他说的应该是这个东东~~~~~~

原程序也是论坛某位仁兄的主要用来去重

本人对dos界面下输入命令经常记不住为了方便操作加了2个批处理一个用来合并字典另一个用来调用那个去重的exe

这个东西用过很久很好用但发现偶尔有时候会出现bug 丢失小部分不重复数据！初步怀疑是在去重操作中机器在做其他事情导致内存或者啥出现资源不够丢失数据

本帖子中包含更多资源

您需要登录才可以下载或查看，没有账号？注册

开心就好~~

使用道具举报

123 / 3 页下一页

返回列表

请教各位一个关于多字典去重复的问题

本帖子中包含更多资源

杰出会员