无线论坛»论坛 › 无线安全 - 有影响力的无线安全论坛 › 无线安全新手入门 › 字典去重复工具更新版，大幅缩短去重复所需时间 ...

1 2 345 / 5 页下一页

返回列表

楼主: mortimer7866

字典去重复工具更新版，大幅缩短去重复所需时间

[复制链接]

mortimer7866

42 回帖	285 积分	35 小时在线时间

少尉

注册时间: 2013-2-8

金币: 195 个

威望: 4 个

荣誉: 2 个

发消息

累计签到：8 天
连续签到：0 天
[LV.20]漫游旅程

发表于 2021-4-5 22:22 |显示全部楼层

更新了一下，上个版本去重复完成后写入硬盘耗时比较久，优化了去重后写入硬盘的时间，降低了很多

本帖子中包含更多资源

您需要登录才可以下载或查看，没有账号？注册

使用道具举报

gjjfdwe

9 回帖	37 积分	3 小时在线时间

新兵上阵

注册时间: 2021-4-12

金币: 28 个

威望: 0 个

荣誉: 0 个

发消息

累计签到：3 天
连续签到：0 天
[LV.20]漫游旅程

发表于 2021-4-12 17:42 |显示全部楼层

好的，谢谢分享

使用道具举报

我凌云

10 回帖	42 积分	8 小时在线时间

新兵上阵

注册时间: 2020-3-28

金币: 31 个

威望: 0 个

荣誉: 0 个

发消息

累计签到：1 天
连续签到：0 天
[LV.20]漫游旅程

发表于 2021-4-14 02:31 |显示全部楼层

mortimer7866 发表于 2019-12-14 11:06
目前是将所有的字典文件都读入到内存再进行处理，如果字典文件比较大，确实需要更大的内存

以后打算试 ...

这，那遇到40G的字典，比如新华字典这些，岂不是完蛋了？

Anywlan官方QQ群

使用道具举报

mortimer7866

42 回帖	285 积分	35 小时在线时间

少尉

注册时间: 2013-2-8

金币: 195 个

威望: 4 个

荣誉: 2 个

发消息

累计签到：8 天
连续签到：0 天
[LV.20]漫游旅程

发表于 2021-4-15 11:00 |显示全部楼层

我凌云发表于 2021-4-14 02:31
这，那遇到40G的字典，比如新华字典这些，岂不是完蛋了？

这么大的字典确实内存要更大，写这个工具自己玩玩的

，我的配置跑不了这么大的字典

使用道具举报

MeYe

35 回帖	2659 积分	61 小时在线时间

少校

注册时间: 2021-7-6

金币: 2607 个

威望: 2 个

荣誉: 0 个

发消息

累计签到：58 天
连续签到：0 天
[LV.100]试剑无线

发表于 2021-8-13 23:19 |显示全部楼层

字典去重复工具更新版，大幅缩短去重复所需时间

使用道具举报

z920672403

19 回帖	22 积分	13 小时在线时间

新兵上阵

注册时间: 2020-9-13

金币: 2 个

威望: 0 个

荣誉: 0 个

发消息

累计签到：5 天
连续签到：0 天
[LV.20]漫游旅程

发表于 2021-8-25 15:12 |显示全部楼层

去重后为什么文件还变大了

使用道具举报

斗倪完

7 回帖	23 积分	2 小时在线时间

新兵上阵

注册时间: 2021-8-27

金币: 15 个

威望: 0 个

荣誉: 0 个

发消息

累计签到：2 天
连续签到：0 天
[LV.20]漫游旅程

发表于 2021-8-27 20:33 |显示全部楼层

厉害了去重后为什么文件还变大了

使用道具举报

xiangwutong

27 回帖	96 积分	15 小时在线时间

上等兵

注册时间: 2011-2-15

金币: 57 个

威望: 1 个

荣誉: 0 个

发消息

累计签到：17 天
连续签到：0 天
[LV.20]漫游旅程

发表于 2021-9-28 16:48 |显示全部楼层

66666666666666

使用道具举报

xtybb2

31 回帖	161 积分	55 小时在线时间

上等兵

注册时间: 2010-6-2

金币: 116 个

威望: 1 个

荣誉: 0 个

发消息

尚未签到

发表于 2021-10-12 00:02 |显示全部楼层

好东西，谢谢啦

使用道具举报

bbyl5009

173 回帖	1万积分	841 小时在线时间

上校

注册时间: 2010-1-30

金币: 15531 个

威望: 4 个

荣誉: 0 个

发消息

累计签到：1734 天
连续签到：1 天
[LV.1825]无线元老

发表于 2021-12-22 10:28 |显示全部楼层

赶紧升级一下，现在的字典都上百G了

使用道具举报

lrylry1

60 回帖	91 积分	52 小时在线时间

上等兵

注册时间: 2017-9-11

金币: 18 个

威望: 1 个

荣誉: 0 个

发消息

累计签到：1 天
连续签到：0 天
[LV.20]漫游旅程

发表于 2021-12-22 18:29 来自手机 |显示全部楼层

怎么下载呢？

使用道具举报

lrylry1

60 回帖	91 积分	52 小时在线时间

上等兵

注册时间: 2017-9-11

金币: 18 个

威望: 1 个

荣誉: 0 个

发消息

累计签到：1 天
连续签到：0 天
[LV.20]漫游旅程

发表于 2021-12-22 18:45 来自手机 |显示全部楼层

怎么使用呢？

使用道具举报

1 2 345 / 5 页下一页

返回列表