论坛 › 无线安全新手入门 › 字典去重复工具更新版，大幅缩短去重复所需时间

mortimer7866 发表于 2021-4-5 22:22

更新了一下，上个版本去重复完成后写入硬盘耗时比较久，优化了去重后写入硬盘的时间，降低了很多

gjjfdwe 发表于 2021-4-12 17:42

好的，谢谢分享

我凌云 发表于 2021-4-14 02:31

mortimer7866 发表于 2019-12-14 11:06
目前是将所有的字典文件都读入到内存再进行处理，如果字典文件比较大，确实需要更大的内存

以后打算试 ...

这，那遇到40G的字典，比如新华字典这些，岂不是完蛋了？

mortimer7866 发表于 2021-4-15 11:00

我凌云 发表于 2021-4-14 02:31
这，那遇到40G的字典，比如新华字典这些，岂不是完蛋了？

这么大的字典确实内存要更大，写这个工具自己玩玩的:lol，我的配置跑不了这么大的字典

MeYe 发表于 2021-8-13 23:19

字典去重复工具更新版，大幅缩短去重复所需时间

z920672403 发表于 2021-8-25 15:12

去重后为什么文件还变大了

斗倪完 发表于 2021-8-27 20:33

厉害了去重后为什么文件还变大了

xiangwutong 发表于 2021-9-28 16:48

66666666666666

xtybb2 发表于 2021-10-12 00:02

好东西，谢谢啦

bbyl5009 发表于 2021-12-22 10:28

赶紧升级一下，现在的字典都上百G了

lrylry1 发表于 2021-12-22 18:29

怎么下载呢？

lrylry1 发表于 2021-12-22 18:45

怎么使用呢？

查看完整版本: 字典去重复工具更新版，大幅缩短去重复所需时间