mortimer7866 发表于 2018-7-25 15:10

字典去重复工具

本帖最后由 mortimer7866 于 2018-7-26 08:15 编辑

本人测试是用的网上找的字典集合

这个包中字典比较多，所以需要的内存比较大，本人使用32G内存测试，数据全部读取完成之后占用内存70%左右

程序运行图：

从图中可以看到所有加载的字典中一共有269451685组密码，大概需要几个小时的处理。
上附件：
大家使用程序的时候如果遇到有什么BUG，可以回帖反馈，有时间我可以改改。
处理完成后结果保存在D盘的result.txt文件中



补充内容 (2018-12-25 11:24):
请前往21楼下载最新程序

补充内容 (2019-12-13 22:52):
请看26楼，本次更新大幅度缩短去重复时间

补充内容 (2019-12-13 22:53):
请看26楼，本次更新大幅度缩短去重复时间

viviczh 发表于 2018-7-28 09:20

mortimer7866 发表于 2018-7-27 09:42
兄弟你觉得我需要做成什么样？
去重其实不难，方法有很多，但是要做到效率与资源占用兼顾就比较两难了。往往一把好刀赛过一堆普普通通的工具。支持楼主！

aiwuxian123 发表于 2018-7-26 02:11

:victory:谢谢分享

hu007 发表于 2018-7-26 07:48

谢谢分享了！

mortimer7866 发表于 2018-7-26 07:49

本帖最后由 mortimer7866 于 2018-7-26 08:18 编辑

一楼的附件已重新上传，请大家下载最新的使用

yaokq 发表于 2018-7-26 15:34

谢谢楼主分享。

qxhdly 发表于 2018-7-26 16:25

谢谢楼主分享

上上网 发表于 2018-7-26 22:50

兄弟你这个要做出特点才行吧，就去个重就算了？还会有下文不

shemc 发表于 2018-7-27 08:14


谢谢分享了！

mortimer7866 发表于 2018-7-27 09:42

上上网 发表于 2018-7-26 22:50
兄弟你这个要做出特点才行吧，就去个重就算了？还会有下文不

兄弟你觉得我需要做成什么样？

mortimer7866 发表于 2018-7-28 15:01

viviczh 发表于 2018-7-28 09:20
去重其实不难，方法有很多，但是要做到效率与资源占用兼顾就比较两难了。往往一把好刀赛过一堆普普通通的 ...

谢谢版主支持

longshen 发表于 2018-7-28 16:24

谢谢分享
页: [1] 2 3 4
查看完整版本: 字典去重复工具