ubnt解决方案
查看: 6487|回复: 36

字典去重复工具

[复制链接]

42

回帖

285

积分

35 小时

在线时间

少尉

注册时间
2013-2-8
金币
195 个
威望
4 个
荣誉
2 个
累计签到:8 天
连续签到:0 天
[LV.20]漫游旅程
发表于 2018-7-25 15:10 |显示全部楼层
本帖最后由 mortimer7866 于 2018-7-26 08:15 编辑

本人测试是用的网上找的字典集合

这个包中字典比较多,所以需要的内存比较大,本人使用32G内存测试,数据全部读取完成之后占用内存70%左右

程序运行图:

从图中可以看到所有加载的字典中一共有269451685组密码,大概需要几个小时的处理。
上附件:
大家使用程序的时候如果遇到有什么BUG,可以回帖反馈,有时间我可以改改。
处理完成后结果保存在D盘的result.txt文件中



补充内容 (2018-12-25 11:24):
请前往21楼下载最新程序

补充内容 (2019-12-13 22:52):
请看26楼,本次更新大幅度缩短去重复时间

补充内容 (2019-12-13 22:53):
请看26楼,本次更新大幅度缩短去重复时间

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?注册 微信登录

x

评分

1

查看全部评分

1140

回帖

4万

积分

1917 小时

在线时间

版主

注册时间
2009-10-18
金币
40645 个
威望
2 个
荣誉
1 个
累计签到:30 天
连续签到:0 天
[LV.50]初入江湖
发表于 2018-7-28 09:20 |显示全部楼层
mortimer7866 发表于 2018-7-27 09:42
兄弟你觉得我需要做成什么样?

去重其实不难,方法有很多,但是要做到效率与资源占用兼顾就比较两难了。往往一把好刀赛过一堆普普通通的工具。支持楼主!
随时随地无线
回复

使用道具 举报

11

回帖

1万

积分

534 小时

在线时间

上校

注册时间
2017-3-28
金币
17207 个
威望
2 个
荣誉
0 个
累计签到:1630 天
连续签到:0 天
[LV.1825]无线元老
发表于 2018-7-26 02:11 |显示全部楼层
谢谢分享
回复

使用道具 举报

70

回帖

9932

积分

219 小时

在线时间

中校

注册时间
2018-6-12
金币
9835 个
威望
1 个
荣誉
0 个
累计签到:808 天
连续签到:1 天
[LV.1095]铁杆粉丝
发表于 2018-7-26 07:48 |显示全部楼层
谢谢分享了!
回复

使用道具 举报

42

回帖

285

积分

35 小时

在线时间

少尉

注册时间
2013-2-8
金币
195 个
威望
4 个
荣誉
2 个
累计签到:8 天
连续签到:0 天
[LV.20]漫游旅程
发表于 2018-7-26 07:49 |显示全部楼层
本帖最后由 mortimer7866 于 2018-7-26 08:18 编辑

一楼的附件已重新上传,请大家下载最新的使用
回复

使用道具 举报

10

回帖

1万

积分

467 小时

在线时间

上校

注册时间
2018-6-11
金币
10254 个
威望
0 个
荣誉
0 个
累计签到:1769 天
连续签到:1 天
[LV.1825]无线元老
发表于 2018-7-26 15:34 |显示全部楼层
谢谢楼主分享。
回复

使用道具 举报

507

回帖

3万

积分

1410 小时

在线时间

大校

1年持久勋章30天持久勋章

注册时间
2012-7-24
金币
34286 个
威望
177 个
荣誉
84 个
累计签到:3172 天
连续签到:447 天
[LV.3650]以坛为家
发表于 2018-7-26 16:25 |显示全部楼层
谢谢楼主分享
回复

使用道具 举报

3362

回帖

2万

积分

4795 小时

在线时间

大校

注册时间
2015-5-1
金币
16954 个
威望
12 个
荣誉
1 个
累计签到:1 天
连续签到:0 天
[LV.20]漫游旅程
发表于 2018-7-26 22:50 来自手机 |显示全部楼层
兄弟你这个要做出特点才行吧,就去个重就算了?还会有下文不
回复

使用道具 举报

332

回帖

1万

积分

631 小时

在线时间

上校

注册时间
2014-11-10
金币
13719 个
威望
2 个
荣誉
1 个
累计签到:1841 天
连续签到:1 天
[LV.2920]超级粉丝
发表于 2018-7-27 08:14 |显示全部楼层

谢谢分享了!
回复

使用道具 举报

42

回帖

285

积分

35 小时

在线时间

少尉

注册时间
2013-2-8
金币
195 个
威望
4 个
荣誉
2 个
累计签到:8 天
连续签到:0 天
[LV.20]漫游旅程
发表于 2018-7-27 09:42 |显示全部楼层
上上网 发表于 2018-7-26 22:50
兄弟你这个要做出特点才行吧,就去个重就算了?还会有下文不

兄弟你觉得我需要做成什么样?
回复

使用道具 举报

42

回帖

285

积分

35 小时

在线时间

少尉

注册时间
2013-2-8
金币
195 个
威望
4 个
荣誉
2 个
累计签到:8 天
连续签到:0 天
[LV.20]漫游旅程
发表于 2018-7-28 15:01 |显示全部楼层
viviczh 发表于 2018-7-28 09:20
去重其实不难,方法有很多,但是要做到效率与资源占用兼顾就比较两难了。往往一把好刀赛过一堆普普通通的 ...

谢谢版主支持
回复

使用道具 举报

6

回帖

63

积分

3 小时

在线时间

上等兵

注册时间
2018-7-28
金币
45 个
威望
2 个
荣誉
0 个
累计签到:4 天
连续签到:0 天
[LV.20]漫游旅程
发表于 2018-7-28 16:24 |显示全部楼层
谢谢分享
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册 微信登录

本版积分规则

站点统计 | Archiver | 手机版 | 无线门户 ( 粤ICP备11076993号|粤公网安备44010602008359号 ) |网站地图

GMT+8, 2024-12-22 23:35

返回顶部 返回列表