请字典制作大神帮忙看下
本帖最后由 yun209 于 2015-3-8 06:58 编辑因为电脑弱爆了，跑包只能跑一些简单的弱密码，故收集了一些大神的弱密码，详细清单如下：2013/11/0819:55 217,864,266 001-qgw123字典告别版+奥巴马弱密字典20131013更新版.txt
2013/02/0708:14 32,003,738 001私家精选最弱密码30m精华版.txt
2013/01/1119:08 132,609,953 00私家精选128m.txt
2011/07/2018:59 12,848,423 10姓名大写.txt
2013/12/2318:03 4,079,277 11百速电脑经典字典（2014.4.1）.txt
2014/03/2119:24 5,503,682 12爱来爱去弱密码.txt
2014/01/0400:39 2,914,112 13弱口令终极收藏版.txt
2010/05/2022:45 1,933,360 14三字母+单一数字.txt
2010/06/1715:19 56,009,148 15name_cn.txt
2014/04/0615:41 56,112,585 16 500万常用.txt
2012/01/0718:18 38,643,790 18泄漏门之17173字典.txt
2014/05/1011:30 173,352 1969-2014.txt
2014/04/0617:30 39,466,755 19私家精选2013五一节版.txt
2010/06/1805:57 264,315 1pass00.txt
2010/06/0901:06 2,421,264 1pass01.txt
2010/06/1807:06 10,522,374 1pass02.txt
2010/01/2201:26 13,723,599 1pass03.txt
2012/08/3015:13 2,253,140 1最弱.txt
2013/03/0522:07 109,408,836 20LV1990.txt
2012/07/2308:51 58,161,439 20弱密.txt
2012/03/1116:19 45,563,472 21姓名2位生日80-12.txt
2012/01/0718:18 38,643,790 22泄漏门（部分）.txt
2010/05/2022:41 74,360 23两个字母+单一数字.txt
2014/04/0617:42 10,777,507 24符号＋数字.txt
2001/02/1523:01 2,312,653 2DICT 213560 条记录.TXT
2012/09/1015:40 148,624,710 31所有月日+4位数字组合前后所有组合.txt
2010/05/2209:10 2,747 3路由器初始密码.txt
2012/09/1014:05 5,090,820 4 1950-2050生日.txt
2009/09/1308:34 264,296 5生日_弱密码_常用单词.txt
2010/05/2022:14 5,318,742 6一个字母+生日50-00.txt
2012/01/0513:13 6,431,423 71.txt
2012/01/0512:11 8,206,476 72.txt
2012/01/0513:57 6,231,088 73.txt
2012/01/0514:21 6,273,505 74.txt
2013/06/2614:58 78,808,525 75.1MB_合并多个弱密字典_精简版_6.934.633.txt
2012/01/0514:56 3,828,164 75.txt
2012/01/0515:12 6,731,068 76.txt
2014/03/3021:21 19,305 7手机号类型11纯数字弱密.txt
2011/07/2018:57 12,848,423 8姓名小写.txt
2010/03/1809:19 40,063,200 9拼音_数字.txt
2013/11/2710:09 333,161,213 奥巴马精选弱密317m【20131127版】.txt
2014/03/3021:21 19,305 手机号类型11纯数字弱密.txt
2013/10/1420:25 32,136,350 生日+百家姓(30.6mb).txt
2013/10/1420:17 32,136,350 百家姓+生日(30.6mb).txt
2013/10/0120:38 2,898,110 绝版私藏超级弱密字典.txt
2013/03/2311:26 12,228,523 非论坛弱密.txt
2013/03/2311:21 997,441 非论坛弱密数字.txt
合并后共计1.52G，此文件为附件中的1.txt；
利用MNS版主写的教程，用BT5 简单去重复，去空行，取8到16位后，文件为755M，此文件为附件中的3.txt；
利用论坛某位大神上厕所是写的程序，利用命令处理后为文件2.txt，536M大小。
本来本人想自己动手查找两个文件的区别，利用论坛某位大神说的BT5命令，可惜执行不成功，用Beyond Compare 3做比对，电脑配置差，直接死掉了，那么问题来了
1、上面的两种方法，哪种为正确做法？；
2、如何正确查找两个TXT字典文档的不同之处？（比较大的文件）
附上合并后的源文件和两种处理方法后的文件地址：
链接: http://pan.baidu.com/s/1sjkFJIX 密码: wxo4
请各位大神帮忙解惑。
论坛做字典哪家强? :o 本帖最后由 随风飘 于 2015-3-7 11:59 编辑
这个要@老AK帮你看下。
大数据处理他的Linux是拿手好戏。
今天是字典节么，个个弄字典{:5_241:}
@老AK 是否能提供帮忙 本帖最后由 mmmmmnnnnn 于 2015-3-7 12:44 编辑
我靠，原来有这么多字典，我输了 yun209 发表于 2015-3-7 12:30
@老AK 是否能提供帮忙
楼主可以在虚拟机安装Linux，然后执行下面代码就能比对出差异
awk 'NR==FNR{a[$0];next} !($0 in a)'b a >结果 去8位以下16位往上，去重复排序完毕是531MB 用UE排序去重是531MB，这个大小应该是正确的这个是连接地址
老AK 发表于 2015-3-7 13:06
楼主可以在虚拟机安装Linux，然后执行下面代码就能比对出差异
awk 'NR==FNR{a[$0];next} !($0 in a)'...
非常感谢，现在要出去，晚上回来执行下此命令，有问题再向您请教！ mmfdr 发表于 2015-3-7 15:32
用UE排序去重是531MB，这个大小应该是正确的这个是连接地址
晚上回来我也用UE处理下试一试，非常感谢。就是不知道Linux的命令哪里没执行对 老AK 发表于 2015-3-7 13:06
楼主可以在虚拟机安装Linux，然后执行下面代码就能比对出差异
awk 'NR==FNR{a[$0];next} !($0 in a)'...
另外，我用MNS版主那个教程帖子里的命令，不知道使用是否确当，如果您能帮忙验证下最好了 yun209 发表于 2015-3-7 16:07
另外，我用MNS版主那个教程帖子里的命令，不知道使用是否确当，如果您能帮忙验证下最好了
就这个代码 而论 grep -P "^.{8,16}$"|sort -u
按科学理论来说其得出准确性结果是经得起历史考验的