请字典制作大神帮忙看下

yun209

因为电脑弱爆了，跑包只能跑一些简单的弱密码，故收集了一些大神的弱密码，详细清单如下：2013/11/08  19:55       217,864,266 001-qgw123字典告别版+奥巴马弱密字典20131013更新版.txt
2013/02/07  08:14        32,003,738 001私家精选最弱密码30m精华版.txt
2013/01/11  19:08       132,609,953 00私家精选128m.txt
2011/07/20  18:59        12,848,423 10姓名大写.txt
2013/12/23  18:03         4,079,277 11百速电脑经典字典（2014.4.1）.txt
2014/03/21  19:24         5,503,682 12爱来爱去弱密码.txt
2014/01/04  00:39         2,914,112 13弱口令终极收藏版.txt
2010/05/20  22:45         1,933,360 14三字母+单一数字.txt
2010/06/17  15:19        56,009,148 15name_cn.txt
2014/04/06  15:41        56,112,585 16 500万常用.txt
2012/01/07  18:18        38,643,790 18泄漏门之17173字典.txt
2014/05/10  11:30           173,352 1969-2014.txt
2014/04/06  17:30        39,466,755 19私家精选2013五一节版.txt
2010/06/18  05:57           264,315 1pass00.txt
2010/06/09  01:06         2,421,264 1pass01.txt
2010/06/18  07:06        10,522,374 1pass02.txt
2010/01/22  01:26        13,723,599 1pass03.txt
2012/08/30  15:13         2,253,140 1最弱.txt
2013/03/05  22:07       109,408,836 20LV1990.txt
2012/07/23  08:51        58,161,439 20弱密.txt
2012/03/11  16:19        45,563,472 21姓名2位生日80-12.txt
2012/01/07  18:18        38,643,790 22泄漏门（部分）.txt
2010/05/20  22:41            74,360 23两个字母+单一数字.txt
2014/04/06  17:42        10,777,507 24符号＋数字.txt
2001/02/15  23:01         2,312,653 2DICT 213560 条记录.TXT
2012/09/10  15:40       148,624,710 31所有月日+4位数字组合前后所有组合.txt
2010/05/22  09:10             2,747 3路由器初始密码.txt
2012/09/10  14:05         5,090,820 4 1950-2050生日.txt
2009/09/13  08:34           264,296 5生日_弱密码_常用单词.txt
2010/05/20  22:14         5,318,742 6一个字母+生日50-00.txt
2012/01/05  13:13         6,431,423 71.txt
2012/01/05  12:11         8,206,476 72.txt
2012/01/05  13:57         6,231,088 73.txt
2012/01/05  14:21         6,273,505 74.txt
2013/06/26  14:58        78,808,525 75.1MB_合并多个弱密字典_精简版_6.934.633.txt
2012/01/05  14:56         3,828,164 75.txt
2012/01/05  15:12         6,731,068 76.txt
2014/03/30  21:21            19,305 7手机号类型11纯数字弱密.txt
2011/07/20  18:57        12,848,423 8姓名小写.txt
2010/03/18  09:19        40,063,200 9拼音_数字.txt
2013/11/27  10:09       333,161,213 奥巴马精选弱密317m【20131127版】.txt
2014/03/30  21:21            19,305 手机号类型11纯数字弱密.txt
2013/10/14  20:25        32,136,350 生日+百家姓(30.6mb).txt
2013/10/14  20:17        32,136,350 百家姓+生日(30.6mb).txt
2013/10/01  20:38         2,898,110 绝版私藏超级弱密字典.txt
2013/03/23  11:26        12,228,523 非论坛弱密.txt
2013/03/23  11:21           997,441 非论坛弱密数字.txt


合并后共计1.52G，此文件为附件中的1.txt；
利用MNS版主写的教程，用BT5 简单去重复，去空行，取8到16位后，文件为755M，此文件为附件中的3.txt；
利用论坛某位大神上厕所是写的程序，利用命令处理后为文件2.txt，536M大小。
本来本人想自己动手查找两个文件的区别，利用论坛某位大神说的BT5命令，可惜执行不成功，用Beyond Compare 3做比对，电脑配置差，直接死掉了，那么问题来了
1、上面的两种方法，哪种为正确做法？；
2、如何正确查找两个TXT字典文档的不同之处？（比较大的文件）
附上合并后的源文件和两种处理方法后的文件地址：
链接: http://pan.baidu.com/s/1sjkFJIX 密码: wxo4
请各位大神帮忙解惑。

mayunfeng

论坛做字典哪家强?   

随风飘

这个要@老AK帮你看下。
大数据处理他的Linux是拿手好戏。


今天是字典节么，个个弄字典

yun209

@老AK 是否能提供帮忙

mmmmmnnnnn

我靠，原来有这么多字典，我输了

老AK

yun209 发表于 2015-3-7 12:30
@老AK 是否能提供帮忙

楼主可以在虚拟机安装Linux，然后执行下面代码就能比对出差异

awk 'NR==FNR{a[$0];next} !($0 in a)'  b a >结果

mmfdr

去8位以下16位往上，去重复排序完毕是531MB

mmfdr

用UE排序去重是531MB，这个大小应该是正确的这个是连接地址

yun209

老AK 发表于 2015-3-7 13:06
楼主可以在虚拟机安装Linux，然后执行下面代码就能比对出差异

awk 'NR==FNR{a[$0];next} !($0 in a)'  ...

非常感谢，现在要出去，晚上回来执行下此命令，有问题再向您请教！

yun209

mmfdr 发表于 2015-3-7 15:32
用UE排序去重是531MB，这个大小应该是正确的这个是连接地址

晚上回来我也用UE处理下试一试，非常感谢。就是不知道Linux的命令哪里没执行对

yun209

老AK 发表于 2015-3-7 13:06
楼主可以在虚拟机安装Linux，然后执行下面代码就能比对出差异

awk 'NR==FNR{a[$0];next} !($0 in a)'  ...

另外，我用MNS版主那个教程帖子里的命令，不知道使用是否确当，如果您能帮忙验证下最好了

老AK

yun209 发表于 2015-3-7 16:07
另外，我用MNS版主那个教程帖子里的命令，不知道使用是否确当，如果您能帮忙验证下最好了

就这个代码 而论 grep -P "^.{8,16}$"  |sort -u

按科学理论来说其得出准确性结果是经得起历史考验的