全网合并字典---《网络全库》字典6４G

随风飘

Rayxon 发表于 2020-1-4 11:16
好大的字典，不知道要跑多久

18Ｗ速度估计在8-9小时，目前不知道有没有在用，我现在没跑包了，没有测试时间。

Rayxon

随风飘 发表于 2020-1-4 11:36
18Ｗ速度估计在8-9小时，目前不知道有没有在用，我现在没跑包了，没有测试时间。

我用gtx760 只能跑到2.5w，估计要跑好几天了

白菜帮的

这个必须有啊

嘟嘟猪

最近才开始接触这个玩意，合并过几个网上及站内诸如奥巴马的字典，发现有几个问题，第一就是最常见的数据重复；第二是不可见字符出现在记录中，这种我认为用户理论不会出的，处理不可见字符集最简单就是逐个转ascii，33-126的是合规的，不在这个范围的可以弃掉了；再来说重复记录去重，一般用户的机器内存也就10G左右，想要将数10G以上的文件集做去重，纯加载至内存做hash是不现实的，倒是可以先按首字母聚合分文件，然后在跑去重，时间换空间~

jingke531

学习。。。。。。。。。。。。

liuzhen8691

楼主辛苦了 谢谢！

lixinyu10

好东西

jiluyaku

好东西，下起来

cblhj

膜拜大神，先下下来瞅瞅

胖大星

感谢分享

☆將恒少☆

支持，支持必须支持。

dongzi321

uidshsh谢谢啦