正式发布一个整合字典3.41g的txt，下载过我7.6g字典的这个就没必要下了(只有小补充)

huanghkc

期待中……我的鸡鸡可跑2W8，跑完也用不了多长时间。

Brighter

期待中。。

chyjcf

顶上去让更多的人看到

s_k_911

mns 发表于 2012-8-31 17:18
LZ跑去重复和去中文了吗？

重复去了一小部分，在合并的时候用软件去除的（去除了大约1%，其实也超出了软件处理能力，一次合并过滤重复，往往也要十几分钟电脑卡住）

合并后，目前xp下没有软件能处理这么大的txt，我猜在8位数上面有部分重复，大约有5%-10%左右的重复率（200M左右文件）

用bt5命令也无法处理，太大了
请问有没有好的工具？

s_k_911

macy 发表于 2012-8-31 17:07
最好不要网盘，能普通下载最好

只能用网盘。打算用baidu网盘。

luofeng876

跑1500的泪奔啊。。。。。。。。。。。。。。

上网用

我的机只能跑800，跑完一个包，可能要跑到中秋了。
另外，我觉得泄露门的命中率不会有多高，也太大了，建议泄露门的和其他的分离开。
最好是本地电话、手机、弱mm。

mns

s_k_911 发表于 2012-8-31 18:46
重复去了一小部分，在合并的时候用软件去除的（去除了大约1%，其实也超出了软件处理能力，一次合并过滤重 ...

bt5的内置文本工具是忽视文档体积的，处理进程存储在硬盘tmp文件而非内存和交换区，所以只要硬盘有地儿它都能啃完。放弃在windows下处理吧，效率低下且不稳定。
除了awk、sed你可以试试vim。
PS。mac系统也可以。但sed和linux下有少许不同。

evan3x

s_k_911 发表于 2012-8-31 18:47
只能用网盘。打算用baidu网盘。

你和MNS 搞下办法 我提供空间给你 网站的 但是前提是字典要处理的很好 我有服务器

mjx

等待中。。。。。911

doctorfeng

等字典啦

chyjcf

期待中。。。。。。。。。。。。