ubnt解决方案
楼主: 随风飘

全网合并字典---《网络全库》字典64G

  [复制链接]

14

回帖

124

积分

25 小时

在线时间

上等兵

注册时间
2013-11-18
金币
102 个
威望
0 个
荣誉
0 个
累计签到:11 天
连续签到:0 天
[LV.20]漫游旅程
发表于 2020-1-4 14:04 |显示全部楼层
随风飘 发表于 2020-1-4 11:36
18W速度估计在8-9小时,目前不知道有没有在用,我现在没跑包了,没有测试时间。

我用gtx760 只能跑到2.5w,估计要跑好几天了
回复

使用道具 举报

137

回帖

1686

积分

76 小时

在线时间

上尉

注册时间
2017-10-10
金币
1515 个
威望
2 个
荣誉
1 个
累计签到:134 天
连续签到:0 天
[LV.200]无线新星
发表于 2020-1-4 14:46 |显示全部楼层
这个必须有啊
回复

使用道具 举报

5

回帖

180

积分

9 小时

在线时间

上等兵

注册时间
2019-12-21
金币
174 个
威望
0 个
荣誉
0 个
累计签到:12 天
连续签到:0 天
[LV.20]漫游旅程
发表于 2020-1-4 16:37 |显示全部楼层
最近才开始接触这个玩意,合并过几个网上及站内诸如奥巴马的字典,发现有几个问题,第一就是最常见的数据重复;第二是不可见字符出现在记录中,这种我认为用户理论不会出的,处理不可见字符集最简单就是逐个转ascii,33-126的是合规的,不在这个范围的可以弃掉了;再来说重复记录去重,一般用户的机器内存也就10G左右,想要将数10G以上的文件集做去重,纯加载至内存做hash是不现实的,倒是可以先按首字母聚合分文件,然后在跑去重,时间换空间~
回复

使用道具 举报

51

回帖

172

积分

92 小时

在线时间

上等兵

注册时间
2012-6-5
金币
112 个
威望
0 个
荣誉
0 个

尚未签到

发表于 2020-1-4 19:17 |显示全部楼层
学习。。。。。。。。。。。。
回复

使用道具 举报

1

回帖

1192

积分

174 小时

在线时间

上尉

注册时间
2016-4-3
金币
1164 个
威望
2 个
荣誉
0 个
累计签到:132 天
连续签到:0 天
[LV.200]无线新星
发表于 2020-1-4 19:43 来自手机 |显示全部楼层
楼主辛苦了 谢谢!
回复

使用道具 举报

13

回帖

1685

积分

144 小时

在线时间

上尉

注册时间
2012-3-29
金币
1656 个
威望
0 个
荣誉
0 个
累计签到:152 天
连续签到:0 天
[LV.200]无线新星
发表于 2020-1-4 20:13 |显示全部楼层
好东西
回复

使用道具 举报

29

回帖

494

积分

111 小时

在线时间

少尉

注册时间
2015-10-23
金币
426 个
威望
2 个
荣誉
1 个
累计签到:43 天
连续签到:0 天
[LV.50]初入江湖
发表于 2020-1-4 23:36 |显示全部楼层
好东西,下起来
回复

使用道具 举报

67

回帖

4619

积分

179 小时

在线时间

少校

注册时间
2012-9-21
金币
4534 个
威望
0 个
荣誉
0 个
累计签到:436 天
连续签到:0 天
[LV.730]常住居民
发表于 2020-1-5 09:06 |显示全部楼层
膜拜大神,先下下来瞅瞅
回复

使用道具 举报

284

回帖

4998

积分

1348 小时

在线时间

少校

注册时间
2014-7-20
金币
4562 个
威望
1 个
荣誉
0 个
累计签到:606 天
连续签到:0 天
[LV.730]常住居民
发表于 2020-1-5 10:27 |显示全部楼层
感谢分享
回复

使用道具 举报

171

回帖

2461

积分

170 小时

在线时间

少校

注册时间
2012-6-19
金币
2253 个
威望
1 个
荣誉
0 个
累计签到:44 天
连续签到:1 天
[LV.50]初入江湖
发表于 2020-1-5 11:10 |显示全部楼层
支持,支持必须支持。
回复

使用道具 举报

1

回帖

22

积分

0 小时

在线时间

新兵上阵

注册时间
2020-1-5
金币
21 个
威望
0 个
荣誉
0 个
累计签到:1 天
连续签到:0 天
[LV.20]漫游旅程
发表于 2020-1-5 12:02 |显示全部楼层
uidshsh谢谢啦
回复

使用道具 举报

3362

回帖

2万

积分

4795 小时

在线时间

大校

注册时间
2015-5-1
金币
16904 个
威望
12 个
荣誉
1 个
累计签到:1 天
连续签到:0 天
[LV.20]漫游旅程
发表于 2020-1-5 14:06 来自手机 |显示全部楼层
嘟嘟猪 发表于 2020-1-4 16:37
最近才开始接触这个玩意,合并过几个网上及站内诸如奥巴马的字典,发现有几个问题,第一就是最常见的数据重 ...

是32-126
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册 微信登录

本版积分规则

站点统计 | Archiver | 手机版 | 无线门户 ( 粤ICP备11076993号|粤公网安备44010602008359号 ) |网站地图

GMT+8, 2024-12-19 23:09

返回顶部 返回列表