tylzqiqi 发表于 2019-3-27 16:34

求助，字典去重，大神请进

情况是这样的，我生成了一个本地的手机号码txt文本，里面有很多后4位重复的，比如134****0000134****1111之类的，我现在想删除它们，但是在ubuntu下用sed命令 sed -i '/0000$/d' 1.txt 不成功，（命令意思是删除文件中0000结尾的行）命令也没有报错，我看回显好像也没有删除。。。我又新建了一个文本，用此命令操作，发现可以删除。。但是对于生成的那个文件就不行，生成的文件92M，应该也不算大啊，不知道问题出在哪里？求大神们有没有更好的办法。。。谢谢了

蛮吉_Ws864 发表于 2023-1-9 13:41

可以下载一个emed软件，打开字典，直接有一个去重的按钮，点一下，100-200M的字典几秒钟就OK了

tylzqiqi 发表于 2019-3-27 19:20

已解决！编码的问题。。。

随风飘 发表于 2019-3-27 21:20

先把后面四位数字字典去重再与前面7位字典合并，就轻松了

tylzqiqi 发表于 2019-3-28 17:05

随风飘 发表于 2019-3-27 21:20
先把后面四位数字字典去重再与前面7位字典合并，就轻松了

谢谢大神回复，后面四位单独怎么去重。。。在linux 下直接上面命令 就可以了。。不过要运行多次，单独去掉。11112222 等。。不过这样也好，也很灵活。

随风飘 发表于 2019-3-29 18:40

直接生成四位不重复数字
或者生成四位数字去掉重复数字都可以

diangon7 发表于 2023-4-27 15:14

{:1_1:}{:1_1:}

tt8023yy 发表于 2024-6-19 17:23

蛮吉_Ws864 发表于 2023-1-9 13:41
可以下载一个emed软件，打开字典，直接有一个去重的按钮，点一下，100-200M的字典几秒钟就OK了 ...

软件全名是什么

wsd89757 发表于 2024-6-27 12:01

发到公司大股东
页: [1]
查看完整版本: 求助，字典去重，大神请进