这篇文章主要介绍了Linux下如何实现给大文件排序去重相关知识，内容详细易懂，操作简单快捷，具有一定借鉴价值，相信大家阅读完这篇Linux下如何实现给大文件排序去重文章都会有所收获，下面我们一起来看看吧。

有一道校招生的面试题，是要给一个很大的文件（不能全部放内存，比如1T）按行来排序和去重。

一种简单解决方案就是分而治之，先打大文件分词大小均匀的若干个小文件，然后对小文件排好序，最后再Merge所有的小文件，在Merge的过程中去掉重复的内容。

在Linux下实现这个逻辑甚至不用自己写代码，只要用shell内置的一些命令: split, sort就足够了。我们把这个流程用脚本串起来，写到shell脚本文件里。文件名叫sort_uniq.sh.

#!/bin/bash
lines=$(wc -l $1 | sed 's/ .*//g')
lines_per_file=`expr $lines / 20`
split -d -l $lines_per_file $1 __part_$1
for file in __part_*
do
{
  sort $file > sort_$file
} &
done
wait
sort -smu sort_* > $2
rm -f __part_*
rm -f sort_*

使用方法：./sort_uniq.sh file_to_be_sort file_sorted

这段代码把大文件分词20或21个小文件，后台并行排序各个小文件，最后合并结果并去重。

如果只要去重，不需要排序，还有另外一种思路：对文件的每一行计算hash值，按照hash值把该行内容放到某个小文件中，假设需要分词100个小文件，则可以按照（hash % 100）来分发文件内容，然后在小文件中实现去重就可以了。

关于“Linux下如何实现给大文件排序去重”就介绍到这了，如果大家觉得不错可以参考了解看看，如果想要了解更多，欢迎关注群英网络，小编每天都会为大家更新不同的知识。

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• linux怎么查看一个用户组里有哪些用户

  linux查看用户组下所有用户的两种方法：1、使用cat和grep命令查看用户组配置文件“/etc/group”中的内容，并过滤输出指定用户组的信息即可，语法“cat /etc/group|grep 组名”，可以输出指定用户组中的用户列表。2、使用“sudo yum members”命令安装members工具包，执行“members 组名”命令列出指定用户组下所有的用户即可。

• centos服务器上如何准备java网站项目运行环境

  阿里云centos服务器部署java-web环境

• linux的cat命令用于做什么，语法格式是怎样的

  在linux中，可以利用cat命令配合head命令来查看文件的前几行；cat命令用于连接文件并打印到标准输出设备上，head命令可以显示文件的开头至标准输出中，只需将head命令的参数设置为“-n”即可，语法为“cat 指定文件 | head -n 显示前几行的行数”。

• Linux下如何利用systemctl管理系统上的服务

  自centOS7后，新增了一个管理服务的命令——systemctl，通过这个命令可以非常方便的管理系统上的服务。

• Linux复制文件的命令怎么用，有哪些参数

  linux复制文件的命令是：“cp”命令，英文全称“copy file”，可用于将一个或多个源文件或者目录复制到指定的目的文件或目录；它可以将单个源文件复制成一个指定文件名的具体的文件或一个已经存在的目录下。