利用Linux查找重复文件
转载
本部分算是对find强大功能的扩展使用方法说明,如果你不熟悉find命令的常规使用方法可以移步 如何在Linux中使用Find命令查找文件 先了解一下。在find的基础上,我们可与(如xargs命令)等其它基本Linux命令相结合,即能创造出无限的命令行功能,比如:可以快速查找出Linux某个文件夹及其子文件夹中的重复文件列表。要实现这个功能在流程上是比较简单的,只要查找遍历出所有文件,再通过命令去比较每个文件的MD5就OK啦。
听起来好像比较抽象,其实命令就一条:
find -not -empty -type f -printf "%s\\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate
DupeGuru是一个跨平台应用,有Linux、Windows和Mac OS X版本,它可以通过文件大小、MD5和文件名等多种标准来帮助用户找出Linux中的重复文件。Ubuntu用户可以直接通过添加如下PPA源来方式来进行安装:
sudo add-apt-repository ppa:hsoft/ppa
sudo apt-get update
sudo apt-get install dupeguru*
在工作生活当中,我们很可能会遇到查找重复文件的问题。比如博主我所在的汉化组就遇到过这样一个情况:从某游戏提取的游戏文本有重复的,我们希望找出所有重复的文本,让翻译只翻译其中一份,而其他的直接替换。那么这个问题该怎么做呢?当然方法多种多样,而且无论那种方法应该都不会太难,但博主我第一次遇到这个问题的时候第一反应是是用Linux的Shell脚本,所以文本介绍这种方式。
先上代码:
find -not -empty -type f -printf "%s\n" | sort -rn |uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate | cut -b 36-
大家先cd到自己想要查找重复文件的文件夹,然后copy上面代码就可以了,系统会对当前文件夹及子文件夹内的所有文件进行查重。
下面分析一下上面的命令。
首先看第一句:
find -not -empty -type f -printf "%s\n"
find是查找命令;-not -empty是要寻找非空文件;-type f是指寻找常规文件;-printf “%s\n”比较具有迷惑性,这里的%s并非C语言中的输出字符串,它实际表示的是文件的大小,单位为bytes(不懂就man,man一下find,就可以看到了),\n是换行符。所以这句话的意思是输出所有非空文件的大小。
通过管道,上面的结果被传到第二句:
sort -rn
sort是排序,-n是指按大小排序,-r是指从大到小排序(逆序reverse)。
第三句:
uniq -d
uniq是把重复的只输出一次,而-d指只输出重复的部分(如9出现了5次,那么就输出1个9,而2只出现了1次,并非重复出现的数字,故不输出)。
第四句:
xargs -I{} -n1 find -type f -size {}c -print0
这一部分分两部分看,第一部分是xargs -I{} -n1,xargs命令将之前的结果转化为参数,供后面的find调用,其中-I{}是指把参数写成{},而-n1是指将之前的结果一个一个输入给下一个命令(-n8就是8个8个输入给下一句,不写-n就是把之前的结果一股脑的给下一句)。后半部分是find -type f -size {}c -print0,find指令我们前面见过,-size{}是指找出大小为{}bytes的文件,而-print0则是为了防止文件名里带空格而写的参数。
第五句:
xargs -0 md5sum
xargs我们之前说过,是将前面的结果转化为输入,那么这个-0又是什么意思?man一下xargs,我们看到-0表示读取参数的时候以null为分隔符读取,这也不难理解,毕竟null的二进制表示就是00。后面的md5sum是指计算输入的md5值。
第六句:sort是排序,这个我们前面也见过。
第七句:
uniq -w32 --all-repeated=separate
uniq -w32是指寻找前32个字符相同的行,原因在于md5值一定是32位的,而后面的--all-repeated=separate是指将重复的部分放在一类,分类输出。
第八句:
cut -b 36-
由于我们的结果带着md5值,不是很好看,所以我们截取md5值后面的部分,cut是文本处理函数,这里-b 36-是指只要每行36个字符之后的部分。
我们将上述每个命令用管道链接起来,存入result.txt:
find -not -empty -type f -printf "%s\n" | sort -rn |uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate | cut -b 36- >result.txt
虽然结果很好看,但是有一个问题,这是在Linux下很好看,实际上如果有朋友把输出文件放到Windows上,就会发现换行全没了,这是由于Linux下的换行是\n,而windows要求\n\r,为了解决这个问题,我们最后执行一条指令,将\n转换为\n\r:
cat result.txt | cut -c 36- | tr -s '\n'
译者: LCTTjoeren | 2015-09-01 14:13 收藏: 9
对于大多数计算机用户而言,查找并替换重复的文件是一个常见的需求。查找并移除重复文件真是一项令人不胜其烦的工作,它耗时又耗力。但如果你的机器上跑着GNU/Linux,那么查找重复文件会变得十分简单,这多亏了fdupes工具。
fdupes——在Linux中查找并删除重复文件
fdupes是Linux下的一个工具,它由Adrian Lopez用C编程语言编写并基于MIT许可证发行,该应用程序可以在指定的目录及子目录中查找重复的文件。fdupes通过对比文件的MD5签名,以及逐字节比较文件来识别重复内容,fdupes有各种选项,可以实现对文件的列出、删除、替换为文件副本的硬链接等操作。
文件对比以下列顺序开始:
大小对比 > 部分 MD5 签名对比 > 完整 MD5 签名对比 > 逐字节对比
在基于Debian的系统上,如Ubuntu和Linux Mint,安装最新版fdupes,用下面的命令手到擒来。
注意:自Fedora 22之后,默认的包管理器yum被dnf取代了。
1、 作为演示的目的,让我们来在某个目录(比如 tecmint)下创建一些重复文件,命令如下:
它会递归搜索所有文件和文件夹,花一点时间来扫描重复文件,时间的长短取决于文件和文件夹的数量。在此其间,终端中会显示全部过程,像下面这样。
9、 你可以使用-f选项来忽略每个匹配集中的首个文件。
首先列出该目录中的文件。
我正在使用另外一个移除重复文件的工具,它叫fslint。很快就会把使用心得分享给大家哦,你们一定会喜欢看的。
如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!
赞0
添加新评论0 条评论