提供了编程的基础技术教程

zl程序教程

您现在的位置是：首页 >  其他

当前栏目

fdupes：Linux 中查找并删除重复文件的命令行工具

文件
2023-03-14 22:31:02 时间

对于大多数计算机用户而言，查找并替换重复的文件是一个常见的需求。查找并移除重复文件真是一项令人不胜其烦的工作，它耗时又耗力。但如果你的机器上跑着GNU/Linux，那么查找重复文件会变得十分简单，这多亏了fdupes工具。

fdupes在Linux中查找并删除重复文件

fdupes——在Linux中查找并删除重复文件

fdupes是啥东东？

fdupes是Linux下的一个工具，它由Adrian Lopez用C编程语言编写并基于MIT许可证发行，该应用程序可以在指定的目录及子目录中查找重复的文件。fdupes通过对比文件的MD5签名，以及逐字节比较文件来识别重复内容，fdupes有各种选项，可以实现对文件的列出、删除、替换为文件副本的硬链接等操作。

文件对比以下列顺序开始：

大小对比 > 部分 MD5 签名对比 > 完整 MD5 签名对比 > 逐字节对比

安装 fdupes 到 Linux

在基于Debian的系统上，如Ubuntu和Linux Mint，安装最新版fdupes，用下面的命令手到擒来。



  1. $ sudo apt-get install fdupes


在基于CentOS/RHEL和Fedora的系统上，你需要开启epel仓库来安装fdupes包。




    

  1. # yum install fdupes
    2. 

  2. # dnf install fdupes    [在 Fedora 22 及其以后]
    3. 



注意：自Fedora 22之后，默认的包管理器yum被dnf取代了。



fdupes命令如何使用


1、 作为演示的目的，让我们来在某个目录（比如 tecmint）下创建一些重复文件，命令如下：




  1. $ mkdir /home/"$USER"/Desktop/tecmint && cd /home/"$USER"/Desktop/tecmint && for i in {1..15}; do echo "I Love Tecmint. Tecmint is a very nice community of Linux Users." > tecmint${i}.txt ; done


在执行以上命令后，让我们使用ls命令验证重复文件是否创建。




    

  1. $ ls -l
    2. 

    3. 

  3. total 60
    4. 

  4. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint10.txt
    5. 

  5. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint11.txt
    6. 

  6. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint12.txt
    7. 

  7. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint13.txt
    8. 

  8. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint14.txt
    9. 

  9. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint15.txt
    10. 

  10. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint1.txt
    11. 

  11. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint2.txt
    12. 

  12. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint3.txt
    13. 

  13. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint4.txt
    14. 

  14. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint5.txt
    15. 

  15. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint6.txt
    16. 

  16. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint7.txt
    17. 

  17. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint8.txt
    18. 

  18. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint9.txt
    19. 



上面的脚本创建了15个文件，名称分别为tecmint1.txt，tecmint2.txt……tecmint15.txt，并且每个文件的数据相同，如




  1. "I Love Tecmint. Tecmint is a very nice community of Linux Users."


2、 现在在tecmint文件夹内搜索重复的文件。




    

  1. $ fdupes /home/$USER/Desktop/tecmint 
    2. 

    3. 

  3. /home/tecmint/Desktop/tecmint/tecmint13.txt
    4. 

  4. /home/tecmint/Desktop/tecmint/tecmint8.txt
    5. 

  5. /home/tecmint/Desktop/tecmint/tecmint11.txt
    6. 

  6. /home/tecmint/Desktop/tecmint/tecmint3.txt
    7. 

  7. /home/tecmint/Desktop/tecmint/tecmint4.txt
    8. 

  8. /home/tecmint/Desktop/tecmint/tecmint6.txt
    9. 

  9. /home/tecmint/Desktop/tecmint/tecmint7.txt
    10. 

  10. /home/tecmint/Desktop/tecmint/tecmint9.txt
    11. 

  11. /home/tecmint/Desktop/tecmint/tecmint10.txt
    12. 

  12. /home/tecmint/Desktop/tecmint/tecmint2.txt
    13. 

  13. /home/tecmint/Desktop/tecmint/tecmint5.txt
    14. 

  14. /home/tecmint/Desktop/tecmint/tecmint14.txt
    15. 

  15. /home/tecmint/Desktop/tecmint/tecmint1.txt
    16. 

  16. /home/tecmint/Desktop/tecmint/tecmint15.txt
    17. 

  17. /home/tecmint/Desktop/tecmint/tecmint12.txt
    18. 



3、 使用-r选项在每个目录包括其子目录中递归搜索重复文件。


它会递归搜索所有文件和文件夹，花一点时间来扫描重复文件，时间的长短取决于文件和文件夹的数量。在此其间，终端中会显示全部过程，像下面这样。




    

  1. $ fdupes -r /home
    2. 

    3. 

  3. Progress [37780/54747] 69%
    4. 



4、 使用-S选项来查看某个文件夹内找到的重复文件的大小。




    

  1. $ fdupes -S /home/$USER/Desktop/tecmint
    2. 

    3. 

  3. 65 bytes each:                          
    4. 

  4. /home/tecmint/Desktop/tecmint/tecmint13.txt
    5. 

  5. /home/tecmint/Desktop/tecmint/tecmint8.txt
    6. 

  6. /home/tecmint/Desktop/tecmint/tecmint11.txt
    7. 

  7. /home/tecmint/Desktop/tecmint/tecmint3.txt
    8. 

  8. /home/tecmint/Desktop/tecmint/tecmint4.txt
    9. 

  9. /home/tecmint/Desktop/tecmint/tecmint6.txt
    10. 

  10. /home/tecmint/Desktop/tecmint/tecmint7.txt
    11. 

  11. /home/tecmint/Desktop/tecmint/tecmint9.txt
    12. 

  12. /home/tecmint/Desktop/tecmint/tecmint10.txt
    13. 

  13. /home/tecmint/Desktop/tecmint/tecmint2.txt
    14. 

  14. /home/tecmint/Desktop/tecmint/tecmint5.txt
    15. 

  15. /home/tecmint/Desktop/tecmint/tecmint14.txt
    16. 

  16. /home/tecmint/Desktop/tecmint/tecmint1.txt
    17. 

  17. /home/tecmint/Desktop/tecmint/tecmint15.txt
    18. 

  18. /home/tecmint/Desktop/tecmint/tecmint12.txt
    19. 



5、 你可以同时使用-S和-r选项来查看所有涉及到的目录和子目录中的重复文件的大小，如下：




    

  1. $ fdupes -Sr /home/avi/Desktop/
    2. 

    3. 

  3. 65 bytes each:                          
    4. 

  4. /home/tecmint/Desktop/tecmint/tecmint13.txt
    5. 

  5. /home/tecmint/Desktop/tecmint/tecmint8.txt
    6. 

  6. /home/tecmint/Desktop/tecmint/tecmint11.txt
    7. 

  7. /home/tecmint/Desktop/tecmint/tecmint3.txt
    8. 

  8. /home/tecmint/Desktop/tecmint/tecmint4.txt
    9. 

  9. /home/tecmint/Desktop/tecmint/tecmint6.txt
    10. 

  10. /home/tecmint/Desktop/tecmint/tecmint7.txt
    11. 

  11. /home/tecmint/Desktop/tecmint/tecmint9.txt
    12. 

  12. /home/tecmint/Desktop/tecmint/tecmint10.txt
    13. 

  13. /home/tecmint/Desktop/tecmint/tecmint2.txt
    14. 

  14. /home/tecmint/Desktop/tecmint/tecmint5.txt
    15. 

  15. /home/tecmint/Desktop/tecmint/tecmint14.txt
    16. 

  16. /home/tecmint/Desktop/tecmint/tecmint1.txt
    17. 

  17. /home/tecmint/Desktop/tecmint/tecmint15.txt
    18. 

  18. /home/tecmint/Desktop/tecmint/tecmint12.txt
    19. 

    20. 

  20. 107 bytes each:
    21. 

  21. /home/tecmint/Desktop/resume_files/r-csc.html
    22. 

  22. /home/tecmint/Desktop/resume_files/fc.html
    23. 



6、 不同于在一个或所有文件夹内递归搜索，你可以选择按要求有选择性地在两个或三个文件夹内进行搜索。不必再提醒你了吧，如有需要，你可以使用-S和/或-r选项。




  1. $ fdupes /home/avi/Desktop/ /home/avi/Templates/


7、 要删除重复文件，同时保留一个副本，你可以使用-d选项。使用该选项，你必须额外小心，否则最终结果可能会是文件/数据的丢失。郑重提醒，此操作不可恢复。




    

  1. $ fdupes -d /home/$USER/Desktop/tecmint
    2. 

    3. 

  3. [1] /home/tecmint/Desktop/tecmint/tecmint13.txt
    4. 

  4. [2] /home/tecmint/Desktop/tecmint/tecmint8.txt
    5. 

  5. [3] /home/tecmint/Desktop/tecmint/tecmint11.txt
    6. 

  6. [4] /home/tecmint/Desktop/tecmint/tecmint3.txt
    7. 

  7. [5] /home/tecmint/Desktop/tecmint/tecmint4.txt
    8. 

  8. [6] /home/tecmint/Desktop/tecmint/tecmint6.txt
    9. 

  9. [7] /home/tecmint/Desktop/tecmint/tecmint7.txt
    10. 

  10. [8] /home/tecmint/Desktop/tecmint/tecmint9.txt
    11. 

  11. [9] /home/tecmint/Desktop/tecmint/tecmint10.txt
    12. 

  12. [10] /home/tecmint/Desktop/tecmint/tecmint2.txt
    13. 

  13. [11] /home/tecmint/Desktop/tecmint/tecmint5.txt
    14. 

  14. [12] /home/tecmint/Desktop/tecmint/tecmint14.txt
    15. 

  15. [13] /home/tecmint/Desktop/tecmint/tecmint1.txt
    16. 

  16. [14] /home/tecmint/Desktop/tecmint/tecmint15.txt
    17. 

  17. [15] /home/tecmint/Desktop/tecmint/tecmint12.txt
    18. 

    19. 

  19. Set 1 of 1, preserve files [1 - 15, all]: 
    20. 



你可能注意到了，所有重复的文件被列了出来，并给出删除提示，一个一个来，或者指定范围，或者一次性全部删除。你可以选择一个范围，就像下面这样，来删除指定范围内的文件。




    

  1. Set 1 of 1, preserve files [1 - 15, all]: 2-15
    2. 

    3. 

  3.    [-] /home/tecmint/Desktop/tecmint/tecmint13.txt
    4. 

  4.    [+] /home/tecmint/Desktop/tecmint/tecmint8.txt
    5. 

  5.    [-] /home/tecmint/Desktop/tecmint/tecmint11.txt
    6. 

  6.    [-] /home/tecmint/Desktop/tecmint/tecmint3.txt
    7. 

  7.    [-] /home/tecmint/Desktop/tecmint/tecmint4.txt
    8. 

  8.    [-] /home/tecmint/Desktop/tecmint/tecmint6.txt
    9. 

  9.    [-] /home/tecmint/Desktop/tecmint/tecmint7.txt
    10. 

  10.    [-] /home/tecmint/Desktop/tecmint/tecmint9.txt
    11. 

  11.    [-] /home/tecmint/Desktop/tecmint/tecmint10.txt
    12. 

  12.    [-] /home/tecmint/Desktop/tecmint/tecmint2.txt
    13. 

  13.    [-] /home/tecmint/Desktop/tecmint/tecmint5.txt
    14. 

  14.    [-] /home/tecmint/Desktop/tecmint/tecmint14.txt
    15. 

  15.    [-] /home/tecmint/Desktop/tecmint/tecmint1.txt
    16. 

  16.    [-] /home/tecmint/Desktop/tecmint/tecmint15.txt
    17. 

  17.    [-] /home/tecmint/Desktop/tecmint/tecmint12.txt
    18. 



8、 从安全角度出发，你可能想要打印fdupes的输出结果到文件中，然后检查文本文件来决定要删除什么文件。这可以降低意外删除文件的风险。你可以这么做：




  1. $ fdupes -Sr /home > /home/fdupes.txt


注意：你应该替换/home为你想要的文件夹。同时，如果你想要递归搜索并打印大小，可以使用-r和-S选项。


9、 你可以使用-f选项来忽略每个匹配集中的首个文件。


首先列出该目录中的文件。




    

  1. $ ls -l /home/$USER/Desktop/tecmint
    2. 

    3. 

  3. total 20
    4. 

  4. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint9 (3rd copy).txt
    5. 

  5. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint9 (4th copy).txt
    6. 

  6. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint9 (another copy).txt
    7. 

  7. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint9 (copy).txt
    8. 

  8. -rw-r--r-- 1 tecmint tecmint 65 Aug  8 11:22 tecmint9.txt
    9. 



然后，忽略掉每个匹配集中的首个文件。




    

  1. $ fdupes -f /home/$USER/Desktop/tecmint
    2. 

    3. 

  3. /home/tecmint/Desktop/tecmint9 (copy).txt
    4. 

  4. /home/tecmint/Desktop/tecmint9 (3rd copy).txt
    5. 

  5. /home/tecmint/Desktop/tecmint9 (another copy).txt
    6. 

  6. /home/tecmint/Desktop/tecmint9 (4th copy).txt
    7. 



10、 检查已安装的fdupes版本。




    

  1. $ fdupes --version
    2. 

    3. 

  3. fdupes 1.51
    4. 



11、 如果你需要关于fdupes的帮助，可以使用-h开关。




    

  1. $ fdupes -h
    2. 

    3. 

  3. Usage: fdupes [options] DIRECTORY...
    4. 

    5. 

  5.  -r --recurse       for every directory given follow subdirectories
    6. 

  6.                     encountered within
    7. 

  7.  -R --recurse:      for each directory given after this option follow
    8. 

  8.                     subdirectories encountered within (note the ':' at
    9. 

  9.                     the end of the option, manpage for more details)
    10. 

  10.  -s --symlinks      follow symlinks
    11. 

  11.  -H --hardlinks     normally, when two or more files point to the same
    12. 

  12.                     disk area they are treated as non-duplicates; this
    13. 

  13.                     option will change this behavior
    14. 

  14.  -n --noempty       exclude zero-length files from consideration
    15. 

  15.  -A --nohidden      exclude hidden files from consideration
    16. 

  16.  -f --omitfirst     omit the first file in each set of matches
    17. 

  17.  -1 --sameline      list each set of matches on a single line
    18. 

  18.  -S --size          show size of duplicate files
    19. 

  19.  -m --summarize     summarize dupe information
    20. 

  20.  -q --quiet         hide progress indicator
    21. 

  21.  -d --delete        prompt user for files to preserve and delete all
    22. 

  22.                     others; important: under particular circumstances,
    23. 

  23.                     data may be lost when using this option together
    24. 

  24.                     with -s or --symlinks, or when specifying a
    25. 

  25.                     particular directory more than once; refer to the
    26. 

  26.                     fdupes documentation for additional information
    27. 

  27.  -N --noprompt      together with --delete, preserve the first file in
    28. 

  28.                     each set of duplicates and delete the rest without
    29. 

  29.                     prompting the user
    30. 

  30.  -v --version       display fdupes version
    31. 

  31.  -h --help          display this help message
    32. 



到此为止了。让我知道你以前怎么在Linux中查找并删除重复文件的吧？同时，也让我知道你关于这个工具的看法。在下面的评论部分中提供你有价值的反馈吧，别忘了为我们点赞并分享，帮助我们扩散哦。





本文来自云栖社区合作伙伴“Linux中国”，原文发布日期：2015-09-01


 
                

                                
                

                
            

        

        

        

            

                
相关文章