Какие дубликаты файлов и папок существуют для Windows? [закрыто]

Мне нужно бесплатное приложение для поиска и удаления дубликатов файлов, с возможностью найти дубликаты файлов / папок по имени и / или по размеру и удалить один из дубликатов.

Некоторое время назад был доступен Duplicate File Finder, но теперь он доступен только на вторичных сайтах, например, в справочнике Softpedia .

Сайт Wareseeker показывает правильную ссылку, http://dff.nazrashid.com/которой больше нет. Я был бы осторожен при получении исполняемых файлов с таких сайтов, хотя.

Он может выполнять поиск дубликатов в нескольких деревьях каталогов на основе,

• содержание (я думаю, что это соответствует MD5)
• размер
• имя
• имя и размер
• содержание и название

И это позволяет вам фильтровать ваш поиск по минимальному и максимальному размеру файлов (ускоряет работу, когда вы знаете границы).

Очень вдумчивый кусок программного обеспечения. Не знаю, есть ли что-то настолько быстрое и бесплатное в наши дни.

Комментарии относятся к аналогичному инструменту Sourceforge под названием Doubles

Я пробовал буквально десятки дубликатов поиска файлов (у меня все еще есть установочные файлы / ZIP-файлы, около 20 из которых сидят без дела). Некоторое время я использовал CloneMaster 2.19, потому что он был лучшим из тех, что я мог найти, хотя даже это не было идеальным (я хотел тот, который мог бы также определять дубликаты MP3 по аудиоконтенту, игнорируя теги). У всех них были проблемы, которые меня расстроили настолько, что я решил написать свою собственную и выложил список функций, которые мне требуются от DFF.

И тогда я нашел AllDup . Это первый и единственный, который фактически заставил меня отказаться от проекта (технически мой не полностью заброшен, над ним просто больше не работают, так как мне больше не нужно его писать, потому что AllDup делает все, что я от него хочу). В любом случае, AllDup ищет дубликаты файлов, но в отличие от других, он использует множество приемов и приемов, которые я собирался использовать в своем собственном DFF. Таким образом, он очень быстрый: он может, например, сканировать> 250 000 форматов от 1B-5GB за ~ 30 минут (я делал это в своей системе несколько раз).

Еще одна замечательная (и по некоторым причинам редкая) особенность AllDup заключается в том, что, как я уже упоминал, он может сканировать дубликаты MP3 по их фактически аудиоданным, игнорируя теги, поэтому два MP3, которые имеют одинаковые, но разные теги (очень часто встречаются при загрузке), будут быть обнаружены как дубликаты. (Он может даже обнаружить, когда я скопировал две одинаковые песни с двух разных компакт-дисков - конечно, с разными тегами.) Конечно, он может обнаружить дубликаты на основе других факторов, помимо байтового содержимого, таких как имена файлов, даты и т. Д.

Другие замечательные возможности AllDup включают возможность фильтрации (включения или исключения) на основе имени файла и / или имени папки и / или размера файла. Экран результатов также очень универсален с опциями выбора файлов на основе даты, пути, имени, этого, этого, другого ... У него также есть разнообразие в том, что делать с обнаруженными дубликатами

Майкл Туммерер также очень восприимчив. Я несколько раз сообщал ему об ошибках и предлагал ему новые функции, на которые он очень быстро обратился (до такой степени, что он сказал мне загрузить и опробовать бета-версию с обновлениями в следующих электронных письмах того же дня).

Ох, и это бесплатно.

НТН

Duplicate Cleaner очень быстр и имеет широкие возможности фильтрации результатов.

Clonespy http://www.clonespy.com

Я считаю это очень полезным и более полезным, чем doublekiller. Особенно приятной функцией является функция «Пулы», где вы можете сравнить одну группу каталогов с другой группой каталогов, игнорируя при этом дубликаты внутри групп.

Например, мой партнер любит хранить дубликаты файлов изображений при работе с изображениями. Я хочу посмотреть, есть ли у меня какие-либо копии этих файлов в моих каталогах.

Пул 1 - Домашний каталог партнера. Пул 2 - Мой домашний каталог.

Единственные найденные дубликаты - это если файл присутствует как в моих каталогах, так и в каталогах моего партнера. Файлы, только дублированные в каталогах моего партнера, игнорируются.

У меня есть следующий пакетный файл в течение некоторого времени:

@ECHO OFF
REM TODO: Help when run with /? and switch for recursion
REM Furthermore check whether we might have enough files to hit the envvar length limit
REM and switch strategies accordingly (slower but finds all dupes then)
SETLOCAL ENABLEEXTENSIONS ENABLEDELAYEDEXPANSION
REM This method speeds up comparison but suffers from long file lists
REM as environment variables have a length limit
SET FILELIST=
FOR %1 %%i IN (*) DO (
    FOR %%j IN (!FILELIST!) DO (
        IF %%~zi EQU %%~zj (
            fc /b "%%~i" "%%~j">NUL && echo "%%~i" = "%%~j"
        )
    )
    SET FILELIST=!FILELIST! "%%~i"
)
ENDLOCAL
GOTO :EOF

Вы можете запустить его в /rкачестве аргумента для рекурсивного запуска по дереву каталогов.

У Total Commander есть замечательная утилита поиска дубликатов файлов. К сожалению, это не бесплатно.

Как упоминал Ник, есть Duplicate File Finder с открытым исходным кодом и кросс-платформенный. Это доступно на SourceForge здесь

DoubleKiller - отличный бесплатный (у них также есть профессиональная версия) поиск и удаление дубликатов файлов. Я использую это в течение многих лет и полностью рекомендовал бы это.

http://www.bigbangenterprises.de/en/doublekiller

Winmerge http://winmerge.org/

Сравните очень похожие каталоги, возможно, между вашей папкой «Documents» и вашей импровизированной «резервной копией», папкой «Copy of Documents», которую вы создали несколько недель назад «на всякий случай».

Вы можете выяснить, какие файлы все еще идентичны, какие файлы являются самыми новыми (или самыми старыми, если вы столкнулись с проблемой), и какие файлы существуют только в одном месте. Затем вы можете «объединить» каталоги и удалить дубликаты.

Duplocator . Кросс-платформенный скрипт Python для поиска дубликатов.

Расширенный уход за системой поставляется с Clone Files Finder с программой. Я пользуюсь им, и он отлично работает.

Я всегда использовал старую программу Find Duplicates , но теперь, когда Geocities уничтожен, я думаю, что она больше не существует, так что вот копия файла .

Он отображает файлы в удобных для просмотра группах, выделенных цветом. Он предупреждает вас, если вы отметили все копии файла для удаления, можете пометить их автоматически, можете выборочно пометить все файлы в каталоге (я часто это использовал), можете удалить каталоги, которые становятся пустыми после удаления, и т. Д. осторожны со ссылками, если вы используете его в Wine. Он удалит все копии файла, не зная, что они являются ссылками.

Я нашел еще один Duplicate File Remover, чтобы быть удивительным. Это довольно новый и очень простой в использовании. Я использовал его для сравнения более 50 000 файлов из проекта восстановления жесткого диска, поэтому он может обрабатывать большое количество файлов.

Лучшим решением, которое я тестировал на Windows, был уже упомянутый Alldup . Реквизит для Synetech Inc. для того, чтобы поделиться этим. Блестящий и очень профессиональный бесплатный инструмент.

В этом посте я приведу протестированные решения bash, которые будут работать в Cygwin, Linux и OS X (или в любом другом, использующем bash-like оболочку).

Поиск дубликатов файлов с использованием бесплатных и открытых инструментов

Еще одна утилита:

http://yurichev.com/ddff.html

* Comparison to other duplicate finding utilities:

+ Very fast
+ Comparing directories too.
+ Often, two directories contain, let's say, 4 equal files and 5th file is different.
  We handle it too and output these as "common files in directories"
+ Absence of unnecessary switches.

- Win32 only
- Command-line only

Быстрый поиск дубликатов файлов:

• Совершенно бесплатно
• Можно определить дубликаты независимо от того, где они находятся в каталоге / папки структуры
• Простой в использовании интерфейс Windows
• Может создавать отчеты в форме XML
• Может Переместить дубликаты в корзину или другую корневую папку, сохраняя исходную структуру папок, например, если дубликат файла находился в папке внутри другой папки, этот путь был бы сохранен: файл все еще будет существовать в папке внутри папки, и эта структура будет перемещена в папку, выбранную пользователем - будь то корзина для утилизации или папка, указанная пользователем
• Быстрый алгоритм двоичного сравнения, а также проверка имени файла и размера.

http://www.mindgems.com/products/Fast-Duplicate-File-Finder/Fast-Duplicate-File-Finder-About.htm