Вопросы с тегом «duplicate»

16
Открытый источник поиска дубликатов изображений для Linux?

Существует ли бесплатный и открытый источник дубликатов изображений для систем на базе Linux? Мне достаточно найти точные дубликаты (основываясь на содержимом, а не на имени файла), но возможность найти похожие изображения также была бы...

12
Удалить все повторяющиеся слова из строки, используя скрипт

У меня есть строка как "aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc" Я хочу удалить повторяющееся слово из строки, тогда вывод будет "aaa,bbb,ccc" Я попробовал этот код Source $ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs Он работает нормально с тем же значением, но когда я даю...

10
Как удалить дубликаты файлов с помощью Bash

У меня есть папка с дублирующимися (на md5sum( md5Mac)) файлами, и я хочу иметьхрон Работа запланирована, чтобы удалить все найденные. Тем не менее, я застрял на том, как это сделать. Что у меня так далеко: md5 -r * | sort Который выводит что-то вроде этого: 04c5d52b7acdfbecd5f3bdd8a39bf8fb...

9
Удалить дубликаты mp3 с другим именем, размером и хешем

У меня огромная музыкальная библиотека (все в формате mp3), но у меня музыка почти такая же, но: Может быть, на одну или две секунды дольше Около 97% так же, как другая песня Или другой битрейт. Есть ли способ найти эти дубликаты? Как уже упоминалось, они не имеют одинаковый размер, имя или...

9
Используйте basename для разбора списка путей в файле

Я использую Mac OSX и пытаюсь использовать командную строку, чтобы найти количество файлов с таким же именем. Я попытался использовать следующую команду: find ~ -type f -name "*" -print | basename | sort | uniq -d > duplicate_files Это не работает! Когда я делаю следующее: find ~ -type f -name...

9
Найти дубликаты файлов PDF по содержанию

Некоторые журналы генерируют разные PDF для каждой загрузки. APS, например, хранит время и IP-адрес в PDF. Или есть бумажная версия с гиперссылками и одна с текстовыми ссылками. Как можно найти повторяющиеся загрузки документов с равным содержанием на 90% в системе Linux с помощью программного...

8
Удалить повторяющиеся строки из файла, который содержит метку времени

Этот вопрос / ответ имеет несколько хороших решений для удаления идентичных строк в файле, но не будет работать в моем случае, так как в противном случае дублирующиеся строки имеют временную метку. Можно ли сказать awk игнорировать первые 26 символов строки при определении дубликатов? Пример: [Fri...