Вопросы с тегом «deduplication»

Дедупликация - это поиск и удаление повторяющихся файлов.

17
Как дедуплицировать 40 ТБ данных?

Я унаследовал исследовательский кластер с ~ 40 ТБ данных в трех файловых системах. Данные растянуты почти на 15 лет, и, скорее всего, существует большое количество дубликатов, поскольку исследователи копируют данные друг друга по разным причинам, а затем просто держатся за копии. Я знаю об...

14
Каков наилучший способ удалить дубликаты файлов изображений с вашего компьютера?

На моем компьютере с Windows, в разных подпапках и с разными именами файлов много дублированных файлов изображений. Какой скрипт на Python или бесплатную программу вы бы порекомендовали для удаления дубликатов? (Я читал этот похожий вопрос, но постер там спрашивает о визуальных дубликатах с разными...

12
Существует ли программа сжатия или архивирования для Windows, которая также выполняет дедупликацию? [закрыто]

Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме Супер пользователя. Закрыто 3 года назад . Я ищу программу-архиватор, которая может выполнять дедупликацию (дедупликацию) файлов, которые...

11
Как удалить повторяющиеся строки на основе некоторых столбцов

У меня есть лист Excel, который содержит повторяющиеся строки Я хочу удалить строку, если столбцы ACDEF совпадают (игнорировать B при вычислении дубликатов, но удалить при удалении строки) На данный момент он игнорирует B при сравнении, а также при удалении....

10
Способы дедупликации файлов

Я хочу просто сделать резервную копию и архивировать файлы на нескольких машинах. К сожалению, файлы содержат несколько больших файлов, которые являются одним и тем же файлом, но по-разному хранятся на разных компьютерах. Например, может быть несколько сотен фотографий, которые были скопированы с...

9
Бесплатный поиск дубликатов mp3 [закрыт]

Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме Супер пользователя. Закрыто 5 лет назад . Некоторое время назад я использовал анализатор дубликатов файлов для mp3, анализируя контент. К...

8
Как я могу иметь два файла с одинаковым именем в каталоге при монтировании с NFS?

У меня есть тест приложения C ++, который создает 10000 файлов в смонтированном каталоге NFS, но недавно мой тест не прошел один раз из-за того, что один файл дважды появлялся в этом каталоге с тем же именем вместе со всеми остальными 10000 файлами. Это можно увидеть в Linux Centos v4 или v5, где...

3
(Win Server 2012) Невозможно включить дедупликацию данных на диске C:

Я пытаюсь включить дедупликацию данных на диске C:, но диспетчер сервера не позволяет мне это делать. После использования команды PowerShell он дал мне следующее сообщение: Windows PowerShell Copyright (C) 2014 Microsoft Corporation. All rights reserved. PS C:\Windows\system32> Import-Module...

2
Сканер дубликатов файлов

У меня есть сеть хранения 15 ТБ, и сейчас у меня осталось около 2,5 ТБ (из-за большого количества дубликатов). Я пробовал много сканеров, но у меня был небольшой успех, в конце концов они все терпят крах из-за огромного количества данных. Есть ли какая-нибудь известная вам программа, которая сможет...

1
Ищите инструмент для жесткого диска, который может выполнять дедупликацию и сжатие данных

Привет эксперты и профи! И счастливого Нового 2011 года всем! Я ищу "частный" инструмент, который может дедуплицировать мой внешний жесткий диск. Я уверен, что у меня на дисках вдвое больше файлов, и я не могу позволить себе делать это за руку. Еще лучше, если он может быть бесплатным или...

1
Найти RAR с дублированным контентом

Мне нужна утилита для поиска файлов RAR, которые содержат дубликаты данных (то есть файлы в RAR, которые имеют одинаковые хэши, но могут иметь разные имена). Я могу открыть RAR и увидеть, что CRC одинаковы, но я надеялся на более автоматизированный процесс, который бы работал в натуральном...

1
Найти уникальные файлы на двух дисках

Я пытаюсь сравнить 2 тома, которые в основном имеют одинаковое содержание, но в совершенно разных структурах папок (Около 2 миллионов файлов.) Я хочу увидеть, какие файлы находятся ТОЛЬКО в 1 папке, а не в другой - в зависимости от размера & amp; название. Я попробовал это: find /Volumes/1/...

1
Как исключить / игнорировать определенные типы / расширения файлов с помощью rmlint?

Я пытаюсь дедуплицировать лабиринтный каталог, но продолжаю получать результаты для содержимого элементов, которые я хочу сопоставить, а не самих элементов, которые включают в себя, т.е. мои результаты полны таких вещей, как файлы .css и .strings из непревзойденных пакетов '.app'. Я не могу...

0
Найти дубликаты медиафайлов и автоматически организовать их в Linux

Существует ли приложение, похожее на MediaMoney (в Windows), но в Linux (Debian или Ubuntu), которое, если оно указано на жестком диске или в корневом каталоге, может выполнять тщательный поиск по нему, выявляя дубликаты мультимедийных файлов (фотографии, видео, музыкальные файлы) , Если это можно...