rsync очень долго отправляет список файлов

14

Я пытаюсь использовать rsync для резервного копирования некоторых файлов с внутреннего жесткого диска на USB-диск. (Я работаю над wd mybook world NAS)

Есть две папки, которые я хочу сделать резервную копию. Папка с музыкой и папка с видео. Папка с музыкой (864 файла, около 10 ГБ) отлично работала примерно за 1 час (для полного прогресса).

Но папка видео (1025 файлов, около 700 ГБ) все еще находится в «отправке списка добавочных файлов» в течение 8 часов. Я не думаю, что что-то было передано. Что может вызвать такую ​​разницу? Папка видео содержит не так много файлов. Да, это намного больше, но это не должно иметь никакого значения при создании списка файлов, я думаю.

Я использую эту команду rsync:

/shares/extern # rsync -avPc --stats /shares/Public/Shared\ Videos /shares/extern/

Теперь, когда я работаю над NAS, у меня не так много ресурсов процессора, но я думаю, что это слишком долго.

Как вы думаете, это поведение нормально? Есть ли какие-либо предположения, что я могу сделать, чтобы ускорить все это немного?

Я использую rsync 3.0.2

Graslandpinguin
источник
2
Пожалуйста, не помещайте ответы в теле вопроса. Вы можете добавить свой собственный ответ, если текущие ответы не верны, или комментировать ответы других людей, если вам есть что добавить. Благодарность!
Калеб

Ответы:

25

В -cопции заставляет Rsync для вычисления контрольной суммы для всех файлов. Это означает, что он читает содержимое всех видеофайлов, прежде чем начинает решать, какие из них копировать. Это явно медленно.

Попробуйте удалить эту опцию, если это возможно. Вам это нужно только в редких случаях. См. Описание на странице руководства для получения дополнительной информации:

Обратите внимание, что rsync всегда проверяет, что каждый переданный файл был правильно восстановлен на принимающей стороне, проверяя контрольную сумму всего файла, которая генерируется при передаче файла, но эта автоматическая проверка после передачи не имеет ничего общего с этой опцией the-перевод "Нужно ли обновлять этот файл?" проверить.

щелчок
источник
о спасибо за подсказку Прочитав man-страницу, я могу сказать, что неправильно понял параметр -c. Мысль это проверяет после копирования с контрольной суммой. Спасибо за помощь!
Graslandpinguin
@CaptnLenz, рад помочь. Пожалуйста, подумайте над галочкой слева от моего ответа, чтобы принять мое решение.
оснастка
У меня была эта проблема, потому что я передал «-archive», а не «--archive» команде rsync. rsync рассматривал '-archive' как вариант -c.
Леоны
4
Просто чтобы расширить комментарий @Leons, -archive рассматривается как -a -r -c -h -i -v -e, все допустимые ключи. Хитрая маленькая ошибка.
Марк С
Подождите, в чем разница между проверкой контрольной суммы и проверкой размера файла / даты изменения? Действительно ли проверка контрольной суммы занимает гораздо больше времени, чем проверка только размера файла / даты изменения? Сохраняет ли rsync контрольные суммы после первого запуска или вычисляет их все с нуля при каждом запуске?
Кен