Я использую rsync для копирования файлов в течение некоторого времени. Насколько я понимаю, rsync работает быстрее, чем cp, когда некоторые файлы для передачи уже находятся в целевом каталоге, передавая только инкрементную разницу (т. Е. «Дельты»).
Если это правильно, будет ли какое-либо преимущество использования rsync для перемещения содержимого папки A , скажем, папки B , где B пусто?
Папка A содержит около 1 ТБ данных (и миллионы файлов в ней). Передача будет осуществляться по локальной сети ( A и B находятся в разных файловых системах, оба смонтированы на суперкомпьютере, например, A - NFS, а B - блеск ).
Кроме того, какие флаги я должен использовать, чтобы попросить rsync переместить (не копировать) файлы из A в B (т.е. удалить A, когда передача успешно завершится)?
rsyncможет заменитьmv. Я ожидалmvбы быть быстрее на большинстве типов файловых систем, когда источник и место назначения находятся в одной и той же файловой системе, потомуrsyncчто должен был бы сделать копию несмотря ни на что, и,mvвероятно, мог бы избежать изменения нескольких записей каталога. Самая близкая вещь, которую я могу найти,rsync mv- это--remove-source-filesкоманда, но она не удаляет каталоги.mvбыстрее?mvне может работать через сеть - он должен полагаться на локальное монтирование (например, NFS). Если узкое место в сети,rsyncвероятно , будет быстрее , чемmvиз - заrsyncможет сделать сжатие.cpесть-uвозможность скопировать исходный файл, если он новее, чем целевой файл или если целевой файл отсутствуетОтветы:
Вы можете перейти
--remove-source-filesк rsync для перемещения файлов вместо их копирования.Но в вашем случае нет смысла использовать rsync, поскольку место назначения пустое. Равнина
mvвыполнит работу максимально быстро.В вашем случае, что может иметь значение для производительности, это выбор сетевого протокола, если у вас есть выбор между NFS, Samba, sshfs, sftp, rsync по ssh, tar по конвейеру в ssh и т. Д. Относительная скорость этих методов зависит по размерам файлов, пропускной способности сети и диска и другим факторам, поэтому нет никакого способа дать общий совет, вам нужно будет выполнить свои собственные тесты.
источник
--remove-source-filesудаляет только файлы в источнике. если вы хотите очистить наш источник, не нужно ли будет выполнять команду rm -rf (илиfindвсе каталоги и проходы-delete) для источника после успешной работы rsync?--checksumчтобы сказать ей, чтобы проверить результаты первой синхронизации.Поскольку
--remove-source-filesкаталоги не удаляются, я запускаю следующие команды для перемещения файлов по ssh:Мне лично нравится эта
--progressфункция, так как я делаю эту передачу вручную. Удалите его, если вы используете скрипт. Я ожидаю, что это замедлит переводы незначительно. Параметрfindудаления команды удаляет только пустые каталоги - не используйтеrm -rf, так как он может удалить непустые каталоги в случае, если файл не был передан. В-deleteопции включает-depthопцию , так что пустые дерева каталогов будут удалены из «снизу» вверх.источник
-deleteнамного лучше, чем-exec rmdir {} +т. д.В целом, как сказал Жиль, нет никакого преимущества в использовании
rsyncдля перемещения файлов, когдаmvбудет проще выполнить ту же работу, и нет никакого потенциального увеличения скорости между обычными файловыми системами.Есть, однако, несколько раз, когда есть преимущество. В частности, если у вас есть какие-либо сомнения относительно стабильности источника, места назначения или машины, выполняющей работу, использование
rsyncдает вам возможность возобновления. Это может быть заметным преимуществом, если вы переводите очень большой и, скажем, ваша энергосистема ненадежна. Использование rsync будет более стабильным способом избежать повреждения данных в случае сбоя и выбрать место, где вы остановились.источник
mvчто лучше, если цель и источник находятся в одном и том же разделе, так чтоmvвместо копирования копируются только метаданные файла.rsyncа не mv, это когда я хочу сохранить структуру папок (если вы используете--relative).Я оказался в ситуации, когда rsync работает быстрее, чем mv просто потому, что mv не может обработать количество файлов в каталоге. У меня 1,8 миллиона фотографий с камеры слежения, которая работала в течение 20 дней, и команда mv завершается с ошибкой, поскольку не может выделить ресурсы.
Однако rsync, похоже, обрабатывает все файлы без проблем.
источник
Если вы хотите рекурсивно объединять каталоги ... переместите один каталог в другой каталог с потенциально дублирующимися именами каталогов, тогда, пожалуйста, посмотрите мой ответ здесь на serverfault.com.
mvвыполняет плохую работу, когда существуют каталоги с одинаковыми именами, иrsyncкопирует (читает + записывает полные данные) каждый файл, а не просто перемещает их (метаданные только для чтения и записи).источник
Нет способа переместить файлы с помощью rsync, как это сделала бы команда Linux mv. Используя --remove-source-files, вы по сути копируете файлы в место назначения, а затем удаляете файлы (кроме каталогов) из источника. Это может помочь вам переместить файлы, но вы НЕ сэкономите время и операции ввода-вывода.
источник