Я немного озадачен этим? Почему rsync быстрее, чем scp? Разве rsync не использует scp или делает что-то более эффективное? Есть ли способ ускорить scp?
Rsync, очевидно, будет быстрее, чем scp, если цель уже содержит некоторые исходные файлы, поскольку rsync только копирует различия. Но я подозреваю, что ваш вопрос касался создания прямой копии для пустой цели.
Вы передали -zопцию rsync; это включает сжатие. Если пропускная способность сети является ограничивающим фактором (часто это так), сжатие может значительно увеличить скорость передачи.
Вы также можете включить сжатие с scpпомощью -Cопции. Это должно о вещах с rsync. Сжатие не включено по умолчанию в ssh, поскольку оно экономит полосу пропускания, но добавляет задержку и нагрузку на процессор; Задержка плоха для интерактивных сеансов (это не относится к scp), а загрузка ЦП бесполезна, если копируемые файлы уже сжаты.
Более старые версии rsyncиспользовали rsh, а не ssh в качестве транспортного уровня по умолчанию, поэтому справедливое сравнение будет между rsyncи rcp. Но ssh используется по умолчанию с версии 2.6.0, выпущенной 2004-01-01.
С одинаковыми настройками сжатия, я ожидаю, rsyncи scpбудет иметь практически одинаковую скорость. Пожалуйста, поделитесь ориентирами, если вы обнаружите иное.
Nice, используя -C сделал мою скорость передачи увеличилась с 5 МБ до 20 МБ
ıɾuǝʞ
Я только что проверил это для каталога, содержащего 16 файлов размером около 3-9 МБ и rsync -zвсе еще ПУТЬ быстрее, чем scpс любым сжатием, предложенным в этих ответах. Это также быстрее, чем сжимать и архивировать в один файл вручную и scpзагружать этот файл ( scpпри этом сжатие происходит даже медленнее). Таким образом, вопрос об ОП фактически остается без ответа: scpчем медленнее, чем rsync?
эти параметры ускоряют scp в 5 раз по сравнению с обычным scp machine: file.
Обновление 2017
На самом деле scp работает медленно из-за плохого управления деталями TCP, такими как MTU и размер буфера. К счастью, это было исправлено в проекте HPN SSH . Насколько я понимаю, вы можете использовать HPN SSH в качестве транспорта для rsync.
Круто, спасибо !! Однако всегда всегда делайте scp -p(сохраняйте дату / время) по умолчанию, и, вероятно, -r(рекурсивно) так scp -pr -C .... (Я просто должен был очистить и перезапустить 40Gb scp, используя их, потому что я забыл -p)
smci
Я добавил -p к команде, спасибо за подсказку.
Питер К
4
Раньше все было наоборот, но я считаю, что скорость rsync значительно улучшилась за последние несколько ревизий. Это также зависит от того, сколько файлов вы копируете. Если это много, rsync обычно будет быстрее, потому что scp запускает новый процесс для каждого файла, который вы копируете. Вы можете попробовать ослабить шифр, который использует scp, чтобы увидеть, ускоряется ли он. Последнее, что я помню, шифр arcfour был самым быстрым.
Scp фактически не порождает новый процесс для каждого копируемого файла. У вас есть один процесс на отправляющей стороне и один на принимающей стороне, как и в rsync.
Кенстер
3
Для большого количества маленьких файлов rysnc намного быстрее, чем scp. Они говорят, что это потому, что у него меньше накладных расходов. Для одного большого файла я бы ожидал аналогичных результатов.
Вы повторно копируете файлы поверх существующих? Если это так, способность rsync блокировать сравнение и копировать только различия будет иметь значение.
Ответы:
Rsync, очевидно, будет быстрее, чем scp, если цель уже содержит некоторые исходные файлы, поскольку rsync только копирует различия. Но я подозреваю, что ваш вопрос касался создания прямой копии для пустой цели.
Вы передали
-zопциюrsync; это включает сжатие. Если пропускная способность сети является ограничивающим фактором (часто это так), сжатие может значительно увеличить скорость передачи.Вы также можете включить сжатие с
scpпомощью-Cопции. Это должно о вещах с rsync. Сжатие не включено по умолчанию в ssh, поскольку оно экономит полосу пропускания, но добавляет задержку и нагрузку на процессор; Задержка плоха для интерактивных сеансов (это не относится кscp), а загрузка ЦП бесполезна, если копируемые файлы уже сжаты.Более старые версии
rsyncиспользовали rsh, а не ssh в качестве транспортного уровня по умолчанию, поэтому справедливое сравнение будет междуrsyncиrcp. Но ssh используется по умолчанию с версии 2.6.0, выпущенной 2004-01-01.С одинаковыми настройками сжатия, я ожидаю,
rsyncиscpбудет иметь практически одинаковую скорость. Пожалуйста, поделитесь ориентирами, если вы обнаружите иное.источник
rsync -zвсе еще ПУТЬ быстрее, чемscpс любым сжатием, предложенным в этих ответах. Это также быстрее, чем сжимать и архивировать в один файл вручную иscpзагружать этот файл (scpпри этом сжатие происходит даже медленнее). Таким образом, вопрос об ОП фактически остается без ответа:scpчем медленнее, чемrsync?попробуйте scp по-быстрому
эти параметры ускоряют scp в 5 раз по сравнению с обычным scp machine: file.
Обновление 2017
На самом деле scp работает медленно из-за плохого управления деталями TCP, такими как MTU и размер буфера. К счастью, это было исправлено в проекте HPN SSH . Насколько я понимаю, вы можете использовать HPN SSH в качестве транспорта для rsync.
источник
scp -p(сохраняйте дату / время) по умолчанию, и, вероятно,-r(рекурсивно) такscp -pr -C .... (Я просто должен был очистить и перезапустить 40Gb scp, используя их, потому что я забыл-p)Раньше все было наоборот, но я считаю, что скорость rsync значительно улучшилась за последние несколько ревизий. Это также зависит от того, сколько файлов вы копируете. Если это много, rsync обычно будет быстрее, потому что scp запускает новый процесс для каждого файла, который вы копируете. Вы можете попробовать ослабить шифр, который использует scp, чтобы увидеть, ускоряется ли он. Последнее, что я помню, шифр arcfour был самым быстрым.
источник
Для большого количества маленьких файлов rysnc намного быстрее, чем scp. Они говорят, что это потому, что у него меньше накладных расходов. Для одного большого файла я бы ожидал аналогичных результатов.
источник
Для моего тестирования rsync работает быстрее, чем scp , вы можете использовать iotop для проверки их при передаче одного и того же файла:
Может быть, вы получите другой результат, но вы можете проверить их сами. Кстати, при использовании scp не забудьте выбрать его шифр:
Хотя
arcfourможет ускорить шифрование.источник
Вы повторно копируете файлы поверх существующих? Если это так, способность rsync блокировать сравнение и копировать только различия будет иметь значение.
источник