Мне нужно скопировать 20 ТБ данных в массив Thunderbolt. Ящик, в котором существуют данные, не имеет соединения с молнией, поэтому для этого мне потребуется использовать локальную сеть 1 ГБ. (Да, это займет вечность).
Я пытался использовать Filezilla / sftp, но он потерпел крах, когда очередь стала очень большой. Rsync или scp - это путь?
data-transfer
thunderbolt
rsync
lacinda
источник
источник
Ответы:
rsync - хороший путь (scp почти такой же, с меньшим количеством функций). Вы можете использовать
-Zопцию, которая включит сжатие zlib. В зависимости от того, насколько быстры ваши диски / компьютер, это может быть быстрее, чем отправка без сжатия, то есть, если ваша сетевая ссылка насыщена. Вам также может потребоваться опция режима архива,-aкоторая будет сохранять символические ссылки, разрешения и время создания / изменения, а также рекурсивно копировать каталоги. В зависимости от того, что вы копируете, вы можете захотеть-Eсохранить расширенные атрибуты и вилки ресурсов Mac. Наконец,--progressпокажет вам информацию о прогрессе.источник
Хотя я и не был таким вездесущим, как rsync, в прошлом я использовал инструментальный вызов «mpscp» - http://www.sandia.gov/MPSCP/mpscp_design.htm.
В Sandia National Labs это инструмент для копирования файлов, работающий по SSH, который специально оптимизирован для насыщения высокоскоростных сетей между близкими системами (например, копирование терабайтов данных между двумя суперкомпьютерами на одном сайте, подключенными через 10Gb + или Infiniband). Это работает хорошо, но может быть немного сложно настроить. В тестировании я легко видел, что он работает в 2–3 раза быстрее, чем rsync.
источник
Используйте rsync и подумайте об использовании его с rsyncd. Если вы используете rsync без rsyncd, вы застряли с использованием ssh, что означает использование какого-либо шифрования. Вероятно, вы копируете данные со старой машины на новую, а на старой машине может не хватить ресурсов ЦП для достаточно быстрого шифрования данных для передачи, чтобы поддерживать насыщенный гигабитный канал Ethernet. Протестируйте передачу файлов, используя оба метода, и посмотрите, какой путь быстрее.
По этой же причине я бы посоветовал протестировать использование опции сжатия rsync, прежде чем использовать ее. Сжатие - это еще одна интенсивная загрузка ЦП, которая может не поддерживать скорость гигабитного Ethernet при попытке использовать старое оборудование. rsync - это пятнадцатилетняя программа, написанная еще тогда, когда большинство людей даже в странах первого мира получили доступ к Интернету через модем dialup. Пропускная способность сети в сравнении с компромиссом ЦП тогда сильно отличалась.
источник
-eопцию. С помощью этой же опции вы можете изменить параметры ssh, чтобы использовать менее интенсивное шифрование процессора-e 'ssh -c arcfour,blowfish-cbc'или подобное. Имеет ли это какую-то разницу в скорости с современной машиной, я не знаю, но может быть целесообразно провести быстрый тест, особенно с 20 ТБ файлов.Упакованы ли эти 20 ТБ в небольшое количество больших файлов (таких как видео, база данных монстров) или в миллионы меньших файлов?
Если много маленьких файлов, я бы пошел с rsync для перезапуска или по конвейерному потоку tar для эффективности (одно сетевое соединение для лота, начните заново с самого начала, если оно не получится)
удаленная папка должна быть смонтирована.
Не могли бы вы напрямую прикрепить новый массив с другим интерфейсом? Локальный rsync не использует ssh, поэтому вы удаляете эту точку сбоя. Да, Firewire 800 медленнее, чем гигабитный Ethernet, но вы не можете загрузить Ethernet до 100% - это может быть быстрее с помощью FireWire. К вашему сведению, вы также можете подключиться по сети, если ящики находятся достаточно близко. Добавьте интерфейс в настройках системы -> сеть.
источник
Другой вариант - попробовать Bittorrent Sync ( http://www.bittorrent.com/sync ). Я использовал его для синхронизации семейных фотографий и видео между членами нашей семьи по глобальной сети, но нет никаких причин, по которым он не будет работать для локальной сети. Он использует одноранговые соединения, поэтому данные не будут проходить через сервер, как если бы вы пытались использовать что-то вроде dropbox (не то, чтобы я думал, что у вас есть 20 ТБ места в Dropbox или вы хотите так долго ждать, чтобы загрузить так много данные!)
Он также поддерживается на нескольких платформах, поэтому обладает большей гибкостью, чем rsync и tar.
источник