Использование RSYNC с Amazon S3 [закрыто]

Я заинтересован в использовании Amazon S3 для резервного копирования наших ~ 100-гигабайтных образов серверов (созданных с помощью инструментов резервного копирования Acronis)

Очевидно, что такая загрузка на S3 каждую ночь будет дорогой с точки зрения пропускной способности и стоимости. Я рассматриваю возможность использования rsync с S3 и наткнулся на s3rsync. Мне просто интересно, есть ли у кого-нибудь опыт использования этой или любой другой утилиты?

Недавно я наткнулся на эту ветку в Google, и похоже, что ландшафт немного изменился с тех пор, как был задан вопрос. Большинство предлагаемых здесь решений либо больше не поддерживаются, либо стали коммерческими.

После некоторых разочарований в работе с FUSE и некоторыми другими решениями я решил написать свой собственный «клон» rsync для S3 и Google Storage из командной строки с использованием Python.

Вы можете проверить проект на GitHub: http://github.com/seedifferently/boto_rsync

Еще один проект, о котором мне недавно стало известно, это «двуличие». Это выглядит немного сложнее, и его можно найти здесь: http://duplicity.nongnu.org/

Надеюсь это поможет.

ОБНОВИТЬ

Команда Python в AWS усердно работает над созданием CLI-проекта для своих облачных сервисов на основе boto. Среди включенных инструментов есть интерфейс для S3, который дублирует (и во многих отношениях заменяет) большую часть функциональности, предоставляемой boto-rsync:

https://github.com/aws/aws-cli

В частности, syncкоманду можно настроить так, чтобы она работала почти так же, как rsync:

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

Мне также повезло с S3cmd и S3sync , которые бесплатны.

В зависимости от того, как создаются ваши изображения Acronis, я не уверен, что какой-либо rsync сэкономит вам пропускную способность. Изображения Acronis представляют собой один и тот же файл (-ы), поэтому rsync не сможет прочитать внутри них только резервную копию того, что изменилось. Также не уверен, какие образы серверов вы создаете, но так как вы сказали, что 100 ГБ, я собираюсь предположить, что полный? Инкрементальное изображение значительно сократило бы размер ночных изображений, что позволило бы сэкономить пропускную способность. Вы также можете сохранить изображения в другом месте, чем S3, например на ленточном носителе, и сохранить их за пределами сайта.

Я никогда не пробовал S3rsync.

Я использую двуличность для наших внешних резервных копий. Он поддерживает инкрементное резервное копирование на S3, хотя на самом деле не экономит полосу пропускания из-за протокола хранения Amazon S3, в котором при любом изменении файла вынуждает вас снова загрузить весь новый файл. В любом случае двойственность загружает только отличия от последней инкрементной резервной копии.

С Duplicity вам не нужно проходить через другой сервер, как это делает S3sync, тем не менее, если вы шифруете свои данные, стоит попробовать S3sync.

S3 также имеет дополнительную услугу под названием AWS Import / Export, которая позволяет вам отправлять USB-накопитель с вашим начальным набором данных 100 ГБ, и они загружают его в облако S3, используя некоторые внутренние инструменты в своих центрах обработки данных. Как только ваш 100Gb будет там, вы можете просто делать разностное резервное копирование каждую ночь, чтобы сделать резервную копию всего, что изменилось.

Сайт http://aws.amazon.com/importexport/

Если большая часть ваших данных довольно статична, то это было бы хорошим вариантом, если все 100 ГБ данных ежедневно меняются, то это не сильно вам поможет.

Вы можете попробовать мини-клиент, также известный как "mc". mc предоставляет минимальные инструменты для работы с облачным хранилищем и файловыми системами, совместимыми с Amazon S3.

mc реализует следующие команды

  ls        List files and folders.
  mb        Make a bucket or folder.
  cat       Display contents of a file.
  pipe      Write contents of stdin to one or more targets. When no target is specified, it writes to stdout.
  share     Generate URL for sharing.
  cp        Copy one or more objects to a target.
  mirror    Mirror folders recursively from a single source to many destinations.
  diff      Compute differences between two folders.
  rm        Remove file or bucket [WARNING: Use with care].
  access    Manage bucket access permissions.
  session   Manage saved sessions of cp and mirror operations.
  config    Manage configuration file.
  update    Check for a new software update.
  version   Print version.

Вы можете использовать зеркальную команду, чтобы сделать вашу операцию. «localdir» - это локальный каталог & S3 [псевдоним для Amazon S3] и «remoteDir» - имя вашего сегмента на S3.

$ mc mirror localdir/ S3/remoteDir

Вы также можете написать Cronjob для того же. Также в случае сетевого возмущения вы в любом случае можете использовать «$ mc session», чтобы возобновить загрузку с этого конкретного времени.

PS: Я участвую в проекте Minio и хотел бы получить ваши отзывы и вклад. Надеюсь, это поможет.

Новая версия Jungle Disk Server (бета) может быть вам полезна. Он имеет дедупликацию на уровне блоков, поэтому, если у ваших образов Acronis есть что-то общее, это значительно сократит объем резервного копирования. Функции идеально подходят для резервного копирования на сервер. Ознакомьтесь с заметками о выпуске.

Я тестировал бета-версию в течение двух недель, и, за исключением некоторых небольших проблем с графическим интерфейсом, которые, я уверен, будут исправлены в финале, я в восторге от продукта.