Как администраторы управляют своими EC2 EBS и снимками?

Моя компания переносит наш хостинг на Amazon, и я работаю над решением всех проблем миграции. Это был довольно сложный переход от физического оборудования к временным виртуальным машинам.

Одна из последних задач - выяснить, как управлять нашими EBS и снимками. Так как в настоящее время они не могут дать им описательное название или добавить смысл, мне интересно, как администраторы управляют своими ресурсами. Это не слишком большая проблема с одним или двумя серверами, но как работают те, кто работает с несколькими серверами. Все ли используют сторонние инструменты (например, RightScale / Scalr), когда преодолевают несколько серверов? Или вы ведете вики или другую вспомогательную документацию?

Я использую ec2-compatibility-snapshot ( http://alestic.com/2009/09/ec2-consistent-snapshot ), чтобы делать свои снимки (в Linux, производном от RHEL / CentOS от Amazon) - он написан на Perl и использует API напрямую , Вы указываете тома, которые хотите сделать снимок, и это позволяет вам добавить описание.

(В консоли AWS вы можете добавлять теги, если вам нужен более точный контроль, но для простого резервного копирования, который может не потребоваться и еще не поддерживается используемым выше модулем Perl (Net :: Amazon :: EC2)).

Приведенный выше скрипт не удаляет моментальные снимки (только создает новые - последовательно (т.е. он может замораживать диск / базу данных до моментального снимка). Поскольку он довольно часто используется, и я не смог найти совместимый Perl-скрипт для удаления старых снятых мною снимков, которые я написал мой собственный ( http://www.thatsgeeky.com/2011/06/rotating-ebs-snapshots-ec2-prune-snapshots/ ). Он хорошо выполняет свою работу (ротация деда, отца и сына) и использует те же зависимости и параметры как приведенный выше скрипт.

Конечно, оба настроены для запуска через Cron.

(Теоретически, должно быть достаточно легко подключить некоторые похожие сценарии (например, написанные на PHP и Ruby) к базе данных и вести собственный журнал снятых томов и снимков - каждый снимок имеет уникальный идентификатор, так что до тех пор, пока это записано, любая дальнейшая внутренняя организация должна быть легко возможной. [Однако для целей резервного копирования идентификатора тома и даты часто достаточно]]

Не используйте инструменты CLI - они написаны на Java и смехотворно медленны по сравнению с любыми прямыми реализациями API.

Постепенно Amazon добавляет все функции, необходимые для эффективного управления, которые требуются для того, чтобы Amazon обращалась к корпоративному рынку. Были добавлены теги и появились улучшения, позволяющие пользователю иметь доступ только к определенным функциям. В будущем, безусловно, сценарии и развертывание будут обработаны. Я добавляю эти функции в мой бесплатный инструмент ElastDream.

Если не считать написания собственного инструмента для индексирования EBS и идентификаторов снимков по текстовым меткам, я обнаружил, что использование бесплатной учетной записи RightScale и назначение псевдонимов - лучший способ управления томами и снимками EBS.

Лично я считаю, что невозможность назначить легко запоминающийся ярлык для экземпляра EC2, AMI или тома - это большая дыра в текущем предложении Amazon - для меня это просто легкая задача.

Я использую ElasticFox для управления своими снимками (и всеми моими серверами тоже). Он имеет теги, которые позволяют легко отслеживать, какой из них есть какой.

Я также использую библиотеку boto, когда хочу делать что-то программно. Однако, если вы сделаете это, вам нужно будет создать свое собственное хранилище данных. SQS и Sqlite - хорошие варианты там.

ElasticFox, безусловно, является одним из наиболее удобных инструментов для (ручного) управления EC2. Но ключевая часть - регулярно создавая образы ваших экземпляров, - настраивать автоматическую инициализацию при запуске нового экземпляра: - разбивать и монтировать временные диски - монтировать том EBS, как только он станет доступным, - восстанавливать файлы и базы данных из EBS, общее хранилище или S3. - запустить службы (MySQL, Apache, Tomcat, вы называете это.)

Мы используем chef для управления всеми нашими ресурсами EC2.

Консоль AWS является слишком низким уровнем для многих повседневных задач, хотя она быстро улучшается. Если вам нужна эта функциональность сейчас, вам нужно либо укусить маркер и написать свои собственные сценарии, используя инструменты ec2 cli для управления снимками, либо использовать сторонний инструмент. Для управления томами EBS хорошо подойдут упомянутые выше, другой вариант - инструмент управления EBS, позволяющий планировать резервные копии, называть их, восстанавливать их и т. Д. BitNami Cloud Hosting (есть бесплатный уровень)

У меня есть свой собственный скрипт для создания вращающихся резервных копий (дедушка - отец - сын) в моем блоге http://three99.com/posts/python-grandfather-father-son-snapshots-backup-for-ec2/