Как крупные компании делают резервные копии своих данных?

Как компании, которые обрабатывают большие объемы данных, например, Google или Facebook, выполняют резервное копирование всего?

Согласно этой статье о платформе Google в Википедии, у Google около 450 000+ серверов, каждый с жестким диском объемом 80 ГБ. Это много данных. Действительно ли они сохраняют 1+ ГБ резервной копии на каждый 1 ГБ данных?

Это зависит от вашей цели.

Если вы ищете резервные копии для аварийного восстановления (сервер взорван, центр обработки данных сгорел и т. Д.), То краткий ответ - они могут вообще не делать резервных копий. У нас есть клиент, который работает с конфиденциальными правительственными данными, и часть его мандата заключается в том, что нам не разрешается делать резервные копии или резервные копии на съемных носителях . Нам разрешают живую репликацию на сайт DR и все. Оба сайта имеют одинаковый уровень физической и логической безопасности. Подвох в том, что если я что-то напортачу на сайте А, то он почти мгновенно копируется на сайт Б.

Если вы говорите о резервном копировании с точки зрения целостности данных (например, вы случайно удалили таблицу «Клиенты», и она уже реплицирована на сайт DR), то ленты LTO-5 в большой ленточной библиотеке часто подходят. Имея до 3 ТБ на ленту и несколько лент в ленточной библиотеке, вы можете быстро создавать резервные копии огромных объемов данных (быстрое здесь относится к Мбит / с, резервное копирование 25 ТБ данных может занять много-много часов).

Любой приличный набор резервных копий будет обеспечивать высокую степень сжатия и дедупликации, что значительно сокращает объем требуемого дискового пространства. Я видел оценку для инструмента резервного копирования со сжатым и лишенным дублирования, когда он требовал соотношение 15: 1 (15 ГБ данных, хранящихся в 1 ГБ резервных копий).

Я очень сомневаюсь, что Google беспокоится о резервных копиях для большей части своих данных поисковой системы, потому что большая часть этих данных является сменной, и она распространяется настолько широко и широко, что, если они потеряют даже значительную часть, или, возможно, даже весь, центр обработки данных, система останется онлайн благодаря отказоустойчивым маршрутам BGP.

На самом деле, похоже, что Google выполняет резервное копирование метрической мелочи данных на ленту , а это не совсем то, чего я ожидал:

Большая часть их данных хранится в их собственной файловой системе GFS, и GFS требует, чтобы было как минимум три копии каждого блока размером 64 МБ, составляющего файл (GFS использует блоки размером 64 МБ). Учитывая это, я не думаю, что они беспокоятся о резервных копиях, поскольку у них есть по крайней мере три копии каждого файла, и блоки на отказавшем узле можно быстро заменить, просто реплицировав данные из любой из двух оставшихся хороших копий на новый узел.

Для получения дополнительной информации посетите страницу http://labs.google.com/papers/gfs.html.

Ответ Farseeker хорош, но я думаю, что можно уточнить, если подумать об этом с этой точки зрения: что вы пытаетесь восстановить? Это для DR? Какое время восстановления требуется? В качестве примера предположим, что ваша компания использует серверную базу данных объемом 25 ТБ. В случае сбоя или ошибки данных (удаленная таблица, поврежденная база данных и т. Д.) Технический директор хочет восстановить базу данных менее чем за час. В случае отказа сайта требуется 2 часа.

На первый взгляд это звучит сложно, но это не невозможно. Поскольку вы знаете, что ваша стратегия резервного копирования должна восстановиться через час, вы знаете, что не собираетесь восстанавливать полные резервные копии, вам придется работать с командами dba, чтобы гарантировать, что БД разбита на управляемые куски. Вы также будете часто делать резервные копии журналов. Для DR следует искать стратегию репликации (возможно, версия с задержкой по времени, когда данные журнала реплицируются в реальном времени, но не применяются). Как сказал Farseeker, это зависит от цели, и эта цель должна состоять в том, чтобы сделать некоторую форму восстановления.