Как вы справляетесь с архивированием данных? [закрыто]

9

Резервные копии - это одно, а долгосрочные архивы - другое. Например, вам может потребоваться хранить электронную почту в течение 7 лет или хранить все данные проекта в течение неопределенного времени. Раньше я сохранял архивы на ленту, но потом мне пришлось уничтожать ленты (диски вырывали ленту). Итак ... напиши на 2 кассеты, я слышу, как ты говоришь. Это то, что делают другие? Есть 2 (или более) ленты с одинаковыми данными для резервирования?

Но тогда другая проблема заключается в том, что ленты обычно не могут быть прочитаны разными поставщиками программного обеспечения для резервного копирования. Например, если вы перейдете из Arcserve -> Backup Exec -> Commvault более чем на 10 лет, вам потребуется сохранить все 3 системы, чтобы вы могли восстановить старые данные. Аналогично для оборудования. Старые ленты могут не иметь штрих-кодов. Возможно, он не совместим с новой библиотекой и т. Д. Итак, оставляете ли вы старое аппаратное обеспечение на магнитной ленте и старое программное обеспечение на тот случай, если вам может понадобиться восстановить 10-летний файл?

Или ... когда вы переходите на новую систему резервного копирования, переносите ли вы все архивные данные в новую систему и повторно архивируете их на новые ленты? Это может быть огромной работой.

Какие-нибудь мысли?

PowerApp101
источник
Сколько данных вы ищете в архиве?
GreenKiwi

Ответы:

3

Сколько данных мы говорим? Наши «архивные» данные настолько малы, что мы просто храним их в оперативном хранилище (на устройстве NAS), которое резервируется обычными оперативными данными, поэтому они существуют точно так же, как наши обычные данные, и на них распространяются те же методы восстановления без приходится беспокоиться о сохранении технологии десятилетней давности. Если наши оперативные данные перемещаются на новую платформу хранения, архив перемещается вместе с ним. Мы также устанавливаем разрешения для архивных данных таким образом, чтобы только член группы безопасности архива (из которых очень мало пользователей) имеет доступ к удалению чего-либо из этих папок.

Если вы имеете дело с большим количеством данных, чем можно разумно хранить в оперативном хранилище, лента может быть лучшим выбором для долгосрочного хранения в сочетании с хранением как минимум двух копий в разных контролируемых местах хранения. Выпускайте их каждые пару лет, чтобы убедиться, что носитель по-прежнему доступен для чтения, и перенесите его со старых носителей на новый, если вы переключаете поставщиков, чтобы обеспечить возможность дальнейшего доступа к данным.

Джастин скотт
источник
1
Архивы около 3 или 4 ТБ. Это слишком много для резервного копирования как части обычного резервного копирования, это потребует много дополнительных лент каждую неделю, что является пустой тратой, поскольку никогда не меняется. И у нас все равно нет запасного хранилища SAN.
PowerApp101
1
За 3-4 ТБ я бы взял кучу внешних дисков объемом 1,0-1,5 ТБ и сделал бы два набора резервных копий прямо на дисках. Seagate создает корпус, который вмещает 4 диска SATA емкостью 1 ТБ и обеспечивает доступ через одно USB-соединение. Вы можете загрузить два из них и поместить их в разные места. По-прежнему выпускайте их каждый год или два, чтобы убедиться, что они все еще работают, и заменяйте диски по мере необходимости. В зависимости от вашего поставщика ленты могут быть дешевле.
Джастин Скотт
Да, я думаю, что это правдоподобное решение в наши дни дешевого диска. Я хотел бы отойти от ленты, это слишком ненадежно (ошибки CRC, сломанная лента, ошибки меток и т. Д.).
PowerApp101
Да, я бы пошел с этим вариантом. В наши дни дисковое пространство настолько дешевое, поэтому хранить данные в резервной системе - это лучший способ.
GreenKiwi
1
Резервное копирование 4 ТБ по USB займет почти 20 часов. У вас нет окна для завершения работы или, как вы сказали, ваши данные никогда не меняются? Если у вас есть окно, я бы пошел с чем-то с более высокой скоростью передачи данных.
JohnyD
3

В моем случае мы делаем архивы на ленту, и я скажу вам, почему это имеет для нас смысл.

Прежде всего, программное обеспечение, которое мы используем, Tivoli Storage Manager, - это руки вниз, программное обеспечение, которое мы будем использовать в обозримом будущем. По моему мнению, TSM является вершиной пищевой цепи с точки зрения программного обеспечения для резервного копирования на предприятии, поэтому проблема перехода на другую программную платформу для нас относительно не существует.

При этом мы поддерживаем довольно много долгосрочных архивов, и у нас есть несколько разных способов сделать это. К счастью для нас, мы используем некоторые из новейших ленточных технологий, которые могут хранить более 1 ТБ на картридж, поэтому наличие большого количества архивов внутри библиотеки не является проблемой.

  • Архивируйте на локальные ленты и копируйте эти архивы в наш альтернативный центр обработки данных, а архивные ленты находятся внутри библиотеки магнитных лент.

Мы делаем это для определенных типов данных, потому что данные восстанавливаются на регулярной основе, и это достаточно важно, чтобы потребовать две копии.

  • Архивируйте локальные ленты, но не удаленные, и оставляйте ленты внутри библиотеки.

Мы делаем это для чуть менее важных данных, которые необходимо регулярно восстанавливать.

  • Архивировать на локальную ленту и отправлять их за пределы хранилища.

Вышеуказанные практики хорошо сработали в прошлом. Пару лет назад мы перешли на совершенно другую ленточную технологию, и для перемещения данных потребовалось немного усилий, но на самом деле это не имело большого значения. В TSM это была буквально одна команда на серверную сумму архивов, и она запускалась. Может потребоваться пара дней, чтобы бежать, но это не было активным трудом для всех.

Волна будущего - это, очевидно, дисковое хранилище.

Как только появится такая возможность, я буду размещать дисковый массив в безопасном хранилище и копировать архивы типа долговременного аудита на подобное устройство.

WerkkreW
источник
Хорошие идеи. У нас на самом деле похожая настройка. У нас есть 2 удаленных объекта с ленточными библиотеками. Мы используем Commvault, похоже на TSM. Дело в том, как вы определяете «немного менее важные данные». Это важно для кого-то! И это может быть критично для бизнеса, без вашего ведома.
PowerApp101
Что касается дискового массива, то стоит обратить внимание на ZFS в Solaris или NetApp, которые регулярно проверяют контрольные суммы по блокам, значительно снижая вероятность появления бит-гнили. Любой подход архива, который не принимает во внимание бит-гниль, кажется мне несовершенным.
RichVel
1

Две установки EMC Centera (зеркалированные из разных мест). Это стоит больших долларов, но это работает.

http://www.emc.com/products/family/emc-centera-family.htm

Командир Кин
источник
Это один из Avamar не так ли? И мы даже не могли себе этого позволить.
PowerApp101
0

Вы также можете посмотреть на решение, подобное Data Domain (теперь NetApp) . Они архивируют и выполняют расширенное сжатие, которое они называют DeDupe, в результате чего они ищут похожие фрагменты данных и получают очень высокие коэффициенты сжатия.

Какие данные вы пытаетесь сохранить? Это все "случайные" данные, такие как видео или музыка? Или это данные, которые могут быть использованы для сжатия?

GreenKiwi
источник
Подозреваю, что это будет стоить слишком дорого, как Avamar. Мы используем программное обеспечение Commvault, которое также делает DeDupe, если вы тратите доллары, которых у нас нет. Будь ты проклят, GFC!
PowerApp101
0

Продвигайтесь вперед с новым решением для архивирования и сохраняйте ленты до тех пор, пока вам требуются эти данные. Если вам это нужно постоянно, вы можете перенести его на диск. Благодаря резервному копированию дисков на будущие носители значительно проще.

Через год или, возможно, через 2 года вы можете начать игнорировать записи, если эти резервные копии больше не нужны.

Реализовать это огромное усилие, если время решит вашу проблему для вас. Проведите анализ затрат, если у вас есть расходы, связанные с хранением резервных копий и / или лицензий на программное обеспечение для работы с ними.

Мартин Мерфи
источник
0

Ваша проблема с архивированием данных, чтобы упростить вашу загадку, кажется, в будущем совместимость старых лент с новым оборудованием.

Мое решение: выберите только одного поставщика с полным решением (программным и аппаратным), который, как вы доверяете, сделает все возможное, чтобы обеспечить унаследованную совместимость.

И, очевидно, получите очень хороший ценовой контракт, учитывая вашу верность;)


источник