Если LTO-3 для полного резервного копирования требуется более одной ленты. Каков мой следующий шаг в аппаратной части?

OK. некоторые дают в фактор

Я использую Backup Exec 12.x / 13.x, Имею сервер 2003/2008, включая Exchange.

У меня происходит резервное копирование на диск (Full / Diff), которое не зависит от резервного копирования на LTO (Full / Diff). По нескольким причинам я предпочел бы не просто выполнять резервное копирование с диска на ленту, я бы хотел, чтобы резервное копирование осуществлялось напрямую в LTO.

В настоящее время у меня есть один диск LTO-3 без какого-либо загрузчика / робота / библиотеки. В коробке, обслуживающей накопитель LTO, находится SCSI-карта Adaptec 39160 Ultra160 . В настоящее время я использую одну ленту для Full (одну в неделю) и одну ленту для Diff (четыре дня в неделю до того, как лента будет удалена). Полная резервная копия сталкивается с барьером в 372,5 ГБ, а когда резервное копирование не заканчивается в субботу, оно все еще ждет ленту в понедельник утром.

Уорд упомянул о том, что вторую половинную ленту LTO3 следует записывать в понедельник днем ​​/ вечером после обычного рабочего дня. Проблема с этим сравнивается ниже:

Нормальный поток

• Пятница вставка ленты 1 LTO3 для полного резервного копирования на неделю 1
• Понедельник вставка ленты LTO3 для дифференциала
• Вторник, среда, четверг дифференциалы используют ленту, которая была вставлена ​​в понедельник
• повторить на 2 неделе

2 ленты LTO3 для полного резервного копирования

• Пятница вставка ленты 1 LTO3 для полного резервного копирования на неделю 1
• Понедельник вставка ленты 2 LTO3 для полного резервного копирования на неделю 1
• Понедельник вставьте ленту LTO3 1 для полного резервного копирования на неделю 1 (для проверки процесса)
• Понедельник вставка ленты 2 LTO3 для полного резервного копирования на неделю 1 (для проверки процесса)
• Вторник вставить LTO 3 ленты для дифференциала
• Среда, четверг дифференциалы используют ленту, которая была вставлена ​​во вторник
• повторить на 2 неделе

Дополнительные смены ленты потребляют 6+ часов в понедельник (начиная с момента, когда я вставил вторую ленту). Если бы я сделал это в 5 вечера, я бы был здесь почти до полуночи, меняя ленты. Это не считая времени простоя в субботу / воскресенье / понедельник в ожидании ленты.

Теперь я могу отключить процесс проверки и сохранить два обмена лентами и сократить процесс «резервного копирования» на несколько часов, но я не могу просто вставить ленту 2 и уйти в конце дня, если я не выключу проверку , Перетекание резервной копии на вторую ленту удлиняет процесс резервного копирования, но также

• Увеличивает количество лент в ротации (стоимость)
• Увеличивает количество лент в транспорте (размер / вес портфеля, предназначенного для хранения за пределами площадки)
• Увеличивает сложность процесса резервного копирования, заставляя меня оставаться на сайте в нерабочее время для процесса проверки
• Увеличивает сложность управления резервным копированием / восстановлением из моего офиса, который находится не рядом с серверной комнатой. Это четыре раза для решения таких вопросов из дома.

И да, я не пойду в субботу сидеть там более 6 часов и присматривать за магнитофоном. Я хотел бы жить вне работы. 12 часов дня MF достаточно плохи, когда они случаются. Я не собираюсь навсегда привязывать себя к 6-дневной рабочей неделе.

Ленточный накопитель Dell PowerVault 110T LTO3. Сервер резервного копирования находится в сети Gigabit Ethernet с использованием только одной сетевой карты и может заполнить полную ленту за 12 часов.

Я могу изменить процесс резервного копирования, чтобы разделить один из более интенсивных серверов на полное резервное копирование на своем собственном LTO, чтобы временно отложить это решение, но вскоре я думаю, что мне нужно будет выбрать один из следующих вариантов:

1. Купите накопитель LTO-3 и получите доступ ко второй физической ленте. Это менее желательный вариант, и он имеет смысл, только если диски LTO-3 значительно дешевле, чем диски LTO-4, а это не так.

2. Купите диск LTO-4 и используйте ленты LTO-4 для полного резервного копирования и используйте ленты LTO-3 для дифференциалов, пока ленты LTO-3 не будут развернуты, а новые ленты LTO4 не будут соответствовать цене лент LTO3. Это, вероятно, поможет мне выполнить резервное копирование на выходные на долгие годы без необходимости менять кассеты. Это также частично относится к чистоте обуви, поскольку у LTO4 минимальная скорость ниже, чем у LTO3.

3. Купите то, что может автоматически подавать ленты. Я предполагаю, что я ничего не могу добавить к PowerVault 110T, и это будет означать покупку нового устройства, в котором лента и загрузчик будут объединены. Это, вероятно, не является экономически выгодным по сравнению с получением диска и ручной загрузкой лент, но автоматическая загрузка LTO4 будет предельной удобством. Я позволю боссу над мной выбирать между одним стримером и автозагрузчиком.

Эван Андерсон упомянул в другом решении, что вы можете купить диски в этом ценовом диапазоне.

 LTO-4 (internal drive, 1 tape / day) - $2,766.00  
 LTO-4 (autoloader, 1 tape / day) - $4,566.00

но я не знаю подробностей о том, что он или вы бы порекомендовали для фактического привода и при необходимости контроллера. Покажите мне новый URL-адрес (или Dell, или HP, или кем бы вы ни были вашим любимым поставщиком) для вашего решения, если вы не против его найти или просто даете мне марку и номер модели, и я буду рад сделать это. нога работает сама.

Я собираюсь совершить нужную покупку через некоторое время, прежде чем эта резервная ротация станет слишком громоздкой. У меня наверное несколько месяцев.

Ксенни упоминает возраст серверов и скорость резервного копирования. Серверу Exchange 6 лет (хотя жесткие диски намного новее). Есть пара серверов 4-х лет в сочетании с накопителями SATA потребительского уровня (WD6400AAKS). Серверам, которые я считаю «новыми», уже 2 года.

Резервное копирование на диск со старого сервера Exchange выполнялось со скоростью 2184 МБ / мин, но в общем случае резервное копирование на диск в этой настройке происходит так же медленно, как и на ленту. На самом деле резервное копирование на диск иногда выполняется медленнее, чем на ленточный накопитель LTO-3. У меня также были проблемы со сбоями дисков и отсутствием отсеков для добавления дисков. В общем случае резервное копирование на диск является еще более серьезной проблемой, чем переход LTO3 / 4, но это относится к другому вопросу о сбое сервера, если я хотел получить информацию по этому вопросу.

Я просто выберу некоторые цифры из недавней резервной копии, чтобы дать вам представление о скорости. Это не полный список, но дает представление о различных скоростях. Я планирую обновить это в скором времени в формате старой скорости MB / мин для новостной скорости MB / мин, где oldspeed - это старый SCSI 320 LTO3, а newspeed - это SAS LTO4.

DC C: ~ 850 МБ / мин.
Состояние системы DC ~ 700 МБ / мин.
Сервер Exchange C: и состояние системы ~ 500 МБ / мин. ~ 600 МБ / мин.
Сервер Exchange D: ~ 1400 МБ / мин. ~ 1200 МБ / мин.
Сначала Exchange Server. Группа хранения ~ 1100 МБ / мин ~ 700 МБ / мин Веб-сервер
C: ~ 600 МБ / мин ~ 950 МБ / мин Веб-сервер
E: ~ 1700 МБ / мин ~ 1950 МБ / мин
Файловый сервер C: ~ 500 МБ / мин
Файловый сервер E: ~ 1500 МБ / мин ~ 2200 МБ / мин
Файловый сервер G: ~ 1800 МБ / мин ~ 2400 МБ / мин
Состояние системы
файлового сервера ~ 650 МБ / мин Факс-сервер C: ~ 400 МБ / мин ~ 550 МБ / мин
Сервер учета C: ~ 1300 МБ / мин ~ 1775 МБ / мин.
Сервер учета D: ~ 1500 МБ / мин ~ 2250 МБ / мин.
Экземпляр SQL учета ~ 1600 МБ / мин.
Сервер приложений C: и состояние системы ~ 700 МБ / мин ~ 900
Сервер резервного копирования МБ / мин C: 700 МБ / мин ~ 1800 МБ / мин
Сервер резервного копирования E: 1350 МБ / мин ~ 2900 МБ / мин

Мониторинг файлового сервера Я видел цифры, которые заставляют меня думать, что контроллер рейда сдерживает скорость передачи. Контроллер SATA 1.5, но диски поддерживают 3.0. Я заметил, что после изменения томов с RAID 1 на RAID 10 и увеличения скорости резервного копирования не наблюдается. К сожалению, удвоение постоянной скорости чтения не повлияло на резервное копирование на стример LTO3.

В целом, резервное копирование прямо в LTO дает мне достойную оценку того, где мои серверы имеют ограниченный ввод / вывод. Серверы с резервной копией ниже 1500 МБ / мин, как правило, работают медленнее на дисках, а серверы между ними и 2400 МБ / мин по-прежнему остаются малоэффективными. Например, серверу Exchange 2003 не хватает дискового пространства, и он продолжает расширять базу данных для первой группы хранения до более медленных частей дисков. Этот сервер будет заменен сервером Exchange 2010 с более быстрыми процессорами и большим количеством дисков. Другие серверы получат обновления диска и / или SSD.

http://en.wikipedia.org/wiki/Tape_drive упоминает: «Когда происходит чистка обуви , это существенно влияет на достижимую скорость передачи данных, а также срок службы накопителя и ленты». но это не касается обуви, уменьшающей эффективную емкость ленты. После просмотра архивных лент из банка я могу подтвердить, что на лентах LTO3 было потрачено около 2-15% пространства. Недостаточно близко, чтобы я не смог перейти на LTO4 или автозагрузчик, но это может быть важно. Для тех из вас, кто работает с Backup Exec, вы можете рассчитать количество отходов обуви:

• Создание задания резервного копирования, которое будет выполнять резервное копирование около 100% собственной емкости ленты без сжатия. Отключите сжатие на диске и программном обеспечении при запуске теста.
• Посмотрите на вкладку носителя Backup Exec и сравните столбец «используемая емкость» с столбцом «Данные». Если сжатие выключено, а числа совпадают, вы совсем не обуваете.

В моем случае у меня была архивная лента LTO3 с 272,4 ГБ «использованных», но только 233,67 ГБ «данных» и еще одна с 400,6 ГБ против 395,19 ГБ. Я также попытался выполнить резервное копирование на LTO4 без сжатия и получил 833 ГБ «использованных» с 786,77 ГБ «данных». Очевидно, что чистка обуви будет варьироваться от моей среды к вашей, но до этого я не думал проверять это. Надеюсь, это поможет вам понять, сколько у вас потрачено впустую ленты в вашей среде резервного копирования.

изменить: новая информация на http://www.fujifilmusa.com/shared/bin/LTO_Overview.pdf, показывающая минимальную скорость ленты для LTO3 и LTO4. Похоже, что IBM LTO4 на самом деле имеет меньшую минимальную скорость, чем IBM LTO3. В любом случае, мой средний сервер слишком медленный, чтобы подавать LTO3 / 4 без всяких проблем. Я обеспокоен тем, что даже мое резервное копирование на локальные тома на диске будет слишком медленным для быстрой загрузки диска, но мне придется это проверить.

Вытащив информацию о полном приводе IBM из PDF выше, я получаю

LTO4 : 30-120MB/s 800GB native (45-240MB/s compressed)
LTO3 : 40- 80MB/s 400GB native (60-160MB/s compressed)
LTO2 : 18- 35MB/s 200GB native (27- 70MB/s compressed)
LTO1 : 15- 15MB/s 100GB native (30- 30MB/s compressed)  

Обновление : сервер, который я использовал для резервного копирования, начал давать мне ошибки остановки, поэтому я переместил стример на другой сервер. Старый контроллер SCSI был Adaptec 160, «новый» контроллер - это LSI 320 (по крайней мере, я предполагаю, что внешний разъем - 320, так как 4 жестких диска внутри сервера упоминают 320 SCSI в управлении сервером).

В новой ситуации с сервером я временно не сохраняю резервные копии на диск, пока не получу внешний корпус для хранилища с прямым подключением. В целом, это обсуждение LTO указало мне на покупку большего количества жестких дисков для моих серверов. У меня будет работа по переконфигурированию RAID-массивов, чтобы увеличить скорость резервного копирования и, надеюсь, повысить надежность всей установки.

Обновление 2 : Сравнение ниже использует старый файловый сервер, чей контроллер рейда ограничивает все передачи на скорости ~ 40 МБ / с, поэтому идеальным будет около 2400 МБ / мин. Речь идет о скорости, необходимой для проверки края обуви. Предположительно, поток данных не будет идеально регулярным и будет вызывать совпадение скорости почти на всем протяжении теста.

Я больше не знаю размера буфера и количества буферов, которые я использовал при тестировании скорости старого диска LTO3, но это не сильно его меняет. Я получил, возможно, усиление в 100 МБ / мин при настройке буферов. Тестовые данные составляют около 20 ГБ отсканированных TIFS и JPEG. Я сделал эти тесты в пятницу днем, и я не повторял тесты достаточно раз, чтобы усреднить данные или иным образом отсеять неверные данные. Тестирование в нерабочее время, выбор других данных и других переменных может заметно повлиять на эти тесты.

Во всех тестах используются одни и те же серверы. Старый диск находится на контроллере 320 SCSI LVD, который является PCIx. Новый диск находится на контроллере PCIe LSI 3801E SAS. Возможно, что контроллер диска и / или стример LTO3 являются узкими местами. Я не буду тестировать отдельные компоненты, только старое соединение против нового. Сервер, на котором работает Backup Exec, имеет 4 ГБ оперативной памяти, 32-разрядный стандарт Server 2008, двухъядерный процессор Pentium D 3,2 ГГц.

Сетевое подключение осуществляется через коммутатор 1 Гбит, и оба сервера находятся на одном коммутаторе. У меня открыто подключение к удаленному рабочему столу, но при резервном копировании + это подключение используется менее чем на 50% в худшем случае и в среднем более на 25%.

Поэтому, несмотря на грубость методов тестирования, я чувствую себя достаточно уверенным, что узкие места не находятся в переменной, которую я игнорирую.

Краткие результаты теста :
~ 1500 МБ / мин при включенном диске Dell LTO3 и включенном сжатии ленты LTO3, размер блока 64 КБ (тестировано большое количество буферов, лучший результат приведен здесь)

~ 1800 МБ / мин с использованием накопителя Quantum Superloader3 LTO 4 с включенной компрессией ленты LTO3 (та же лента, что и выше), размер блока 64 КБ, размер буфера 64 КБ, количество буферов 10, счетчик highwater 0, режим записи одиночного блока включен, запись SCSI через режим ON

~ 2150 МБ / мин с использованием накопителя Quantum Superloader3 LTO 4 с включенной компрессией ленты LTO3 (та же лента, что и выше), размер блока 256 КБ, размер буфера 256 КБ, количество буферов 10, счетчик highwater 0, режим записи одиночного блока включен, режим записи SCSI сквозной режим ВКЛ.
~ 2200 МБ / мин с использованием привода Quantum Superloader3 LTO 4 с записью ленты LTO3 (та же лента, что и выше), сжатие ВЫКЛ, размер блока 256 КБ, размер буфера 256 КБ, количество буферов 10, счетчик высокой воды 0, режим записи одиночного блока включен, запись Сквозной режим SCSI включен

~ 2050 МБ / мин с использованием накопителя Quantum Superloader3 LTO 4 с включенным сжатием ленты LTO4, размером блока 256 КБ, размером буфера 256 КБ, числом буферов 10, счетчиком верхнего уровня 0, режимом записи одиночного блока, режимом записи SCSI
~ 2250 МБ / мин с использованием накопителя Quantum Superloader3 LTO 4 с выключенной компрессией ленты LTO4, размером блока 256 КБ, размером буфера 256 КБ, числом буферов 10, счетчиком высокого уровня 0, режимом записи одиночного блока включен, режимом сквозной записи SCSI включен

~ 2050 МБ / мин при использовании накопителя Quantum Superloader3 LTO 4 с включенным сжатием ленты LTO4, размером блока 256 КБ, размером буфера 1 МБ , количеством буферов 10, счетчиком верхнего уровня 0, режимом записи одиночного блока, режимом записи SCSI
~ 2300 МБ / мин с использованием накопителя Quantum Superloader3 LTO 4 с выключенным сжатием ленты LTO4, размером блока 256 КБ, размером буфера 1 МБ, числом буферов 10, счетчиком высокого уровня 0, режимом записи одиночного блока включен, режимом сквозной записи SCSI включен

~ 2200 МБ / мин с использованием накопителя Quantum Superloader3 LTO 4 с включенным сжатием ленты LTO4, размером блока 256 КБ, размером буфера 1 МБ , количеством буферов 20, счетчиком верхнего уровня 0, режимом записи одиночного блока включен, режимом записи SCSI включен
~ 2300 МБ / мин с использованием накопителя Quantum Superloader3 LTO 4 с выключенным сжатием ленты LTO4, размером блока 256 КБ, размером буфера 1 МБ, количеством буферов 20, счетчиком высокого уровня 0, режимом записи одиночного блока включен, режимом сквозной записи SCSI включен

Понятно, что размер блока настройки важнее размера буфера. Независимо от того, какой размер блока или буфера вы используете, вы получите лучшую производительность, отключив сжатие, если ваши исходные данные не будут соответствовать минимальной скорости сопоставления данных на ленточных накопителях. К сожалению, это настройка для каждого диска, а не для задания или формата ленты, поэтому вы не можете просто ограничить сжатие полными резервными копиями или только LTO3. Вам также придется проверить, насколько серьезна проблема с вашей комбинацией аппаратного и программного обеспечения. Конечно, снижение производительности незначительно, и более важными тестами будет оптимизация полной резервной копии от 600 до 800 ГБ вместо 20 ГБ. Я попытаюсь обновить снова, как только у меня будет несколько недель или месяцев, сделанных резервных копий.

Кроме того, обратите внимание, что 100 МБ / мин намного ниже минимальной скорости для потоковой передачи ленты с LTO 3, поэтому вы, вероятно, теряете достаточное количество емкости при остановке и запуске ленты (т.е. вы, вероятно, получаете лучшее, чем 1,5: 1 сжатие, но это теряется в пробелах в данных на ленте). С LTO 4 это, вероятно, будет несколько хуже, так как я думаю, что минимальная скорость возросла.

Диск-диск-лента поможет с проблемой минимальной скорости, и даст вам некоторую емкость бесплатно.

Если вы этого не делаете, решительно подумайте о некоторой запланированной дефрагментации дисков на серверах, для которых вы создаете резервную копию. 1000 МБ / мин - это невысокий уровень пропускной способности сети Ethernet на достаточно современном оборудовании. Я ожидаю, что даже на компьютерах, которым исполнилось 2 года, вы сможете получать 1800 МБ / мин (это только чтение с диска сервера со скоростью 30 МБ / с), так что есть возможности для улучшения.

Изменить: Для LTO 3, вы действительно хотите размер блока 256 КБ для лучшей производительности.

WRT сияет, у ленты нет времени на перемотку, если буфер на короткое время опустеет, поэтому на ленте останется зазор.

неизбежно, резервные копии превышают емкость, которую вы изначально запланировали. Вот что я хотел бы предложить и сказать о вашей ситуации:

1. Таким образом, полная резервная копия превышает емкость одной ленты. Тогда используйте две ленты.

2. Следуйте рекомендациям Symantec и продолжайте выполнять резервное копирование на диск, а затем сделайте резервные копии этих дисков на ленту. Запланируйте резервное копирование на диск после того, как будет использовано меньше ресурсов. запланируйте резервное копирование на ленту в любое время в течение дня после завершения резервного копирования на диск, поскольку резервное копирование на ленту не влияет на производственные системы.

3. Думайте о том, что ваши резервные копии на неделю (полная и разностная) входят в один и тот же набор резервных копий. если это занимает две или три ленты в неделю, то пусть будет так.

4. Запланируйте резервное копирование на ленту только в течение недели, когда вы собираетесь поменять ленты.

у меня похожая ситуация, я использую привод Dell PowerVAll 110t lto2 и вот что я делаю:

1. в субботу я делаю полную резервную копию на диск (резервная копия в папку на диске для полного резервного копирования).

2. с воскресенья по пятницу я делаю инкрементные резервные копии на диск (еще одна резервная копия в папке на диске для инкрементных копий).

3. С понедельника по пятницу я беру резервные копии на ленту полной и инкрементной резервной копии на папки на диске. когда лента достигает своей емкости, я меняю ее. если он достигает емкости в середине ночи, я заменяю ее на следующее утро, и работа на магнитной ленте заканчивается.

4. после резервного копирования по пятницам на ленточную работу я меняю ленты на следующую неделю. две ленты, которые я вытащил, являются полными и инкрементными с текущей недели и переходят к моей 4-недельной ротации. теперь я знаю, что все данные резервных копий текущей недели находятся на одном ленте, хранящемся вне сайта.

промыть и повторить

Мы делаем что-то похожее на Джо:

1. Суббота: полное резервное копирование на диск, когда это будет сделано, начните полное резервное копирование на ленту
2. понедельник: в конце дня вставьте вторую ленту и дождитесь окончания резервного копирования
3. пн-пт: разностное резервное копирование только на диск

Если вам действительно нужно сделать диск-ленту независимой от резервного копирования на диск-диск, я бы согласился с двумя несинхронизированными резервными копиями:

1. Запустите диск-диск и диск-ленту в субботу, диск-диск закончится, и диск будет ждать второй ленты в понедельник
2. Закончите запись на диск в понедельник (я все еще буду ждать конца дня, чтобы вставить ленту).
3. Пн-Пт, делайте ваши различия между дисками (на самом деле, я вижу, что вы не говорите, что делаете это, но я предполагаю, что вы делаете)
4. Вт-пт, делай свои диск-ленты дифференциалы

Я не вижу проблемы с резервным копированием немного разных наборов файлов на двух разных носителях. Почти во всех случаях вы собираетесь восстановить файл из резервной копии на диске, используя ленту как запасной вариант или простой способ организации нескольких наборов резервных копий.

Вот один из вариантов, который может помочь вам на некоторое время:

Рассматривали ли вы разделение резервной копии на два отдельных набора данных? В зависимости от того, как организованы ваши файлы, вы можете легко разделить их на две логические части (т. Е. По отделам). Вы сделали бы полную резервную копию первого набора данных в четверг вечером, а полную резервную копию второго набора данных в пятницу вечером. Каждую ночь после этого выполнялись две работы на одной ленте, дифференциал для каждого набора данных.

Таким образом, вы не будете приходить по выходным, и вам не придется присматривать за автомобилем, ожидая проверки. Кроме того, вы получаете дополнительную защиту, если не сказать, что все яйца находятся в одной корзине.