Общие советы по архивному решению. ~ 15тб и растет.

9

Мне нужна лучшая система хранения и архивирования для файлов моего малого бизнеса. В частности, файлы завершены видео проектов. Помимо ограничений по времени и стоимости, меня сдерживает то, что я не верю ни в одно из решений, которые я обдумывал. Поэтому я выкладываю проблему и свои мысли. Буду признателен за любые мнения.

Бюджет: я верю в то, что нужно тратить. Это, как говорится, мы малый бизнес. Я надеюсь, что смогу выйти из этого за <5k и больше около 1-3k. Это может быть несбыточной мечтой. Просто скажи мне так.

Проблема:

  • Необработанные видеофайлы имеют огромный размер. На сегодняшний день мы накопили, вероятно, 10 + ТБ, и это быстро растет.
  • Для редактирования видео требуется быстрый доступ для чтения / записи к файлам, поэтому центральный или облачный файловый сервер не будет достаточно быстрым. Поэтому нам, вероятно, нужно найти удачное решение для старых проектов, а текущие проекты должны остаться локальными.
  • Мы хотим какое-то резервирование и стороннее решение.

Что мы сейчас делаем:

  • Мы используем большие, высококачественные внешние жесткие диски.
  • Мы всегда покупаем в парах и вручную дублируем контент. Другими словами, мы работаем от одного и дублируем файлы на другой, который служит резервной копией / резервной версией.
  • Эти HD достаточно быстрые с FireWire800 или USB3, чтобы работать напрямую.
  • После заполнения мы откладываем пару.

Что не так с текущим решением:

  • Несмотря на то, что данные дублируются на двух дисках, на этих дисках нет резервных копий или они хранятся вне сайта.
  • Организовать эти внешние HD очень сложно. Какой проект на каком диске? и т.п.
  • В конце концов у нас будет смешное количество жестких дисков.
  • Дублирование не RAID.

Опции:

Локальный сервер

  • Купите сервер для монтажа в стойку и корпус массива жестких дисков, смонтированный в стойке, например, Norco (SAS) (20 отсеков).
  • Все видео файлы будут храниться на этом сервере. Мы могли бы установить и оплатить облачный сервис для резервного копирования этого компьютера / сервера. CrashPlan работает в Linux и не имеет ограничений по объему данных. Харддрайвами будут физические диски, подключенные к серверу, поэтому мы обходим правила «без NAS», которые есть у таких компаний, как CrashPlan. Это не персональный компьютер, поэтому синхронизация может выполняться 24/7/365. Это решило бы проблему вне офиса.
  • Вместо использования онлайн-сервиса резервного копирования, такого как CrashPlan, мы могли бы написать скрипт для синхронизации этих файлов с учетной записью Amazon Glacier.
  • Политика, при которой видео просматривает работу с внешних жестких дисков для текущих проектов, но должна поместить проект на этот новый компьютер после завершения. Другими словами, продолжайте использовать внешние жесткие диски для текущих проектов и сохраняйте архивированные проекты на этом сервере.

Облачные сервисы резервного копирования (CrashPlan.com, BackBlaze.com, Carbonite.com)

  • Обычно позволяет создавать резервные копии только внешнего жесткого диска, который физически подключен к компьютеру. (нет NAS или сетевых дисков).
  • Обычно они ожидают, что резервный внешний диск останется подключенным к вашему компьютеру, а все данные останутся на диске. Если вы месяцами не подключаете внешний жесткий диск, что происходит с резервными копиями? Если вы очистите пространство, удалив старые проекты, они также будут удалены из онлайн-сервиса.
  • Требует от наших пользователей оставлять внешние жесткие диски подключенными к своему компьютеру, пока все данные не будут в облаке. Это может занять несколько недель для большого проекта.
  • Восстановление проекта будет очень медленным из-за скорости интернет-передачи.
  • Эти учетные записи резервного копирования в облаке обычно относятся к одному пользователю / одному компьютеру. Так что, если жесткий диск поддерживается одним пользователем. Затем над проектом работает второй пользователь, что это значит?

Большой NAS

  • NAS - это «Сетевое хранилище». Вы вставляете столько жестких дисков, сколько он будет держать. Это будет совершать набег на них. Вы можете получить доступ к этому через сетевое соединение или, возможно, USB3 / Firewire.
  • У большинства есть операционная система. Таким образом, вы не можете запускать другие программы, такие как облачные сервисы резервного копирования. Вы также не можете выполнять какие-либо настройки или запускать собственное программное обеспечение. Вы получаете то, что покупаете.
  • Большие NAS довольно дороги и не такие уж большие. Вы не найдете много с более чем 4 отсеками. В настоящее время большой HD составляет 3 ТБ. Таким образом, 4bays могут быть где-то около 12 ТБ памяти. Не супер удобно на будущее.

Другие идеи:

  • Резервное копирование на ленту
  • Просто заархивируйте старые проекты прямо в Amazon Glacier, пропустите создание локального сервера для их хранения.

Спасибо за любой совет !!! Джед

maestrojed
источник
После завершения проекта, как часто вам нужно возвращаться и работать с его данными?
Майкл Хэмптон
Вы понимаете, что «Большой NAS» удивительно мало. Есть компании от NetApp до EMC, от IBM до Isilon и многих других, которые хотели бы с вами сесть.
mfinni
Нам нужно будет возвращаться к этим данным один или два раза в месяц. Если бы была задержка доступа к этим данным (Amazon Glacier), я думаю, что было бы приемлемо, если бы мы говорили часами, а не днями.
Маэстроед
Тогда не используйте Glacier. Поиск Fess будет высоким, и ваш бухгалтер выйдет из строя, когда он получит счет.
HopelessN00b
@mfinni Я уверен, что у EMC и IBM будут отличные идеи и отличное оборудование (я не знал о NetApp). Не уверен, что это вписывается в мой описанный бюджет, и при этом это не подходит для малого бизнеса. Похоже, что NetApp делает аппаратное обеспечение похожим на то, что я называл «массивом жестких дисков» производства Norco. Я упомянул об этом в сборке моей собственной идеи сервера. Это подход, который вы предлагаете?
Маэстроед

Ответы:

12

Tape. Просто так. У Quantum есть система SuperSTore, которая может справиться с гораздо большими затратами, и я видел их менее чем за 5000 цен - новинка. Хорошая вещь заключается в том, что вы можете извлекать ленты для хранения, поэтому их масштабирование будет достаточно экономичным, а ленты сохранятся.

TomTom
источник
Поскольку вы довольны временем поиска в течение нескольких часов, я полностью согласен с TomTom. Лента сильно недооценена и отлично подходит для такого рода вещей.
MadHatter
Если вы идете с лентой, просто убедитесь, что у вас есть что-то, что позволяет вам часто тестировать ленту. По моему опыту, около 75% резервных копий на магнитной ленте не работают, потому что люди используют одни и те же кассеты несколько раз и удивляются, когда не могут извлечь данные из них через 3 года.
Матфея
2
Достаточно удивительно, учитывая, что надлежащее хранение должным образом (кашель) имеет длительный срок гарантии (я думаю, 30 лет). И вы можете легко сделать 2 копии. Возьмите весы очень хорошо. Это скорее - извините - идиотизм людей, которые, вероятно, никогда не проверят восстановление ни разу ... хотя я бы сделал это по графику (1 неделя, 1 месяц, 1 год).
TomTom
1
+1 - это практически учебник для кассеты большой емкости. Дополнительные затраты на добавление хранилища в архив на основе ленты (даже с разрезанием двух лент для хранения на и вне сайта) ниже, чем на жестких дисках, и ленты предназначены для архивирования. LTO поддерживается отраслевой ассоциацией, которая продемонстрировала приверженность созданию продуктов, обеспечивающих доступ к более старым носителям. Тем не менее, через несколько лет, когда вы замените ленточный элемент, вы, вероятно, должны перенести старые данные в новые форматы ленты, хотя бы для борьбы с потенциальной гнилой битой. Если вам нужно, чтобы это было «OPEX», рассмотрите вариант лизинга.
Эван Андерсон
1
Лента хороша, но требует дисциплины - регулярное тестирование, ротация за пределами площадки и т. Д. Я бы лично пошел с сетевым NAS (вероятно, nas4free) и rsync с ограниченной скоростью на внешнюю идентичную коробку.
quadruplebucky
4

Во-первых, я бы посоветовал избегать ледника. Это звучит хорошо, пока вы не сократите затраты на восстановление большого объема данных. Это неофициальный калькулятор, который вы можете использовать, чтобы рассчитать стоимость хранения и поиска Glacier, и судить сами . Восстановление терабайт данных из Glacier - довольно непривлекательная перспектива.

Во-вторых, я бы посоветовал, чтобы в целях простого резервного копирования вы могли использовать один NAS-сервер с большим количеством дисков. Для меня это звучит так, будто вы рассматривали только варианты NAS для дома и небольшого офиса, и вам следует подумать о правильном предложении NAS. Предпочитая Dell, я бы выделил серверы Dell PowerVault NAS , но HP, IBM, SuperMicro и почти все остальные имеют аналогичные предложения. У меня дома установлен старый Dell PowerVault NX, который служит моей медиатекой, и в нем двенадцать почти 2 ТБ дисков SAS. Нынешние накопители SAS емкостью 4 ТБ также доступны в эти дни, поэтому вы всегда можете заполнить их нужным NAS-сервером. (Или купите пару серверов NAS.)

Вы можете легко использовать один из них в локальной сети, установить программное обеспечение для резервного копирования по вашему выбору ( например, Bacula, если вам нравится бесплатное , или любое из десятка коммерческих предложений, если вам нужна поддержка поставщика) и использовать большой том RAID в качестве вашего резервная цель. Затем вы можете использовать службу резервного копирования в облачном хранилище для резервного копирования этого NAS-сервера и использовать преимущества локального и удаленного резервного копирования. Опять же, это то, что я делаю дома. Правильный NAS-сервер, терабайты резервных копий данных в облачный сервис.

И, конечно, вы также можете использовать магнитную ленту ... купите ленточный накопитель LTO или библиотеку - лично я сделаю все возможное, чтобы избежать использования ленточных или оптических дисков, но они являются законным вариантом и могут быть дешевле диска -дисковое решение.

Наконец, я хотел бы предложить вам рассмотреть главный недостаток облачных сервисов резервного копирования - размер вашего интернет-канала. Загрузка терабайтов данных через интернет может занимать недели или месяцы и / или взиматься дополнительная плата от вашего интернет-провайдера. Поэтому, несмотря на то, что они являются жизнеспособным вариантом для резервного копирования данных, даже корпоративных данных, большинство людей не рассматривают это ограничение до тех пор, пока не достигнут его.

HopelessN00b
источник
+1. Ледник архивный - это серьезно S ++++ для резервного копирования. Резервное копирование означает, что не нужно восстанавливать целую вечность, затем много, а квота 5% означает оплату в случае восстановления.
TomTom
1

Я думаю, это зависит от вашего бюджета. Если вы можете потратить всего $ 6k, вам, вероятно, потребуется создать собственный NAS. Я бы посмотрел на nas4free и какой сервер вам стоит. Если вы можете потратить $ 20 тыс., Вы, вероятно, можете заполнить сервер кучей дисков и приличной картой RAID или программным RAID под Linux или любым другим.

Приблизительно за $ 40 тыс. Вы можете получить высокопроизводительный 1U (IBM x3550 M4, 2-портовый Emulex 10 Гбит / с, 4 Гбит NIC, 128 ГБ ОЗУ, 2 локальных диска SAS 10 КБ) с 10 Гбит iSCSI в коробку Infortrend SAN с 24 дисками SAS 4 ТБ, которые вы можете ломтик и кости, как вы хотите. RAID6 - разумный конфиг.

Лента тоже хорошая идея, но я не знаю, насколько она дешевая. Это зависит от того, какую большую библиотеку вы получите. Если библиотека ленточных носителей 48 подойдет, вы можете снова сделать это с 1U и внешней картой SAS, может быть, за 30 тыс. Долл. И 2 накопителя LTO6 ... Но тогда вам нужны лицензии на программное обеспечение для управления резервными копиями на магнитной ленте или чем-то еще. Я использовал только NetBackup, который, вероятно, вам здесь не подходит. Только не забывайте, что вы, вероятно, захотите использовать ленточную библиотеку в программном обеспечении. Но как только вы выйдете из библиотеки, не забудьте найти ленту и загрузить ее, а также подготовительную зону для доступа ...

jmp242
источник