Моя лаборатория находится в процессе настройки небольшого сервера, который хранит данные (в основном данные видео и изображений, а также несколько документов) для проекта, над которым наша группа в данный момент работает. Исторически, после того, как исследовательский проект заканчивается, данные случайно оказываются архивированными на одном жестком диске, или большой куче DVD-дисков (или компакт-дисков в старину), и / или некоторые из видео оказались в кассетах Sony DV или даже VHS ленты (эта лаборатория была активна с начала 90-х), ИЛИ смесь всего вышеперечисленного ...
Вопрос: Как лучше всего: (1) объединить их ВСЕ в один и тот же формат и носитель данных, и (2), каков наилучший носитель для долгосрочного архивирования таких данных для очень случайного доступа (скажем, 30+ лет?)? К сожалению, у нас нет бюджета на уровне предприятия (мы всего лишь ~ 10 человек лаборатории), поэтому не можем делать вещи, которые стоят сотни тысяч долларов.
Благодарность!
PS Учитывая, что наше старое видео и изображения имеют меньшее разрешение, но последние огромны, я думаю, что мы говорим о 30-40 ТБ для действительно старых данных, еще 10-20 ТБ для последних данных, затем ежегодные добавления около 5 ТБ. ,
Я полностью согласен с постом sysadmin1138 во всех отношениях, но не думаю, что у вас будет бюджет, чтобы действительно достичь того, чего вы хотите.
Вам нужно создать 5 основных функций;
То, что вы хотите сделать, может быть сделано, я делал это сам несколько раз за последние два десятилетия или около того, но, боюсь, ни одна из них не была дешевой.
Удачи.
источник
Другие дали хороший совет о том, как сделать резервную копию ваших медиа. Я бы посоветовал вам потратить некоторое время на изучение руководящих принципов библиотеки конгресса:
http://www.digitalpreservation.gov/formats/index.shtml
Вы также можете создать дешевый массив ZFS для whitebox. Возможно, вы могли бы сделать что-то, чтобы удовлетворить ваши потребности менее чем за 10 тысяч долларов. По мере того, как диски умирают, заменяйте их более крупными, и, таким образом, емкость вашего хранилища увеличивается по мере генерирования данных. Это, вероятно, сохранит вас на долгое время, и вы можете заменить его на устройство с большей емкостью, когда оно устареет. Преимущество заключается в том, что ваши данные находятся в сети (и поэтому к ним можно обращаться по мере необходимости), и они относительно хорошо защищены от битрота, что является серьезной проблемой, когда у вас так много данных.
Приличный вариант сборки был собран здесь:
http://www.zfsbuild.com/
источник
Как бы это ни было сложно для технологов, я бы рекомендовал немедленно прекратить мысли о дисках и технологиях. Разбейте проблему своего бизнеса на вещи, по которым вам нужно принимать решения.
Пример:
источник
Имейте в виду, что если вы храните данные в формате с потерями, а затем конвертируете в другой формат с потерями, а затем в другой, качество вашего видео будет ухудшаться с каждым переходом.
Далее идет речь об аудио, но в целом применяется то же самое:
http://www.vorbis.com/faq/#transcode
Поэтому, вероятно, лучше выбрать формат без потерь, потому что, выбрав один формат с потерями, вы застряли с ним.
источник
Возможно, мне чего-то не хватает, не могли бы вы все закодировать, используя открытый формат, в котором доступен исходный код для кодеков, а затем просто вставить все это в Amazon S3?
Таким образом, Amazon придется беспокоиться о реальном хранении данных, и, если не будет компьютеров, способных скомпилировать C / C ++ через 30 лет, вы сможете получить информацию ...
источник