Как хранить и сохранять много данных?

У меня много DVD с фильмами и играми, они стареют и пылятся, некоторые из них повреждены. И у меня есть более 300 ГБ общих файлов на моем компьютере. Я хочу хранить и сохранять все свои данные и хранить их в течение долгого времени.

Я хочу знать, какой самый лучший и надежный носитель информации я должен использовать и ... я могу купить.
Я скопирую все свои DVD на новый носитель и выброслю все свои DVD. Это займет очень меньшее физическое пространство.

Я думаю, что все, что мне нужно хранить, - это 800 ГБ.

Я не люблю оптические диски, потому что они хрупкие, и я потерял много CD и DVD.
Жесткие диски были бы хороши, но они могут внезапно перестать работать, и это очень дорого, чтобы восстановить данные со сломанного жесткого диска.

Другие вопросы:
как часто мне придется копировать файлы на новый носитель?
Является ли хорошей идеей иметь еще одну копию каждого файла, хранящегося на другом носителе?

Редактировать:
если я положу все фильмы и игры на жесткий диск, если жесткий диск перестанет работать, я потеряю все.
Вот как они ценны для меня: если я потеряю 10% из них, я не буду плакать, потому что могу получить новые, но если я потеряю 90%, это будет катастрофа.

Изменить 2:
Я не думаю, что это онлайн-хранилище является надежным, даже если я за него плачу, потому что они могут быть закрыты или могут обанкротиться. Они не из моей страны, и было бы трудно получить файлы обратно.

Простой ответ: несколько копий . Что бы вы ни делали, не доверяйте ни единому носителю, местоположению или услуге.

Лично я в настоящее время использую внешние (подключенные через USB) жесткие диски для целей резервного копирования. Диск объемом 2-3 ТБ может быть получен довольно дешево и предоставит вам достаточно места для хранения не только на данный момент, но и на любые разумные будущие потребности. При физическом размере, приблизительно равном большой книге в мягкой обложке, он легко вмещает содержимое 200-300 фильмов DVD без дальнейшего сжатия. Купите два или три, если вы параноик, предпочтительно один из которых от совершенно другого производителя (например, вы можете захотеть смешать Seagate и Western Digital, поскольку они вряд ли будут использовать диски с точно такими же конструкционными или производственными дефектами), и храните по крайней мере один из них в физически отдельном месте - банковский сейф - относительно дешевая альтернатива, которая также обеспечит вам физическую безопасность, но даже хранение одной копии на работе или в доме друга почти всегда будет работать так же хорошо. Если вы можете сделать так, чтобы иметь возможность обновлять стороннюю копию, не перенося ее в свое место, это даже лучше. Если какой-либо контент чувствителен к конфиденциальности, помните об этом при планировании обработки сторонних копий.

Также имейте в виду, что объем данных, о которых вы говорите (300 ГБ считается более или менее «невосстановимым», еще 500 ГБ «приятно хранить», но который в крайнем случае вы, вероятно, можете получить из других источников, таких как бывшие в употреблении DVD фильмов) не так уж и много. В настоящее время у меня есть всего около 100 ГБ цифровых фотографий, и мне нетрудно добавить за один день около 10-15 ГБ к этому - и я делал это несколько раз, посещая мероприятия, где у меня есть была причина сделать много фотографий. Многие из этих фотографий по-разному сомнительного качества, многие из них обыденные (приятно иметь, но в крайнем случае ничего по- настоящемуособенно о них), но некоторые из них на самом деле являются незаменимыми с точки зрения содержания, а также на самом деле хорошего качества. Однако для целей резервного копирования я отношусь к ним одинаково: несколько копий. У меня произошел сбой нескольких жестких дисков, и хотя я несколько раз терял данные, которые мне действительно хотелось бы сохранить, в целом эта стратегия означала, что я могу восстановить самую последнюю резервную копию на новый диск и быть на моем веселый путь. В случае сбоя оперативной копии восстановите резервную копию на замененный основной диск; в случае сбоя резервного диска получите запасной резервный диск и создайте новую резервную копию.

Если вы тоже идете по пути с несколькими носителями, не забывайте проверять каждый на наличие признаков деградации. Это довольно быстро и легко сделать хэш SHA1 для всех файлов на диске и сравнить результаты, а также сохранить сам список хешей в нескольких местах. Таким образом, даже если в какой-то момент вы получите ошибки чтения, вы можете определить, какая копия «хорошая».

Вы должны подумать, насколько ценны данные, для которых вы создаете резервную копию. Я бы разделил его как минимум на 2 категории:

1. незаменимый
2. Хотел бы сохранить, но не будет разбитым сердцем, если данные будут потеряны.

стратегия

Для категории 1 : я бы предложил одну из популярных онлайн-систем хранения (Amazon S3, Dropbox и т. Д.). Здесь вы платите за то, чтобы кто-то помог вам управлять резервным копированием и обеспечил более длительный доступ и более легкий доступ. В противном случае следуйте рекомендациям для категории 2 и убедитесь, что существует правильная избыточность данных, и позаботьтесь. Предполагая, что это меньший процент от общего объема 800 Гб.

Для категории 2 : это ваше решение о том, сколько нужно инвестировать в хранение и время для загрузки данных онлайн. По этой причине я бы даже предложил вам использовать большой жесткий диск для резервного копирования всех данных, а также хранить этот диск, отключенный от ПК, и просто знать, что у него есть срок службы, связанный с ПК, который поддерживает современные технологии, например SATA. Затем вы можете перенести данные на новый диск / новую технологию в будущем. Жесткий диск емкостью 1 или 2 ТБ по разумной цене и удовлетворит ваши требования к данным сейчас и в краткосрочной перспективе.

избыточность

Несколько дисков с одними и теми же данными будут вашей избыточностью, которая снова может быть сохранена «вне сайта», если вы действительно обеспокоены безопасностью данных.

Безопасность

В качестве дополнительной функции, если вы пытаетесь защитить данные от несанкционированного доступа, зашифруйте их локально перед загрузкой в ​​Интернет и / или сохранением на жестком диске. Что-то вроде TrueCrypt будет идеальным

Сначала подумайте о том, как вы можете потерять свои данные, и решите, от чего вы хотите защитить. Некоторые примеры:

• случайно удалить что-то
• жесткий диск умирает
• программная или аппаратная ошибка
• вредоносные программы
• кража
• Пожар
• стихийное бедствие (пожар, наводнение, землетрясение, вулкан, молния и т. д.)
• захват правительства

В моей жизни я потерял много данных, но только по первым двум причинам в этом списке.

Жесткие диски компактны, содержат много данных, постоянно увеличиваются, легко доступны, не требуют специального оборудования для использования, дешевы и дешевы (наводнения в Таиланде не выдерживают).

Я храню все свои данные на одном диске; второй USB-накопитель содержит регулярные автоматические резервные копии; третий идентичный USB-накопитель находится вне офиса (на работе или в сейфовой ячейке - это хорошо). Ежемесячно я несу текущий резервный диск в другое место и возвращаю другой диск.

Все носители разлагаются; единственный способ убедиться, что ваши данные хороши, это использовать их. В рамках этой ежемесячной рутины я выбираю произвольный файл и восстанавливаю его из резервной копии.

У меня была такая же проблема, как вы и долго и упорно искал решения. Многие накопители NAS имеют 2 отсека для жестких дисков. Я хотел больше ... но это всегда имело большую цену.

но потом я нашел это! ^{продемонстрированная модель была заменена синусом оригинального поста}

• 4 SATA-2 отсека (без горячей замены), максимум 8 ТБ (моддинг может обеспечить больше места)
• 1 SATA ontop для жесткого диска CDROM / SYSTEM, работающего на DMA33
• ESATA на спине
• 4 USB на ПЕРЕДНЕМ! 2 НАЗАД
• USB INSIDE (там, где дверь - значит, вы загружаете USB-накопитель и не высовываете его)
• МАКС DDR3 8 ГБ!
• Аппаратный встраиваемый SATA RAID 0/1 ^{Но вместо этого следует использовать ZFS}

Спецификация продукта

Я купил свой за 100 фунтов стерлингов (была заключена сделка с HP), но нормальная цена составляет 200 фунтов стерлингов - все еще половина цены многих других NAS ... И! Это полноценный процессор! 1,6 ГГц двухъядерный AMD (специальный тип, который использует низкое энергопотребление)

Я не мог поверить своим чертовым глазным яблокам!

Тогда что? Это что

Я перешел на FreeNAS и установил freenas7 - я знаю, что FreeNAS 8 вышел ... но, похоже, он сокращает память ... но драйвер ZFS на нем работает более стабильно и быстрее ... Так что выбор за вами.

Я установил 4x1TB и использовал RAIDZ, аналогичный RAID-5, на ZFS (на сервере HP тоже есть аппаратный рейд (0,1) .. но драйвер не работает на freenas7 :( - но работает на Windows Essentials!)

поэтому я получил 3 ТБ памяти с 1 резервным жестким диском ( RAID-5 )

Я забыл упомянуть, что в нем есть полный слот PCI-E? (низкий профиль) Вот небольшой проблеск в MB и красивый USB-плагин прямо на mobo

Моддинг

• Здесь можно установить до 6 3,5-дюймовых дисков. Используйте тонкий оптический дисковод / 3,5-дюймовый адаптер для отсека для DVD, а затем установите другой за световым конусом HP с небольшим усилием.

• Хорошо, а если этого недостаточно ... тогда как насчет 19TB?

• И я так себя загорелся, что начал писать свою собственную панель инструментов и, надеюсь, какое-то руководство по настройке сервера Uber Freenas здесь.

-EDIT АВГУСТ 2012

Я нашел этот пост, в котором есть раздел о том, как взломать BIOS и разрешить этому дополнительному порту CD-ROM работать на 1,5 ГБ SATA! - ДА! Я сделал это и работает хорошо.

-EDIT OCT 2017

С тех пор у нас были микросерверы Gen9 и Gen10 - я все еще использую оригинальную конфигурацию со времени этого поста ... да ... все еще сильная и довольная этим.

Самое время, вероятно, инвестировать в новый MicroServer и получить 4 накопителя емкостью 3 ТБ с использованием ZFS RaidZ-2 (всего 2 резервных накопителя с использованием 4 накопителей). В настоящее время используется только RaidZ-1, который не полностью оптимизирован для 4 накопителей, но имеет было хорошо для меня более 5 лет: D

Что ж, если вы серьезно относитесь к сохранению ваших данных, я бы посоветовал вам создать два NAS- устройства из недорогих компьютерных комплектующих. Аппаратное обеспечение не должно быть самым передовым, просто способным обращаться к дискам SATA Terrabyte. Вы можете использовать одну из многих версий UNIX / Linux или старую версию Windows в качестве операционной системы. Затем загрузите ваши DVD и файлы на диск в это устройство, а затем скопируйте его на другое устройство. Вам нужно будет синхронизировать две системы друг с другом один раз в день, неделю или месяц, в зависимости от вашего уровня паранойи.

Это лучше, чем ленты или Blu-ray, так как данные легко доступны, и у вас будет две копии. Время от времени вам нужно будет сканировать жесткие диски NAS и решить, нужно ли их заменять, если аппаратное обеспечение выходит из строя.

Об этом уже было сказано пару раз: на самом деле ничего не существует, если оно не в трех экземплярах в двух разных форматах и ​​одна из них должна быть удалена.

Таким образом, вы можете быть уверены, что у вас будет хотя бы одна читаемая копия. Не полагайтесь на аппаратные NAS и т. Д., Если у них есть проприетарное программное обеспечение (большинство из них). Когда происходит сбой оборудования, вы, вероятно, больше не найдете аппаратную часть той же модели ...

Я предлагаю вам пойти с простыми USB-дисками , но несколько из них. Возьмите копию с собой на работу и будьте защищены от кражи или пожара дома (не все яйца в одной корзине). Если параноик, возьмите двойные копии с сайта.

Пусть диски раскручиваются и проверяют их каждые три-шесть месяцев. Вы хотите знать, если они перестают работать. Обычно диски плохо предупреждают, прежде чем они испортятся. SMART действительно не очень хорошо работает.

Я бы также предложил использовать md5sum или другую программу, которая может вычислять контрольные суммы для каждого имеющегося у вас файла . Проверяйте эти хэш-суммы время от времени. Если файл был поврежден, контрольные суммы не будут совпадать. Тогда вы знаете и можете действовать соответственно. Без контрольных сумм файлы будут повреждены без вашего ведома. Вы думаете, что файлы в порядке, но это не так.

Если вы действительно параноик, не полагайтесь только на NTFS, FAT32, HFS + или другой формат файловой системы. Используйте несколько. Кто знает, может быть, у вас больше не будет ПК с Windows, когда вы захотите найти старые файлы в будущем. В этом случае вам также следует подумать о том, чтобы ваши фильмы были в нескольких форматах.

Резервирование, резервирование, резервирование и обнаружение ошибок!

Я много раз повторял одну и ту же идею о том, что делать, и конечные результаты всегда одинаковы.

CD-R никогда не подводили меня с течением времени, хороший компакт-диск даже портится, данные в основном появляются через века. Низкая плотность. Диски DVD-R, хотя и не очень, даже очень хорошо записывают, плотность данных высока, и из-за этого вероятность их сбоя выше. менее качественный оптический носитель - это пластик (как), и все пластмассы становятся более хрупкими, и любой материал, с которым они соединяются, в конечном итоге терпит неудачу. Даже высококачественные оптические приборы начинают проявлять признаки расслаивания через много времени. , , , Компакт-диск вытянул бы это, но это слишком чертовски мало, и DVD - слишком пикантно (вовремя), для меня это не вариант. Подумайте о том, чтобы поместить ваши самые ценные снимки в 2X на компакт-диски очень хорошего качества с очень медленной записью. Они будут длиться дольше, чем ваши отпечатки InkJet :-)

Blu-ray-R, сгоревшие синие лучи :-) Я даже не должен учитывать, что плотность данных намного выше, в некоторых магазинах, купленных Blu-ray со стеклянным мастером, произошли сбои за короткое время их существования. Простой единственный отпечаток пальца. Сгоревшие, многие пользователи обнаружили, что их ожоги от синего луча не длились совсем, не говоря уже о 10 лет.

Лента, у которой есть много ленты, правильно хранится, материал действительно хорош в течение 10-20 лет. Если кто-то захочет показать мне, где я могу получить блок ленты Frilling, для которого были предназначены эти ленты, я мог бы даже получить доступ к их данным, предполагая, что он использовал те же шаблоны чтения, что и 15 лет назад. Смена ленты, изменение размера ленты и замена ленточных машин. Носители, которые я на нем хранил, не делали :-) Если бы я продолжал кропотливо перемещать эти данные во все, что было бы полезно, сейчас они так же полезны, как и проводная запись :-)

Облако? Не вариант для меня. Пока они будут лишними, мои лишние. Это не их данные, заставьте их заботиться :-) Часто вы также соглашаетесь с тем, что у них теперь есть данные, насколько вы согласны, что у них есть ваши данные, и они могут ими владеть. Сегодня мои данные есть, завтра их кто-то выкупит или неработающая ссылка :-) Просто следить за изменениями в ТУ будет сложнее, чем передавать их самому. Добавьте ограничения пропускной способности, количество данных и отсутствие скорости. Не произойдет для меня.

Жесткий диск.

1) Ничто не вечно, если я должен продолжать возиться с этим, чтобы поддерживать его, и я не плачу себе на час :-), чтобы иметь дело с этим. Тогда было бы неплохо, если бы он двигался со скоростью 50 МБ / с вместо 3.

2) Рабочий диск Мне самому очень повезло с жесткими дисками, что еще было немного точным из-за большого количества передачи, количества и использования. До тех пор, пока он не раскручивается в течение 4 лет или плохо лечится.

3) При хранении диска у меня самих не возникало проблем с правильным хранением дисков так же, как на магнитной ленте и других носителях. Я могу разбудить его после того, как я был припаркован в течение 10 лет, и он ничем не отличается.

Но люди, которые хранят больше дисков, чем я, и могут хранить их неправильно, могут получить жесткую блокировку двигателей. Мотор не будет крутиться от парковки так долго. Влажность и окисление могут быть большими факторами. Скажем, человек, живший в тропическом лесу рядом с соленым океаном, диск не на 100% запечатан. Незначительное осушение, или серьезное уплотнение с кремнеземом и даже для удаления O2, помогло бы. Следует учитывать влажность, дорожные пленки, дым, кухонный жир и все остальное, что может просочиться в крошечные отверстия.

У меня есть удача, скорость, совместимость и время с жестким диском, хотя другие вещи не удалось. У него есть свой встроенный ридер :-). Это просто вопрос наличия (как минимум) 2.

Моя теория 2 HD: (которая не работала на 2 DVD)

A) Один рабочий, который остается в системе, может прожить 3-4 года, подвергается мониторингу, подвержен возможному вирусу, «известен», его наблюдают и используют, мотор не может заблокировать, но он может каркают со временем. Он поддерживается, обновляется, я знаю, если он начинает отказывать. Я могу только надеяться, что это не подведет, потому что они делают. Я стараюсь не дать им гнить на корню.

Б) Один в коробке, тот, который большую часть времени вращается, он не страдает ни от времени раскрутки, ни от износа, но он также не припаркован в течение многих лет. Этот второй жесткий диск можно вынуть из хранилища, немного обновить, развернуть, чтобы он не блокировался, и проверить, как он работает. Будь то какая-нибудь удобная внешняя коробка или очень хорошо хранившаяся повторно в статическом пакете, с адсорберами, на более длительные сроки.

Время от времени, будь то 1 неделя или 1 год, рабочий диск и накопитель можно обновлять / синхронизировать.

Это просто оставляет C) хранение этого ЛЮБОГО другого способа также. И только небольшие части моей системы имеют такую ​​ценность.

Это мой план до сих пор, и без какого-либо плана (до) это было то, что сработало, когда другие терпели неудачу. Если бы мои другие данные были SOOO ценными на других носителях, я бы использовал для них больше методов и продолжал бы их менять.

Каким бы ни был метод, единственная вещь, которая верна во всех случаях, если вы любите ее, это будет труд любви, чтобы сохранить ее навсегда. Когда они выйдут с кристальным носителем, убедитесь, что вы тоже скинули на него копию :-)

Помимо вопроса о физических носителях данных, существует целый ряд исследований о том, какие цифровые форматы предпочтительны для длительного и длительного хранения. Хорошим местом для начала является страница «Устойчивость цифровых форматов» Библиотеки Конгресса США .

Вы также можете пересмотреть мышление, лежащее в основе технологий Archivematica .

Этот вопрос требует мнений, поэтому мое мнение состоит в том, что нужно постоянно использовать лучшие, самые быстрые из доступных носителей, делать несколько резервных копий и продолжать обновлять хранилище по мере необходимости. Каждый носитель, включая каменную табличку, может быть внезапно поврежден или уничтожен.

Мне не нужно много добавлять к тому, что уже было сказано. Одно, хотя - я бы не испортил ваши оптические диски, если бы вам не пришлось; Я бы положил их в коробку и положил в шкаф или еще что-нибудь. В конце концов, это уже форма резервного копирования, и если вы делаете копии с нее, то, пока с ними что-то не получится, они станут хорошим резервным копированием. Единственные оптические диски, которые у меня были испорчены, были, когда я использовал для них ярлыки. По какой-то причине этикетки, казалось, облажались.

Лично я предпочитаю несколько жестких дисков для резервного копирования. Они быстрые, простые и надежные (при условии, что у вас более одной копии). Я не люблю ленты для личного пользования. Компании используют ленты, потому что они часто хранят несколько поколений всех своих резервных копий в надежном хранилище, и довольно сложно разместить в нем много жестких дисков. Но для личного использования я обнаружил, что ленты доставляют много хлопот и не всегда надежны.

Я бы посоветовал хранить действительно важные, незаменимые вещи на флэш-накопителях USB и / или оптических устройствах. Я имею в виду такие вещи, как фотографии, а не музыка или видео (если это не заменимо).

Серьезно, рассмотрите бумагу для действительно критических вещей. Учтите, что недорогой лазерный принтер может печатать с разрешением 1200 DPI, а недорогие сканеры могут сканировать с разрешением в 2-4 раза выше. Если вы уменьшите разрешение до 600x600 для обеспечения надежности, вы можете положить около 2,8 МБ на лист бумаги (с существенными полями).

Используйте высококачественную бескислотную бумагу и лазерную (по сравнению со струйной) печать, и носитель пригоден для использования в течение 200 лет, если при хранении соблюдать осторожность.

А извлечение данных настолько просто, что можно написать программу сканера с нуля, если оригинал каким-то образом потерян. Пока есть компьютеры и сканеры / цифровые камеры, данные будут доступны.

Что ж, Google использует ленту для резервного копирования данных (как и другие), поэтому я думаю, что это безопасная ставка.

На это трудно ответить, потому что это зависит от того, насколько важны ваши данные для вас и сколько вы готовы потратить. Я расскажу вам мои настройки, которые у меня хорошо работают.

Первое, что я хотел бы сделать, это получить NAS. В настоящее время у меня есть NAS-устройство Synology, и программное обеспечение отлично на нем работает. С помощью имеющегося там программного обеспечения вы можете выполнять резервное копирование на другие устройства.

Во-вторых, вы можете хранить данные онлайн в облаке. Вы должны быть осторожны с тем, что вы храните, хотя. Лично я храню только то, что хочу сохранить, но не слишком личное. Проблема с этим тоже, скорость загрузки. У меня ушло около 30 дней, чтобы загрузить около 230 ГБ. Вы всегда можете отправить им жесткий диск для загрузки ваших данных, хотя за определенную плату. В настоящее время я использую Crashplan, который довольно дешев и именно то, что мне нужно.

В-третьих, как указывалось ранее, вы можете получить NAS-устройство Synology и подключить внешнее устройство к некоторым моделям, которые они продают. Это действительно не имеет значения, если вы не заберете этот жесткий диск с сайта, скажем, в сейф. Может быть, сделайте резервную копию данных за месяцы и просто продолжайте отключать жесткие диски где-нибудь за пределами сайта.

Что касается моей текущей настройки, у меня есть NAS-устройство Synology с установленным там краш-планом, и оно автоматически выполняет резервное копирование данных с папками, выбранными для краш-плана. Это идеальная установка для меня, но это может быть дорогостоящим. Сам NAS является RAID 5, обеспечивая избыточность.

Я заплатил около 1200 долларов за NAS и жесткие диски. Но это дешево по сравнению с попыткой восстановить данные. Я считаю, что CD / DVD являются ненадежными и не должны использоваться для долгосрочного резервного копирования. Флешка, вероятно, будет лучше, чем CD или DVD.

Если вы делаете все это, вы должны быть в порядке в случае аппаратного сбоя или какого-либо стихийного бедствия, например пожара.

Я рекомендую поместить все данные на жесткий диск, а затем снова скопировать его с помощью облачного программного обеспечения. Моей личной рекомендацией будет CrashPlan, потому что это то, что я использую дома, это доступно, позволяет создавать резервные копии любого файла, где угодно, и даже позволяет выполнять резервное копирование на локальный носитель. Он периодически проверяет целостность вашей резервной копии и имеет ряд других полезных функций. Вы можете настроить его с помощью локального ключа шифрования, поэтому даже если CrashPlan получил (и выполнил) повестку в суд, никто не сможет прочитать ваши данные. У меня есть почти 3 ТБ резервной копии с ними, и до сих пор любил платить 5 долларов в месяц за эту довольно хорошую услугу. Я никоим образом не выигрываю от «продажи» их здесь, я просто очень довольный клиент. Может быть, вы должны взглянуть на их службу.

Я храню свои файлы на HD и в облаке. В настоящее время я использую Google Docs, потому что он дешевле, чем Amazon и DropBox.