Почему фотографии повреждены на жестких дисках ПК?

13

Я не профессиональный фотограф, но я очень ценю свои фотографии. Иногда, когда я просматриваю их спустя месяцы или годы после того, как я их забрал, некоторые из них просто кажутся испорченными без видимой причины. Я часто получаю такие вещи, как серые области, измененные цвета, начиная с определенной точки, или даже совершенно не воспроизводимые фотографии. Я использую ОС Windows и Linux на своих ПК.

Почему это происходит и, самое главное, как этого избежать ?

Петру Димитриу
источник
Это старые фотографии? то есть фотографии, которые раньше выглядели хорошо, и которые вы не перемещали на диске впоследствии? Или это фотографии, которые вы недавно сбросили на свой диск, но обнаружили, что они теперь повреждены?
user541686 10.07.16
4
Я голосую за то, чтобы закрыть этот вопрос как не по теме, потому что он касается общего управления ИТ и аппаратных / программных сбоев. Принципы, которые применяются к фотографическим файлам, также применимы к любому другому документу, видео или приложению.
Джеймс Снелл
3
Ответили уже здесь .
JDługosz
Как избежать: используйте ZFS на файловом сервере, где я храню свои фотографии.
JDługosz

Ответы:

17

Есть две основные причины. Первое - это ухудшение качества данных . Биты, хранящиеся на магнитном носителе (например, на жестком диске), могут со временем потерять магнитную ориентацию, что приведет к их повреждению. В более жестких условиях (высокая температура и влажность) сам физический носитель может начать ухудшаться. Для твердотельных носителей, таких как SSD, механизм отличается, но результат аналогичен.

Более распространенным явлением является повреждение данных без вывода сообщений , в результате чего возникает ошибка во время записи или чтения данных. Хотя изображение по предыдущей ссылке является крайним примером, часто один перевернутый бит может повредить изображение.

Есть два решения этих проблем, и, если вы поверните свои резервные копии, одни только резервные копии не помогут. Более сложный и технический подход заключается в использовании файловой системы со встроенными механизмами целостности данных (например, ZFS или btrfs), тогда как более простой подход заключается в вычислении хэша для каждого файла между резервными копиями для обнаружения любых изменений.

alldayremix
источник
ZFS или Btrfs в * nix системах или ReFS в Windows.
CVn
7
Не фотограф, а фанат целостности данных. Пришлось присоединиться к этому сообществу только для того, чтобы подтвердить этот ответ. В то время как я уже пишу комментарий, я мог бы немного коснуться вопроса о том, что «один перевернутый бит может испортить изображение» . Это связано с тем, что JPEG и другие форматы по своему замыслу устраняют как можно больше избыточности, в этом их суть. Если вы можете немного перевернуть и все же распознать изображение, этот бит не стоит хранить (грубо). Таким образом, несжатые форматы могут быть более устойчивыми и ухудшаться более изящно. Вероятно, не стоит дополнительных 1000% штрафа в размере.
труба
1
@pipe Probably not worth the extra 1000% penalty in size...Я бы сказал прямо противоположное - снимайте RAW, храните RAW, делайте резервную копию RAW. Вы держите негативы, а не отпечатки.
J ...
1
@J ... Только будьте осторожны, чтобы ваш формат RAW не был сжат алгоритмом без потерь, тогда у вас все еще есть подобная проблема. Лучший вариант - следовать рекомендациям в ответе, который мы комментируем. Хранение файлов RAW имеет, конечно, другие преимущества. :)
труба
1
Продолжайте сжимать и использовать пар2, чтобы добавить полезную избыточность.
JDługosz
17

Я не буду сильно беспокоиться о том, как это происходит, потому что жесткие диски выйдут из строя; как и все в этом мире, они не идеальны. Вы не можете добраться до состояния, когда вы никогда не потеряете файл.

Тем не менее, вы можете перейти в состояние, в котором вы никогда не потеряете фотографию - вы делаете это, имея несколько копий на разных жестких дисках, включая, по крайней мере, одну в отдельном физическом месте. Тогда не имело значения, что один диск вышел из строя, потому что вы можете просто получить фотографию из другого места.

Филип Кендалл
источник
Интересно, есть ли программа, которая может автоматически проверять целостность файлов изображений. Возможно нет - поврежденный JPEG все еще может быть допустимым JPEG, я полагаю.
9:59
5
Как отмечается в другом месте, не беспокойтесь о попытке выяснить, повреждены они или нет, просто беспокойтесь о том, что они изменили.
Филипп Кендалл
Если фотографии немного испортились и стали непригодными для использования, почему это не происходит с обычными файлами? Я полагаю, что если бы это произошло так, как это происходит с фотографиями, операционные системы, вероятно, случайно потерпят неудачу, все виды документов случайно стали бы нечитаемыми ... но я еще не видел этого.
Петру Димитриу
@PetruDimitriu Изображения и видео занимают много места, если один бит переворачивается, и 90% вашего жесткого диска содержит изображения, у этого бита есть 90% шансов оказаться в изображении, а не в любом другом файле. Если вам не повезло, и этот бит находится в важной части важного системного файла (не в файле readme), ваш компьютер в какой-то момент, скорее всего, выйдет из строя, и вы не будете знать, почему.
Йенс
2

Ответ на вопрос, почему это происходит, зависит от типа диска, типа файла, файловой системы и используемой операционной системы, поэтому невозможно дать полный ответ на этот вопрос.

Но что касается того, как этого избежать, другой ответ касается наличия резервных копий - однако при таком повреждении файла вам нужен способ определить, была ли повреждена конкретная копия вашего файла, и избегать копирования этого в ваши резервные копии. Очень легко получить 2 поврежденных копии файла. Технический ответ - использовать контрольные суммы и сравнивать их для выявления поврежденных файлов.

Лучший способ избежать этого в наши дни - использовать онлайн-сервис хранения, который будет обрабатывать все избыточность и целостность файлов для вас.

Гарри Харрисон
источник
«использовать онлайн-сервис хранения, который будет обрабатывать все избыточность и целостность файлов для вас». ... и их клиент автоматически обнаруживает изменение локальной копии фотографии и загружает новую версию, которая повреждена . Облачное хранилище не заменяет хороших политик резервного копирования и некого способа обнаружения коррупции. Сравнить Что нужно для полной системы резервного копирования? ,
CVn
@ MichaelKjörling, использующий онлайн-хранилище в качестве вторичной подчиненной копии данных, будет иметь такой эффект, но хранит мастер-копию в неисправном хранилище. В общем случае всегда выполняется синхронизация от более надежного хранилища к менее надежному хранилищу.
Гарри Харрисон
1
@ MichaelKjörling their client automatically detects the change to the local copy of the photo and uploads the new version, which is corrupted. На самом деле, это интересный момент, потому что, если повреждение не находится на программном уровне, клиент фактически не сможет обнаружить повреждение, если вы не переписываете файл.
Майкл
2
@HarryHarrison Я не согласен. Я не хочу автоматически синхронизировать (например) мой NAS с моим локальным жестким диском только потому, что мой NAS более надежен - все еще есть вероятность, что поврежден NAS, а не мой локальный жесткий диск (или, на самом деле, гораздо более вероятно, Я что-то жирно перебрал и сам испортил файл на NAS). Ручное вмешательство - вот что нужно здесь - оно не должно быть таким распространенным, если вы не Ассошиэйтед Пресс.
Филипп Кендалл
1
Ни у кого нет нетленного хранилища. Даже S3 "всего" 12 девяток.
Филипп Кендалл
1

Файлы фотографий не являются особенными в этом отношении, любой файл на компьютере может быть поврежден. Вероятно, JPEG-файлы с большей вероятностью обнаружат искажение очевидным образом, чем многие другие типы файлов, поэтому вы можете заметить это больше (см. Комментарий @ pipe к ответу @ alldayremix).

Файлы могут быть повреждены разными способами, жесткие диски (не SSD) могут быть расположены слишком близко к магниту, компакт-диски и DVD-диски могут постепенно гнить, а электрические помехи и ошибки в прошивке или программном обеспечении могут повредить файлы при передаче. Есть и другие причины, но я бы посоветовал спросить о стеке, связанном с компьютером, если вы хотите углубиться в детали.

С точки зрения того, что можно с этим сделать, лучший ответ, который я могу придумать, - это вычисление хешей и хранение нескольких копий фотографий. С этой целью я написал бесплатную программу с открытым исходным кодом для решения этой проблемы для себя: Archiverify .

Он работает путем вычисления хешей, хранения хешей вместе с изображениями и сравнения файлов с хешами при запуске. Если у вас есть более одной копии файла, он может автоматически восстановить поврежденную копию из хорошей (при условии, что обе не повреждаются сразу).

Кроме того, я уверен, что есть платные службы хранения / резервного копирования, которые будут периодически выполнять хеширование и проверку для вас.

Дэн
источник
1
Теоретически, такого рода ответы хороши, но, вероятно, стоит прочитать « Как не быть спамером» (не обращайте внимания на слегка подстрекательское название, я не думаю, что отдельные сообщества SE имеют какой-либо контроль над этим). Однако ... этот пост фактически не отвечает на вопрос в виде вопроса ("Почему фотографии испорчены?"), Поэтому он может быть потенциально удален по этой причине.
Филипп Кендалл
Спасибо, это правда, это не отвечает на главный вопрос, я постараюсь ответить на этот вопрос. Это действительно отвечает на "самый важный" вспомогательный вопрос все же.
Дан
@scottbb Ответ был значительно отредактирован с тех пор, как я разместил этот комментарий. Пожалуйста, смотрите историю редактирования.
Филипп Кендалл
@PhilipKendall мои извинения, я не заметил историю.
scottbb
0

Есть несколько причин, как указано выше. Это может быть естественный износ с течением времени, который повреждает биты файлов или приводит к ухудшению физического состояния. Если вы постоянно находите фотографии и другие файлы, сильно поврежденные, это может быть признаком компьютерного вируса. Если вы не хотите, чтобы ваши файлы были повреждены первыми двумя способами, тогда инвестируйте в твердотельный накопитель, поскольку он не будет деградировать так же быстро и в 10 раз быстрее. (Вы также можете сделать быструю проверку на вирусы.)

анонимный
источник
0

Почему это происходит и, самое главное, как этого избежать?

Вы должны задать этот вопрос на Security.SE.

Чтобы избежать коррупции, вы должны сделать резервные копии .

В информационных технологиях резервное копирование или процесс резервного копирования относится к копированию и архивированию компьютерных данных, поэтому его можно использовать для восстановления оригинала после события потери данных. Форма глагола - это резервное копирование в двух словах, тогда как существительное является резервным.

Записываемые цифровые оптические носители, такие как CD-R и DVD-R, могут быть повреждены даже солнечным светом. Чтобы избежать этого, вы можете использовать что-то вроде стратегии двойного резервного копирования. Однако в настоящее время у нас есть такие красивые онлайн-методы для резервного копирования фотографий, как Instagram или другие онлайн-сервисы. Например, за Google Drive существует большое количество дата-центров. Каждая из ваших фотографий будет храниться в файловой системе Google (GoogleFS или GFS) на серверах, расположенных в этих дата-центрах. Эта файловая система была разработана Google для защиты пользователей от потери данных. Ваши фотографии будут сохранены в трех экземплярах в трех разных географических точках для защиты от потери данных из-за локальных бедствий, вызванных молнией, цунами, землетрясением и т. Д.

Попробуйте использовать несколько онлайн-сервисов одновременно (например, megaupload, dropbox, wuala, 4shared и т. Д.).

После этого, для большего спокойствия, что ни одна из ваших фотографий не была изменена или повреждена, вы должны использовать контрольные суммы для проверки целостности ваших данных.

Контрольная сумма представляет собой элемент данных небольшого размера из блока цифровых данных с целью обнаружения ошибок, которые могли быть внесены во время его передачи или хранения.

Лучший способ - использовать криптографию для такой задачи. Используйте новейшие стабильные хеш-функции, такие как SHA-256 или SHA-512. Старые алгоритмы, такие как MD5, теперь считаются небезопасными. Современный злоумышленник может подделать ваши данные с помощью той же md5sum.

Когда вы закончите, у вас будет распределенная система резервного копирования, которую нелегко сломать даже самым искушенным и преданным злоумышленникам (например, атакам, поддерживаемым государством).

  • Две копии DVD с одинаковыми данными внутри:

       1. Photo1.jpg
       2. Photo2.jpg
       3. Photo3.jpg
     ...
     999. Photo999.jpg
    1000. SHA256SUM
    

    Где этот SHA256SUM должен содержать что-то вроде:

    e5347dce99eb8cf694cf708d4a17d83abb3ec378241b5878c0abdab045859b24  Photo1.jpg
    b497a12b608def869a0429d7e6bbbd112bd413256201647a5aff6773de3b7bd9  Photo2.jpg
    b15b0d99bf8135286f444fc62bcf70278a89e60650252ab2bd3b6fffd40c4255  Photo3.jpg
    ...
    209732fbdb499f0cad6fd3311b45185667bbb40e501106997d3ac2c49cb30a7e  Photo999.jpg
    

    Строки 209732fbdb499f0cad6fd3...- это уникальные хеши ваших фотографий. Когда один фрагмент вашей фотографии станет испорченным, этот хэш будет заменен на другой, поэтому вы можете проверить хеш-значения в этом списке, чтобы убедиться, что ваши фотографии сохраняют целостность.

  • Во-вторых, все эти фотографии и этот файл SHA256SUM-хэшей загружаются, например, в Dropbox и куда-то еще.

Теперь у вас есть 5 копий ваших фотографий. 2 в автономном режиме, 2 в режиме онлайн, 1 на вашем текущем жестком диске.

Схема может быть развита к чему-то более устойчивому, конечно. Ваше воображение - ваш козырь.

backupemall
источник
-1

Я не могу исключить, что стандарты JPEG между вашей старой камерой и вашей последней программой просмотра изображений несколько разошлись, поэтому фотографии выглядят только испорченными. Иногда программное обеспечение соответствует только предварительной версии стандарта. Попробуйте старый просмотрщик (на старом компьютере).

Йерун ван Дуйн
источник
1
Я могу исключить это. Последнее обновление стандартов JPEG было в 2012 году. И действительно, фундаментальные обновления относятся к 1990-м годам. Там действительно нет смысла, где есть состояние "фотографии только выглядят испорченными". (Я имею в виду, все это звучит разумно, но это не соответствует реальной истории.)
Пожалуйста, прочитайте профиль