Почему камеры не фиксируют динамический диапазон, как это делают наши глаза?

Когда я сижу в комнате, где нет света, и смотрю в окно, я могу легко увидеть интерьер комнаты, даже если сфокусируюсь на дереве снаружи.

Почему камера не может сделать изображение, похожее на то, что видят мои глаза? Я думаю, что новые камеры должны легко захватывать этот большой динамический диапазон. Я не верю, что отображение является проблемой, если этот большой динамический диапазон захвачен, потому что его можно нормализовать В цифровой камере я должен установить экспозицию, которая будет правильно захватывать только внешнюю или внутреннюю сцену.

Это проблема только с цифровыми камерами или же у пленочных?

Подобный вопрос уже обсуждается здесь. Как запечатлеть сцену именно так, как видят мои глаза? , Я не говорю о разрешении, фокусировке или деталях. Я заинтересован в экспозиции или динамическом диапазоне, подобном тому, когда мы смотрим на одну сцену.

Причина, по которой вы видите такой большой динамический диапазон, заключается не в том, что глаз, как оптическое устройство, может фактически захватывать такой диапазон - причина в том, что ваш мозг может комбинировать информацию от множества и множества «воздействий» от глаз и создать HDR панораму сцены перед вами.

Глаз довольно плох с точки зрения качества изображения, но он имеет очень высокую «частоту кадров» и может очень быстро изменять чувствительность, направление и фокусировку.

Мозг берет все эти изображения из глаз и создает изображение, которое, как вы думаете, вы видите - это включает в себя детали изображений с различной чувствительностью и даже детали, которые полностью составлены на основе того, что вы ожидали увидеть. (Это одна из причин, по которой существуют оптические иллюзии - мозг можно обмануть, чтобы «увидеть» вещи, которых на самом деле нет).

Таким образом, вы можете смотреть с помощью камеры, как на глаз, просто сделать много снимков с различными настройками, затем загрузить все в Photoshop, создать HDR-панораму и использовать «наполнение с учетом содержимого», чтобы заполнить пробелы.

Кстати, почему камеры «должны» иметь возможность снимать этот диапазон, а мониторы не должны воспроизводить его? Если технологии, которых не существует, должны существовать, то мониторы должны воспроизводить все, что мы видим (и я должен быть в состоянии провести отпуск в отеле с низкой гравитацией на Луне)

У вас может быть небольшое преимущество в динамическом диапазоне сенсора по сравнению с камерой, но большая часть того, что имеет значение, заключается в наличии сложной системы автоэкспозиции, саккад , обработки HDR и системы распознавания сцен, которая сохраняется при многократных экспозициях . Человеческий мозг по крайней мере так же важен для зрительной системы, как и глаз .

Представленная сцена с очень высоким динамическим диапазоном, человеческая зрительная система требует некоторого времени для адаптации. Это не потому, что мы должны регулировать настройку динамического диапазона, а потому, что нам нужно анализировать очень яркие и очень темные части сцены по отдельности, а затем склеивать важные части изображения вместе. Очень много того, что мы «видим», на самом деле зависит от того, что мы уже знаем, что там; мы можем использовать очень мало признаков реальной детализации, чтобы заполнить пробелы (и когда нам не хватает реальной информации, мы можем интерполировать - но не всегда правильно ).

Получение камеры - любой камеры - для работы на этом уровне будет означать разработку системы, которая «знает», на что она смотрит. Мы уже можем сделать «тупую» версию этого, используя различные методы HDR (в вашем конкретном примере, обычно с помощью простой маскировки, когда дверной проем будет вырезан из-за воздействия темноты и версии из-за яркой выдержки, вставленной на его место). Текущие автоматизированные процессы основаны исключительно на яркости (так как они не могут анализировать значение или важность) и имеют тенденцию производить очевидные артефакты, И если вы когда-либо видели необработанное 32-битное HDR-комбинированное изображение, которое еще не было отображено в тональном режиме (что, по сути, является той вещью, которую вы получите исключительно за счет увеличения динамического диапазона датчика), вы, вероятно, заметили что изображение очень «плоское» и лишено как локального, так и глобального контраста. Это знание того, что это за сцена, которая позволяет нам делать отображение, чтобы решить, где контраст локально важен. Пока камера не сможет принимать такие же решения, она не сможет создать изображение, которое будет похоже на то, что видит ваш мозг.

Это связано с тем, как мозг интерпретирует информацию, предоставляемую глазами (или, другими словами, это программное обеспечение, а не аппаратное обеспечение).

Мы видим только цвет и детали в очень узком поле в центре нашего зрения. Чтобы создать детализированное красочное изображение, которое мы воспринимаем, мозг перемещает это центральное место без нашего ведома.

Я не нейробиолог, но само собой разумеется, что, поскольку мозг формирует эту более широкую картинку из множества крошечных снимков, он также выполняет некоторую нормализацию яркости, получая изображение, которое везде выглядит примерно одинаково ярким, несмотря на то, что некоторые области сильно ярче в реальности. По сути, способность видеть темные и яркие вещи одновременно является иллюзией.

Нет причин, по которым это поведение не может быть имитировано цифровыми камерами, и нет причин, по которым мы не можем сделать датчики, способные к гораздо большему динамическому диапазону за одну экспозицию. На самом деле Fuji изготовила сенсор с очень низкой чувствительностью для фотосъемки, чтобы запечатлеть дополнительные детали.

Проблема заключается в невозможности отображения изображений с большим динамическим диапазоном. Чтобы отображать такие изображения на стандартном мониторе с низким динамическим диапазоном, вам необходимо выполнить некоторую специальную обработку, называемую тональным отображением, которая имеет свои недостатки. Большинству потребителей камеры с большим динамическим диапазоном просто доставят больше хлопот.

Резюме:

• Бог создал наши глаза.

• Мы делаем камеры.

• Мы еще не догнали Бога.

• НО лучшая доступная камера соответствует требованиям, которые вы описываете.

• Есть способы достижения того, что вы хотите. Вы просто решили определить их как не то, что вы хотите. Это твой выбор.

Уровень освещенности в затемненной комнате с окном, открытым для наружной сцены, может составлять всего около 0,1 люкс (0,1 люмен на квадратный метр). Уровень освещенности внешней сцены может составлять от 10 до тысяч люкс в описываемой вами ситуации.

При внешнем 100 люкс и внутреннем 0,1 люкс это соотношение составляет 1000: 1 или чуть менее 10 бит динамического диапазона. Многие современные камеры могут различать тональные различия на обоих концах этого диапазона, установленного правильно. Если бы уровень света дерева просто насыщал датчик, то у вас было бы около 4 битов уровня в комнате = 16 уровней освещения. таким образом, вы могли бы видеть некоторую степень детализации с самым ярким уровнем, за исключением того, что уровень света настолько низок, что глаза будут иметь проблемы с ним.

Если бы уровень освещенности дерева составлял 1000 люкс (= 1% полного солнечного света), вам понадобилось бы около 13 бит динамического диапазона. С этим справятся самые лучшие 35-мм полнокадровые камеры. Регулировка камеры должна быть точной, и вы будете иметь около нулевой тональной информации в комнате. Этот уровень внешнего освещения выше, чем в других условиях, кроме освещенной в ночное время.

Многие современные средние и верхние зеркалки имеют встроенную обработку HDR, которая позволяет получить гораздо большие динамические диапазоны за счет объединения нескольких изображений. Даже фотография HDR с 2 изображениями легко приспособится к вашей сцене. Мой Sony A77 предлагает HDR до +/- 6 EV 3 кадра. Это даст более 20 бит динамического диапазона - в вашем примере это будет очень адекватное изменение тона в верхнем и нижнем концах.

Проблема только в цифровых камерах или в пленочных?

Ни один из ответов еще не коснулся этого, по крайней мере, напрямую ... да, это тоже очень большая проблема с фильмом. Например, знаменитая цветная прозрачная пленка Fuji Velvia имеет по-настоящему гнилой динамический диапазон (хотя и великолепный цвет!). В общем, прозрачная пленка страдает от этого. С другой стороны, негативные пленки могут иметь очень хороший динамический диапазон, примерно такой же, как лучшие современные цифровые камеры. Однако он обрабатывается немного по-другому - хотя у цифрового линейный отклик на свет, пленка имеет встроенную контрастную кривую с маркировкой «S». Черные и почти черные, а белые и почти белые сгруппированы больше, чем средние тона.

Имейте в виду, что, поскольку фотографии на пленках, как правило, печатаются чернилами на фоне белой бумаги, существует не слишком щедрое ограничение на то, какой динамический диапазон можно было бы сначала запечатлеть! Взять, скажем, динамический диапазон в тридцать ступеней, а затем вывести его на ... что такое приблизительный DR фотографического отпечатка? Пять остановок? Шесть? ... выходной носитель будет выглядеть ... странно, если не сказать больше. Я подозреваю, что именно этот фактор больше, чем любые непреодолимые препятствия с химией, которая ограничивает динамический диапазон фотопленки. Это не так, что мы не можем этого сделать, скорее мы активно не хотим этого делать.

Достаточно материала, чтобы заполнить книгу - но суть в том, что человеческие глаза видят яркость логарифмически, а камеры «видят» яркость линейно.

Поэтому, если вы принимаете условие, когда яркость изменяется от 1 до 10000 (случайно выбранное число), в базе 10 журналов человеческий глаз будет видеть яркость от 0 до 5, в то время как камера линейно воспринимает ее как от 1 до 10000. Построение датчик, который может покрывать такой большой диапазон, сложен, так как у вас есть шум, мешающий низким измерениям, и переполнение, мешающее измерениям с более высокой яркостью. Сказав это, я считаю, что есть КРАСНАЯ камера, которая может записывать 18 ступеней динамического диапазона - хотя я не уверен, что это только прототип или серийная модель.

Между прочим, логарифмическая и линейная разница также объясняет, почему яркость удваивается или уменьшается вдвое на одну остановку.

Но этого достаточно для темы исследования - так что это всего лишь краткий указатель.

Глаз не захватывает динамический диапазон. Он сжимает динамический диапазон, и тогда «постобработка» в мозге создает иллюзию динамического диапазона. Сжатый динамический диапазон - вот почему вы можете одновременно видеть тени и освещенные области. Так сказать, «усиление» автоматически запускается в тех частях сетчатки, которые чувствуют тени, делают их ярче и уменьшаются там, где сетчатка видит освещенные участки. Мозг все еще знает, что он смотрит в тень, поэтому он создает ощущение, что там темно. Происходит своего рода расширение сжатых данных, так что вы не знаете, что динамический диапазон был сжат.

Датчики в цифровых камерах могут легко превзойти сетчатку в необработанном динамическом диапазоне. Проблема в том, что вы не контролируете экспозицию для каждой области. Камеры имеют настройки усиления (обычно представленные в терминологии фильма как настройки ISO), которые являются глобальными.

То, что делает глаз, так сказать, похоже на использование «ISO 100» для светлой области и «ISO 800» для темной области одновременно.

Если бы камера могла регулировать усиление для определенных областей пикселей на основе яркости, это, несомненно, было бы полезно, но мы знаем из применения таких эффектов выравнивания усиления в постобработке, что мозг на самом деле не обманывает их. Это не выглядит естественно. Это выглядит естественно только тогда, когда ваш собственный глаз делает это в координации с вашим собственным мозгом.

Это своего рода интересный вопрос, если вы даете ему шанс вместо того, чтобы приводить очевидные причины того, почему камеры уже созданы такими, какими они были сделаны.

Давайте рассмотрим ближайший вариант. Tone Mapping - это метод, в котором фильтр нижних частот применяется к значениям экспоненты изображения RGBe. Это играет большую роль в том, как глаза видят что-то. Но давайте посмотрим, что наши глаза принимают длинные образы. Они работают больше как видеокамеры, чем фотоаппараты.

Тональное отображение можно было бы значительно улучшить, если бы оно было построено как шейдер GLSL, который работал в режиме реального времени со специальной видеокамерой, которая могла бы захватывать постоянный поток изображений HDR.

В гораздо более упрощенном примере фотографии «HDR» на iPhone представляют собой композиции изображения с низкой и высокой экспозицией, проходящего через процесс тонального отображения, который работает довольно хорошо, если вы его еще не пробовали. Многие другие потребительские камеры делают подобные вещи.

Существует также захватывающая тема того, как интуиция / намерение / свободная воля играют в то, как ваши глаза калибруются в потоке времени. Если вы смотрите на темную стену и думаете о том, чтобы повернуть голову к ярко освещенному окну, ваш мозг может сказать своим глазам идти вперед и начать закрывать зрачки. Камера с автоматической экспозицией может делать то же самое, но только после того, как в нее попадает слишком много света. Люди, которые работают в кино, тратят много времени на то, чтобы настройки параметров видеокамеры плавно проходили так, чтобы они чувствовали себя естественно в сложном кадре. (или освещение сцены таким образом, что настройки камеры на самом деле не нужно настраивать) Но, опять же, единственная причина, по которой эти виды работ работают, это то, что режиссер знает, что должно произойти с камерой, прежде чем это произойдет.

Самой большой проблемой было бы воспроизведение захваченного изображения.

Это не выходит за рамки технологий, чтобы создать датчик изображения и конфигурацию, которая будет захватывать чрезвычайно широкий диапазон уровней яркости в одном изображении. В конце концов, это просто вопрос подсчета фотонов, который является технологией, которая масштабируется до необходимых уровней. Современные камеры в основном используют настройки экспозиции для модуляции величины яркости, которую видит датчик, хотя большую часть этой работы можно выполнить в датчике, возможно, это приведет к большему шуму ошибки, но вы, безусловно, можете получить более широкий диапазон из фотодатчика, чем что в настоящее время доступно на рынке.

Но проблема в том, что если у вас есть эта фотография, что вы с ней делаете ? Даже высококачественные дисплеи по-прежнему используют 24-битный цвет, то есть разрешено только 256 оттенков на цветовой канал. Текущие принтеры так же ограничены, если не больше. Так что на самом деле ничего нельзя сделать с таким изображением без некоторой предварительной обработки, чтобы уменьшить диапазон до того, что производят существующие камеры.

Возможно, вы уже сталкивались с этой проблемой раньше: большинство современных форматов RAW уже хранят более широкий диапазон, чем может быть воспроизведено, а диапазон цветов уже должен быть сжат или обрезан, прежде чем вы сможете посмотреть на изображение. Добавление еще большего диапазона к выходу RAW будет просто таким же. Камера, вероятно, будет значительно дороже, но снимки не будут значительно лучше, потому что вам все равно придется уменьшить диапазон до 24-битного цвета, прежде чем вы сможете на него смотреть.

Тем не менее, возможно, с правильным программным обеспечением и подходящим типом пользователя, вы сможете получить что-то замечательное из этого. Вероятно, это будет не очень похоже на современную HDR-фотографию, но вам не придется снимать несколько изображений.