Почему камеры не записывают световые данные по всему затвору?

Извините, если название вопроса вводит в заблуждение, я не знаю, как лучше это сформулировать, поэтому смело меняйте его, если сможете придумать что-нибудь получше. Я узнал, что электронные затворы могут захватывать изображение сразу, вместо того чтобы использовать механический затвор, который использует занавес. Это дало мне идею. Допустим, данный снимок будет правильно экспонирован с интервалом 1/200 с, но динамический диапазон изображения слишком широк, чтобы камера могла сделать снимок.

Почему камера с электронным затвором может непрерывно снимать и записывать световые данные с изображения на протяжении всего времени затвора вместо того, чтобы просто собирать световые данные и, наконец, сохранять их как одно изображение? Это все равно, что видеть комнату, начинающуюся с темноты и постепенно увеличивающуюся в яркости. Затем камера сможет захватывать весь динамический диапазон изображения и компилировать данные в изображение со всем динамическим диапазоном всего за одну фотографию, вместо того, чтобы требовать многократных экспозиций для HDR. Это позволит также для регулировки экспозиции в постобработки без какой - либо потери информации , так как камера хранит свет данные из всего диапазона экспозиций. Почему эта идея в настоящее время не реализуется?

Это было сделано в рентгеновских лучах.

TimePix является 256x256 детектора. Имеет три режима работы :

• обычная «полная энергия в этом пикселе с тех пор, как мы начали интегрирование»;
• Time-over-Threshold (TOT): обнаруженная высота импульса записывается в счетчик пикселей в режиме TOT; и
• Время прибытия (TOA): режим TOA измеряет время между триггером и приходом излучения в каждый пиксель.

Эта технология была адаптирована для оптической визуализации . Режим TOT лучше всего описывается как действующий как АЦП Уилкинсона - показания соответствуют общему времени, когда накопленный заряд находится на или выше порогового значения. Вычитание этого из времени затвора говорит вам, сколько времени потребовалось для насыщения этого пикселя. Таким образом, для каждого пикселя вы можете нарисовать линию от 0 до насыщения с течением времени с момента открытия затвора. Таким образом, вы можете выбрать любое необходимое время виртуального затвора (при условии, что все пиксели насыщены) и использовать линию каждого пикселя, чтобы оценить его накопленный свет до того времени виртуального затвора.

Более прямая реализация вашей идеи была сделана в CMOS. Каждый пиксель записывает и сообщает о времени достижения порогового заряда. (Вместо того, чтобы АЦП пиксели, которые не насыщаются во времени, порог сметается, поэтому каждый пиксель в конечном итоге превышает достаточно сниженный порог.)

Напомню, что Pixim Digital Pixel System ( пример ) также делала это, используя АЦП на пиксель и не разрушительно считывая накопленный заряд несколько раз (чтобы получить наклон накопления). Но я не могу найти текущих подтверждающих доказательств.

Вы упускаете некоторые очевидные проблемы с этой идеей.

Вы хотите «непрерывно» фиксировать светлые данные, но это уже делается.

По-видимому, вы имеете в виду серию изображений, доступных после экспозиции, каждое из которых экспонируется от начала до времени, продвигающегося в течение всей экспозиции. Более поздние изображения будут иметь больше деталей в затененных областях, но могут иметь обрезанные яркие области. Прошивка камеры может затем собрать одно изображение с большим динамическим диапазоном, чем любое из отдельных изображений.

Две вопиющие проблемы с этим:

• как быстро прочитать все миллионы пикселей, и
• где поставить результаты.

Технология не доступна сегодня, чтобы сделать это.

Вы предлагаете «Или каждый раз, когда фотон попадает в пиксель на сенсоре, указывайте ему временную метку» - это будет огромный объем данных. Быстрый поиск показывает, что каждый пиксель - или сенсор - в цифровой камере насыщается где-то между 20 000 и 100 000 фотонов. Допустим, мы довольны 12-мегапиксельной камерой и в порядке с нижней стороной чувствительности. Это все еще четверть триллиона точек данных. Если мы говорим о 50-мегапиксельной камере с большим динамическим диапазоном, может быть, пять триллионов . Даже если мы сделаем наши временные метки просто двумя байтами в каждом (один байт дает только 256 значений, так что вряд ли этого будет достаточно, чтобы все это оправдало себя), это ... много данных для одного изображения. Я имею в виду, буквально терабайты.

Это явно в настоящее время неосуществимо с точки зрения конвейера данных с современными технологиями, не говоря уже о том, чтобы поместить его куда-нибудь .

То, что вы просите, непрерывная выборка света, теоретически возможно, но практически слишком дорого. Может быть возможно приблизить это с очень высокой частотой дискретизации. Это можно сделать с помощью высокоскоростной видеокамеры с очень высокой частотой кадров. Затем выходные данные могут быть обработаны для создания изображения.

Быстрый поиск показывает достаточно, как этот Призрак

Эти вещи работают благодаря наличию быстрых датчиков и способности перемещать и хранить огромные объемы данных. Попытка непрерывной выборки или достаточно высокая частота выборки, чтобы она выглядела непрерывной, увеличивает эту проблему и стоимость.

Электронный затвор уже на шаг вперед. Теперь мы можем взять все пиксели одновременно, а затем сказать им, чтобы они прекратили собирать (т.е. отбирать каждый пиксель) и последовательно измерять информацию для каждого цвета каждого пикселя, собирая данные об изображении, которое было снято одновременно.

Это не было так.

Мы все еще должны сделать несколько хаков для HDR-декораций, хотя, однако, это не так плохо, как раньше, опять же из-за достижений в сенсорной технологии. Теперь у нас повышенная чувствительность сенсора и динамический диапазон, поэтому фотография, которая раньше требовала двухстороннего снимка и последующей обработки, теперь может быть захвачена в камеру, поскольку сенсор может измерять как максимумы, так и минимумы определенных изображений. Фактически, датчики стали настолько хорошими, что вы редко будете сталкиваться с ситуацией, когда для получения полного динамического диапазона требуется более трех снимков в скобках. Старые датчики могли потребовать 5 или более снимков в скобках.

Ваша идея, насколько я понимаю, требует непрерывного измерения для каждого пикселя.

Хотя это отличная идея, реализация остается проблемой. Камеры предназначены для последовательной потоковой передачи данных с датчика. Для каждого пикселя процессора нет строки, вместо этого датчик изображения имеет логику, которая позволяет процессору считывать значение для пикселя или множества пикселей одновременно, но не все сразу. Это должно пройти через все пиксели, и это занимает время.

Мы не можем преодолеть это, потому что мы не сможем проложить 50 миллионов проводов между датчиком и процессором. Мы могли бы интегрировать больше обработки в датчик, но датчик специализирован, чтобы делать одну вещь и делать это хорошо. Добавление цифровых схем приведет к увеличению шума и, возможно, уменьшению пикселей, даже если используются трехмерные ИС. Кроме того, процессы, используемые для создания хорошего светочувствительного кремния, отличаются от тех, которые используются для создания хорошего, маломощного, быстродействующего цифрового кремния.

Все эти вещи являются препятствиями, однако для некоторых специализированных приложений они уже используются. Обычно в научно-производственной сфере.

Но это не значит, что мы остались в дураках. По мере улучшения датчиков, особенно в динамическом диапазоне, вы обнаружите, что в конечном итоге вы получите «HDR» в камере без скоб - датчики просто будут достаточно чувствительными, чтобы получить полный диапазон, а линзы и корпус камеры будут хорошими Достаточно, чтобы предотвратить кровотечение, отражение и другие проблемы, которые мешают сенсору полностью раскрыть свои возможности.

Так что, хотя идея не плохая, она сложная, дорогая, и у нас еще есть возможности для роста в других невероятных областях, так что ваш метод может даже не стать необходимым.

Реальный ответ - цена. Если вы готовы заплатить в 10-100 раз больше за свою камеру, вы можете приобрести действительно красивые датчики.

Желаемый результат, который вы описываете, - это более высокий динамический диапазон для каждого пикселя. Есть несколько способов сделать это. Очевидный способ - получить лучший датчик АЦП и КМОП, но это стоит денег и не в духе того, о чем вы думаете. Следующим подходом было бы отсосать заряд в непрерывном процессе, по аналогу. Это позволит вам получить непрерывную функцию, описывающую количество фотонов, попадающих на пиксель. Однако подобного рода аналоговое оборудование чрезвычайно сложно. В вашей камере все пиксельные данные проходят через довольно небольшое количество АЦП. Отчасти красота наших датчиков заключается в том, как они могут это делать, производя более дешевое оборудование в сотни раз. Чтобы сделать это постоянно, требуется, чтобы каждый пиксель имел необычайно хорошо настроенное аналоговое оборудование.

Что подводит нас к подходу цифровой выборки. Вы упомянули идею сбора данных каждые 1/1000 секунды, что говорит о том, что вы на самом деле не думали о непрерывном процессе, а о том, что процесс выборки, где вы получаете много точек данных для тонких временных отрезков и сшивает их вместе. Как упоминалось в других ответах, HDR + на некоторых телефонах делает именно это. Он быстро делает несколько фотографий и смешивает их, чтобы получить эффект HDR. Для этого они, очевидно, имеют гораздо более высокую пропускную способность АЦП, чем нужно для одного изображения, но им не потребуется столько, сколько потребуется для обработки каждого пикселя непрерывно.

Судя по звуку, вы хотите, чтобы каждый пиксель делал это время самостоятельно. Чтобы сделать это, нам сначала нужно было бы заняться трехмерной интегральной схемой. Вам не нужно, чтобы какое-либо оборудование каждого пикселя занимало место на поверхности датчика, или у вас возникнут проблемы с наличием слишком малого количества пикселей или потерей света, когда он падает на части датчика, не относящиеся к датчику. Единственный способ сделать это - создать 3D-чип. Это действительно технология будущего. Мы начинаем изучать, как это сделать, но это не так просто. Если у вас есть сотни тысяч долларов, чтобы сэкономить на вашей камере, мы можем сделать это.

В конце концов, звучит так, будто вы хотите, чтобы на выходе каждого пикселя было «число с плавающей запятой», а не «целое число». То есть каждый пиксель будет иметь значение для количества попаданий фотонов и показатель степени, который в основном говорит, на сколько умножить это значение, чтобы получить фактическое количество фотонов. Поскольку пиксель выставлен, он будет производить выборку с очень высокой частотой (возможно, 5000 Гц), и если число фотонов становится слишком большим, он выбирает большую экспоненту.

Теперь реальный вопрос в том, какую выгоду вы получите от этого? Помните, что подход HDR + является современной технологией, для мобильных телефонов на сотни долларов. Вы говорите об использовании ультрасовременной технологии с гораздо более жесткими допусками, чем любая другая камера. Это будет стоить. Что он тебе купил? Что на самом деле покупали эти однопиксельные устройства во время срабатывания затвора, чего не дала дешевая технология CMOS, которую продвигает Google? Ответ не очень. Может быть несколько крошечных угловых случаев, когда это предпочтительный подход, но с ценой, значительно превышающим существующую технологию, это коммерческий стартер.

Нечто очень похожее реализуется. Он по-прежнему работает с разными кадрами, потому что есть существенные преимущества цифрового, а не аналогового подхода. Но подходы существуют с временным разрешением в пико-секундах.

https://www.ted.com/talks/ramesh_raskar_a_camera_that_takes_one_trillion_frames_per_second

Почему камера с электронным затвором может непрерывно снимать и записывать световые данные с изображения на протяжении всего времени затвора вместо того, чтобы просто собирать световые данные и, наконец, сохранять их как одно изображение?

Я думаю, что вы действительно предлагаете здесь описать изображение не с точки зрения «сколько света было собрано за всю экспозицию?» а скорее "насколько яркой была сцена в каждой точке?" Это отличная мысль, и я могу придумать несколько способов сделать это, но их объединяет то, что они увеличивают сложность датчика.

Производители камер уже давно работают над созданием большего количества пикселей, и я предполагаю, что поддержание структуры каждого отдельного пикселя простым в этом помогает. Теперь, когда в зеркальных фотокамерах обычно используются датчики с числом пикселей от 20 до 50 миллионов, возможно, мы увидим, что они работают вместо создания лучших пикселей. Мы уже видим это в некотором смысле - двухпиксельный автофокус - один из примеров. И, безусловно, есть компании, работающие над созданием датчиков, которые обеспечивают больший динамический диапазон , меньше шума и т. Д.

Короче говоря, я думаю, что, скорее всего, мы увидим что-то в соответствии с тем, что вы предложили в будущем, даже если это не сработает так, и причина, по которой мы уже не там, вероятно, заключается в том другие цели, такие как увеличение плотности пикселей, были более приоритетными в прошлом.

Это можно сделать несколько другим способом. Вместо одного снимка вы берете несколько кадров с разным временем экспозиции. Затем вы складываете изображения, чтобы получить какое-то среднее значение в зависимости от алгоритма, который вы используете для укладки.

Например, с недавним полным солнечным затмением количество видимой невооруженным глазом короны было намного больше, чем то, которое показывало бы любое время экспозиции для камеры. Это потому, что глаз имеет логарифмический динамический диапазон, тогда как глаз имеет линейный динамический диапазон. Таким образом, при суммировании различных времен экспозиции вы можете намного лучше приблизить на изображении то, что видели наблюдатели на глаз.

Режимы Olympus Live Bulb и Live Time идут в направлении, которое вы описываете.

Из руководства OM-D E-M5 :

Для просмотра хода экспозиции во время съемки выберите интервал отображения для [Live BULB] (стр. 89) или [Live TIME] (стр. 89).

Вот видео . Обратите внимание, что вы получаете только одну экспозицию в конце, даже если вы видите несколько из них во время процесса. Пиксели сенсора заботятся только об общем количестве фотонов, которые они получили во время экспозиции, они не знают, когда и в каком порядке эти фотоны попали на сенсор.

У вас правильная идея. Sony, по сути, что-то делает для этого в RX100M5 и других камерах, которые обладают функцией, которую они называют D-Range Optimizer - анализируя сцену, корректируя и компенсируя проблемные зоны.

Функция D-Range Optimizer мгновенно анализирует данные снятого изображения и автоматически корректирует оптимальную экспозицию и воспроизведение тона. Часто при съемке сцен с подсветкой лицо объекта или другие области в тени кажутся на фотографии темнее, чем человеческому глазу. Функция D-Range Optimizer различает различные условия для сфотографированных сцен, автоматически корректирует гамма-кривую, уровень экспозиции и другие параметры, чтобы удалить участки, которые темнее, чем они могут показаться человеческому глазу.

Функция оптимизатора D-диапазона также содержит стандартный режим, который равномерно регулирует все изображение (эффективно для коррекции таких аспектов, как экспозиция), и расширенный режим, который автоматически корректирует области внутри композиции. Используя расширенный режим, фотограф может получить четкое изображение, на котором и объект, и фон изображаются с соответствующей яркостью, даже если между этими двумя значениями имеется большая разница.

источник: https://sony-paa-pa-en-web--paa.custhelp.com/app/answers/detail/a_id/26259/~/what-is-the-function-of-d-range-optimizer % 3F