Почему датчики цифровой камеры не могут экспонировать каждый фотосайт индивидуально?

Почему датчики камеры не могут функционировать так, как может глаз человека? Я имею в виду, почему определенная часть изображения должна быть переэкспонирована / недоэкспонирована, если мы компенсируем темные и светлые области соответственно при съемке фотографии и выборе настроек диафрагмы и скорости затвора.

Я понимаю, что поступление света зависит от диафрагмы и скорости затвора, но, поскольку цифровые зеркальные фотокамеры являются цифровыми, не может быть технологии, которая позволила бы каждой ячейке датчика использовать свое собственное измерение, и поэтому все они не будут подвергаться одинаковому количеству света, но в зависимости от замера, процессор камеры будет отключать определенные ячейки, чтобы не переэкспонировать их.

Я надеюсь, что я не говорю ерунду. Это мне кажется правдоподобной идеей.

Кто решает, какие пиксели получают, сколько усиления? Многое из того, что происходит в зрительной системе человека, происходит в коре, а не в глазу, и зависит от того, что, на наш взгляд, важно видеть, основываясь на сочетании интеллектуального решения и (несколько переопределенного) инстинктивного стремления к самосохранению. , Хотя в одном смысле мы видим, что там, верно, в другом смысле верно и то, что мы видим то, что хотим (или должны) видеть.

Было бы почтитривиально создать датчик с относительно низкой плотностью пикселей с большими фотосайтами, которые обеспечивают огромный динамический диапазон и (при условии технологии типа ПЗС, поскольку нынешняя технология датчиков CMOS не может работать таким образом), электронный затвор на пиксель в дополнение к механический затвор. Так что же это даст тебе? Плоское изображение с большой битовой глубиной и очень низким локальным контрастом (если вся битовая глубина преобразуется как есть для отображения или печати) вместе с количеством пикселей, которые почти, но не совсем, обрезаются насыщением датчика ( хотя на самом деле они ограничены ограничивающим действием электронного затвора непосредственно перед точкой насыщения). Скажем, ради аргумента, что этот датчик и связанный с ним компьютер могли записывать данные отсечения (причина, по которой он прекратил запись на этом датчике, что может быть так же просто, как запись фактической продолжительности воздействия на этом сайте). Это позволило бы электронике камеры воссоздать, какими были бы цифры, если бы фотосайт оставался в игре до финального свистка. Так что теперь у нас получилось ровное плоское изображение с большей битовой глубиной. А где ты чертишь черту? 32 бита? 64?

Теперь самое сложное - превратить эти плоские данные изображения с высоким динамическим диапазоном в убедительную фотографию. Самый простой подход состоит в том, чтобы взять восемь бит (или любой другой выходной битовой глубины), которые представляют первичное измеренное изображение, и выбросить остальные. Вероятно, было бы не намного сложнее разместить данные в S-образной кривой, сжимая экстремальные тени и / или блики - что более или менее соответствует настройкам расширенного динамического диапазона на новых камерах. Но на пиксель доступно только очень много выходных битов, и большинство расширенных значений подсветки округляется до белого (или, по крайней мере, 254 и 255 микс). Таким образом, вы очень мало выиграли, значительно усложнив систему.

Но есть еще один открытый вариант - выборочное картирование области. Почему бы не снизить, скажем, небо или просто облака на этом небе, чтобы оно могло сохранять детали, сохраняя при этом желаемый контраст на переднем плане? Вот где живет трудная проблема. Что важно? Должна ли камера решать за вас? Если камера решит, то у нас есть большой прогресс в машинном зрении и искусственном интеллекте, чтобы добраться до первого. Если нет, то действительно ли вы хотите принимать этот уровень решения после съемки для каждого снимка? Да, я знаю, что будут фототехники, которые действительно хотят быть такими практичными, но можем ли мы признать, что это патологическое состояние, и что профессионалы, заинтересованные временем оборота, и подавляющее большинство потребителей не нравится это?

Таким образом, вам нужен новый датчик, значительно более сложная электроника вокруг датчика, огромный файл изображения для проецируемых необработанных данных (который требует больших карт и более длительного времени записи / более низкой частоты кадров), и все это для сбора данных, которые будут выброшены чаще всего. времени, чтобы вы могли время от времени снимать HDR-снимки с одним выстрелом, которые требуют большого вмешательства человека в пост (или огромный скачок в MV / AI). Возможно, вы могли бы продать некоторые из них, но я ожидаю, что рынок будет выглядеть намного больше, чем рынок среднего формата, чем существующий рынок 35 мм / APS-C. То есть вы продали бы избранной группе фотографов с хорошими каблуками, которые либо действительно нуждаются в способностях по профессиональным соображениям, либо для реализации своего изобразительного искусства, а также тем, кто просто получает достаточно большое удовольствие от постобработки, чтобы заплатить технологический налог.

Есть одна вещь, о которой упоминают лишь несколько человек, и это то, что сцена не будет выглядеть одинаково, если разные области будут по-разному подвергаться воздействию других областей. Сцена выглядит так, как есть, потому что есть вариации. Да, это может быть способ сохранения бликов и усиления теней, но в конце концов вам действительно нужен больший динамический диапазон, который может захватывать динамический диапазон в сцене с использованием одной настройки экспозиции.

Наши глаза великолепно предоставляют нам гораздо больший динамический диапазон, чем современные технологии потребительских камер. Я могу быстро осмотреться и одновременно увидеть четкие детали в затененных областях и ярких освещенных солнцем областях.

Один из способов, с помощью которого производители камер могут обойти эту проблему, заключается в использовании пикселей с высокой и низкой чувствительностью в одном датчике, а затем объединении результата на пиксель. Новые цифровые кинокамеры RED имеют матрицу пикселей с нормальной и низкой чувствительностью, называемую HDRx. Маленькие пиксели сенсора с низкой чувствительностью объединяются в блики ярких пикселей для увеличения динамического диапазона.

Во-первых, динамический диапазон человеческого глаза не так уж велик. Это только кажется лучше, чем наши современные камеры высокого класса, потому что наш мозг постоянно объединяет «снимки», сделанные с использованием различных настроек экспозиции. Наши глаза не могут регистрировать чрезвычайно яркие и чрезвычайно темные объекты одновременно (даже если мозг может). Настоящее чудо обработки изображений, но только посредственная оптика / устройство обработки изображений.

Существует несколько предложений / прототипов, показывающих, как можно значительно улучшить динамический диапазон датчиков изображения:

• Камера по модулю MIT

  каждый фотодиод сбрасывает свое состояние при достижении максимального заряда и запоминает, сколько раз это произошло

• Quanta Image Sensor от Эрика Фоссума

  использует гораздо меньшие и более быстрые пиксели с подсчетом фотонов вместо «аналоговых» контейнеров заряда + аналого-цифровые преобразователи

Вам не хватает некоторой базовой физики здесь. Основная проблема заключается в том, что реальные сцены имеют большие контрастные отношения. Наши глаза развились, чтобы справиться с этим, воспринимая уровни света логарифмически, а не линейно. К сожалению, современная технология датчиков измеряет свет линейно. Или, точнее говоря, шум фиксируется на линейной шкале освещения.

В современных технологиях максимальный предел контраста в основном зависит от уровня шума. В качестве аргумента давайте используем шкалу освещенности 0-1000, то есть датчик может сообщать вам уровень освещенности от 0 до 1000. Какое максимальное отношение он может измерить? Это зависит от уровня шума. Уровень шума - это, в основном, то, что вы получаете вместо настоящего черного, который в данном примере будет равен 0. Грубо говоря, если уровень шума равен 2, то вы получите соотношение яркости около 1000: 2 = 500: 1. До тех пор, пока сцена не превосходит это (хотя почти все будет, хотя в действительности 500: 1 не так уж много), вы можете делать любое логарифмическое отображение, которое захотите позже.

Таким образом, текущая стратегия, учитывая, что датчики тока по своей природе являются линейными, состоит в том, чтобы попытаться увеличить отношение сигнал / шум и предоставить достаточно битов, чтобы шум квантования был ниже собственного случайного шума. Чем меньше шум датчика, тем шире сцены динамического диапазона, которые вы можете снимать, не обрезая блики и не затуманивая тени.

Существует совершенно другая сенсорная технология, которая по сути измеряет лог яркости. Иногда их называют датчиками «CMOS», потому что они очень похожи на динамические ОЗУ CMOS со снятой крышкой (я упрощаю, но первый тест в лаборатории был на самом деле сделан именно так). Вы получаете напряжение, пропорциональное логарифму света, но в настоящее время они имеют гораздо более низкие отношения сигнал / шум. Mitsubishi был первым, кто начал коммерциализировать эти датчики, но они еще недостаточно хороши для камер высокого класса.

Нет никаких сомнений в том, что на нескольких фронтах будут достигнуты успехи, и я уверен, что мы будем наблюдать устойчивый прогресс в ближайшие годы. Однако есть веские причины, почему все так, как сейчас, а не только потому, что никто не может представить что-то лучшее. Если бы у кого-то была технология, которая могла бы точно измерять широкий динамический диапазон и по цене, за которую люди готовы платить, он бы там разбогател.

Я считаю, что это слишком сложно.

В принципе было бы два возможных подхода; либо каждый фотодатчик может отслеживать время и выключаться, либо ЦП может отслеживать данные с фотодатчиков и выключать их.

Для первого подхода это будет означать, что каждому фотодатчику потребуются тактовый сигнал и счетчик, чтобы он мог отслеживать, сколько времени прошло, пока он сам не отключился. Это намного больше схем, чтобы соответствовать чипу, и намного больше электричества, необходимого для его запуска, что увеличивает шум сигнала. Вероятно, настолько, что увеличение динамического диапазона было бы бессмысленным.

Для второго подхода CPU должен будет считывать все данные с датчика примерно раз в 1/10000 секунды. Это примерно в 1000 раз быстрее, чем может достичь нынешняя технология, так что это десятилетия в будущее, если это вообще возможно.

Кроме того, у такого решения есть и другие сложности, например, что каждый пиксель получит разное время экспозиции. Вы получите довольно странные артефакты, если сфотографируете все, что движется.

Хотя это правда, что цифровые зеркальные камеры, объективы нет. Все датчики ячейки будут подвергаться одной и той же апертуре, независимо от того, насколько умным будет корпус DSLR, поскольку диафрагма установлена ​​на объективе. Так что я думаю, что изменение диафрагмы на сенсорную ячейку отсутствует, по крайней мере, при использовании современной технологии линз.

Что касается скорости затвора, то она контролируется камерой, но если мы представим камеру, которая может изменять выдержку на разных участках изображения для управления избыточной / недостаточной экспозицией, вы получите неравномерное размытие в движении. Более темные части сцены должны быть экспонированы дольше и будут более размытыми, чем более яркие части. Я думаю, что решение, которое изменяет выдержку, не будет работать по этой причине.

Так что осталось только ISO. Изменение ISO будет означать разные уровни шума в разных частях изображения. Это звучит не так уж и плохо, учитывая, что вы получите взамен значительно увеличенный динамический диапазон. Я не знаю много о том, как работают датчики, но я бы предположил, что настройка ISO реализована в датчиках как своего рода «настройка» на определенный поднабор шкалы яркости. Мне кажется, что было бы непомерно дорого иметь независимые измерения и контроль ISO в каждой ячейке датчика, но, возможно, изображение можно разделить на области, и каждая область будет измеряться отдельно. Тогда у камеры должен быть какой-то алгоритм для смешивания различных экспонированных областей, что-то вроде того, что делает «enblend», когда собирает панораму, где каждое изображение имеет различную экспозицию. Это звучит выполнимо для меня.

Другим вариантом будет иметь камеру с несколькими датчиками, каждый из которых настроен на разные ISO. В видео технологии есть 3 CCD камеры, где каждая CCD записывает одну из красных, зеленых и синих. Я не понимаю, почему не может быть аналогичной концепции для зеркальных фотокамер, где несколько датчиков снимают изображение на разных уровнях ISO, создавая изображение HDR.

Я не могу найти информацию в данный момент, но, кажется, вспоминаю, что читал описание подобной технологии. Идея была примерно такой: единственное, о чем нужно позаботиться, - это раздутые блики. Если вы можете предотвратить это, темные участки можно позаботить, увеличив экспозицию всего изображения. Таким образом, чтобы предотвратить чрезмерное выделение света, каждый датчик будет отслеживать накопленный свет, и, если он приблизится к максимуму, датчик отключится. Это само по себе ничего не улучшит, это фактически усугубит ситуацию, вместо нескольких ярких белых раздутых бликов, в итоге получатся еще более темные блики. Таким образом, вместо того, чтобы просто отключить, ячейка также отключит ячейки в некотором районе, что сохранит некоторые детали в ярких областях.

Как я уже писал, я не могу найти текст сейчас, но почему-то он связан с цифровыми камерами HP.

Это можно сделать математически (теоретически): http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.64.9692&rep=rep1&type=pdf