Почему камеры не предлагают более 3 цветных каналов? (Или они?)

В настоящее время большинство (все?) Коммерчески доступных камер фиксируют свет в трех цветовых каналах: красном, зеленом и синем. Мне кажется, что было бы очень полезно иметь камеру с более широким спектральным диапазоном и разрешением, и поэтому мне интересно, почему недоступны камеры, которые снимают более трех цветовых каналов.

Что я имею в виду именно?

В комментариях было несколько запросов (так как они были удалены) о том, что я имел в виду, поэтому я хотел бы дать лучшее объяснение. Видимый свет колеблется от 390-700 нм. Между этими двумя конечными точками существует бесконечное количество длин волн, но глаз имеет очень ограниченную способность различать их, поскольку он имеет только три цветных фоторецептора. Кривые отклика для них показаны в части (а) рисунка ниже. ( Большая версия .) Это позволяет нам видеть разные цвета в зависимости от частоты света, поскольку низкочастотный свет будет оказывать большее влияние на синие рецепторы, а высокочастотный свет будет оказывать большее влияние на красные рецепторы.

Цифровой датчик в камере работает с фильтрами перед пикселями, и обычно есть три типа фильтров. Они выбираются с кривыми отклика, максимально приближенными к рисунку (а) выше, чтобы имитировать то, что видит человеческий глаз.

Однако с технической точки зрения нет причин, по которым мы не могли бы добавить четвертый тип фильтра, например, с пиком между синим и зеленым, как показано на рисунке (b). В следующем разделе я объясню, почему это было бы полезно для последующей обработки фотографий, даже если это не соответствует тому, что может видеть глаз.

Другой возможностью было бы добавить дополнительные каналы инфракрасного или ультрафиолетового излучения, как показано на рисунке (с), расширяя спектральный диапазон камеры. (Это, вероятно, будет более технически сложным.)

Наконец, третья возможность состоит в том, чтобы разделить частотный диапазон еще более точно, создав камеру с высоким спектральным разрешением. В этой версии обычные RGB-каналы должны были бы быть построены в программном обеспечении из более детализированных данных, которые выдает датчик.

Мой вопрос о том, почему зеркалки обычно не предлагают ни одного из этих вариантов, кроме (а), и есть ли доступные камеры, которые предлагают какие-либо другие. (Я спрашиваю о том, какую камеру вы бы использовали для съемки - я знаю, что есть научные инструменты, которые предлагают такие функции).

Почему это было бы полезно?

Я играл с редактированием черно-белых фотографий, с цветных снимков, сделанных моей DSLR. Я нахожу этот процесс интересным, потому что при редактировании черно-белой фотографии три канала RGB просто становятся источниками данных о сцене. Фактические цвета, которые они представляют, практически не имеют значения - синий канал полезен главным образом потому, что объекты на сцене различаются по количеству света, которое они отражают в этом диапазоне длин волн, и тому факту, что он соответствует тому, что человеческий глаз видит как «синий» гораздо менее актуален.

Наличие трех каналов дает большую гибкость в управлении экспозицией различных аспектов конечного черно-белого изображения. При этом мне пришло в голову, что четвертый цветовой канал даст еще большую гибкость, и поэтому я удивляюсь, почему такого не существует.

Дополнительные цветные каналы были бы полезны для цветной фотографии, а также для черно-белых изображений, и по той же причине. Вы бы просто создавали каждый из каналов RGB таким же образом, как вы сейчас строите черно-белое изображение, комбинируя данные из разных каналов, представляющих свет разных частотных диапазонов. Для большинства целей это будет сделано автоматически в программном обеспечении, но это даст гораздо большую гибкость с точки зрения параметров постобработки.

As a simple example of how this could be useful, we know that plants are very reflective in near-infrared. This fact is often used to generate striking special effects shots, in which plants appear to be bright white in colour. However, if you had the infra-red image as a fourth channel in your editing software it would be available for processing colour images, for example by changing the exposure of all the plants in the image, while leaving less IR-reflective objects alone.

В случае инфракрасного излучения я понимаю, что существуют физические причины, по которым трудно создать датчик, не чувствительный к ИК-излучению, поэтому перед цифровыми датчиками обычно имеется фильтр, блокирующий ИК-излучение. Но должна быть возможность сделать датчик с более высоким спектральным разрешением в видимом диапазоне, который позволил бы получить те же преимущества.

Кто-то может подумать, что эта функция будет менее полезна в эпоху цифровой обработки, но я на самом деле думаю, что сейчас это обернется. Пределы того, что вы можете делать в цифровом виде, определяются доступными данными, поэтому я мог бы предположить, что больший объем спектральных данных позволит использовать методы обработки, которые вообще не могут существовать без него.

Вопрос

Я хотел бы знать, почему эта функция не существует. Есть ли огромная техническая проблема при создании датчика с четырьмя или более цветными каналами, или же причина в большей степени связана с отсутствием спроса на такую ​​функцию? Существуют ли многоканальные датчики в качестве исследовательской работы? Или я просто не прав насчет того, насколько это было бы полезно?

В качестве альтернативы, если она существует (или существовала в прошлом), какие камеры предлагали ее и каковы ее основные области применения? (Я хотел бы видеть примеры изображений!)

Почему камеры не предлагают более 3 цветных каналов?

Производство стоит дороже (производство более одного вида чего-либо стоит дороже) и не дает почти никаких (рыночных) преимуществ по сравнению с Bayer CFA.

(Или они?)

Они сделали. Несколько камер, в том числе розничных, имели фильтры RGBW (RGB + White), RGBE (RGB + Emerald), CYGM (голубой желто-зеленый пурпурный) или CYYM (голубой желто-желтый пурпурный).

Мне кажется, что было бы очень полезно иметь камеру с более широким спектральным диапазоном и разрешением, и поэтому мне интересно, почему недоступны камеры, которые снимают более трех цветовых каналов.

Количество каналов не имеет прямого отношения к спектральному диапазону.

Есть ли огромная техническая проблема при создании датчика с четырьмя или более цветными каналами, или же причина в большей степени связана с отсутствием спроса на такую ​​функцию?

Отсутствие спроса является решающим фактором.

Кроме того, фильтры CYYM / CYGM вызывают увеличение цветового шума, потому что они требуют арифметических операций с большими коэффициентами во время преобразования. Разрешение яркости может быть лучше за счет цветового шума.

Существуют ли многоканальные датчики в качестве исследовательской работы? Или я просто не прав насчет того, насколько это было бы полезно?

Вы не правы в том, что спектральный диапазон будет больше с большим количеством каналов, вы правы в том, что четвертый канал предоставляет ряд интересных методов обработки как для цветных, так и для монотонных цветов.

В качестве альтернативы, если она существует (или существовала в прошлом), какие камеры предлагали ее и каковы ее основные области применения?

Sony F828 и Nikon 5700, например, они и некоторые другие доступны даже из вторых рук. Это камеры общего пользования.

Также интересно знать, что спектральный диапазон ограничен не только горячим зеркалом, присутствующим в большинстве камер, но и чувствительностью фотодиодов, составляющих датчик. Я не знаю, какой тип фотодиодов точно используется в потребительских камерах, но вот примерный график, который показывает ограничение полупроводников:

Что касается программного обеспечения, которое может быть использовано для извлечения четвертого канала: вероятно, dcrawно оно должно быть изменено и перекомпилировано для извлечения только одного канала.

Для F828 существует матрица 4x3, в dcraw.cкоторой используется четвертый канал. Вот идея: { 7924,-1910,-777,-8226,15459,2998,-1517,2199,6818,-7242,11401‌​‌​,3481 }- это матрица в линейной форме, наиболее вероятно, что каждое четвертое значение представляет Изумруд. Вы превращаете это в это: { 0,0,0,8191,0,0,0,0,0,0,0,0 }(я не знаю, какое число должно быть вместо 8191, придумайте догадки), перекомпилируйте, и выходное изображение получит Изумрудный канал после демозаики в красном канале (если я правильно понимаю источники).

Несколько заметок от этого давнего инженера оптических систем. Во-первых, существуют вещи, называемые «гиперспектральными» камерами, которые используют решетку или эквивалентную решетку, чтобы разбить входящий свет на десятки или даже пару сотен цветовых (длина волны) каналов. Они, как вы можете себе представить, не используются или полезны для создания цветных фотографий как таковых, но они отлично подходят для различения узкополосных спектральных линий, излучаемых или отражаемых, от конкретных материалов. геологи, например, используют их для определения месторождений полезных ископаемых с помощью гиперспектральной камеры, установленной в самолете.

Далее, существует огромная разница между цветами, создаваемыми каждой длиной волны (энергией фотонов), и цветами, которые воспринимают наши глаза. У нас есть три, или для некоторых счастливчиков, четыре разных конуса, каждый с разными кривыми спектрального отклика. Вы можете найти эти кривые по всей сети, включая первое изображение на этой странице Википедии. Далее, диапазон цветов / оттенков, которые мы воспринимаем, охватывает всю карту , в то время как цвета, создаваемые любой длиной волны одного фотона, образуют линию в области этой карты.

Любое количество экспериментов, в том числе несколько впечатляющих, проведенных Эдвином Лэндом, показали, что смешивание RGB достаточно, чтобы позволить глазу восстановить все возможные цвета зрения. (На самом деле, оказывается, что достаточно только двух цветов плюс представление другого в оттенках серого . Оптическая обработка в мозге действительно странная)

Датчики RGB камеры настолько популярны, потому что они воспроизводят человеческое зрение

Это то, что нужно большинству людей - делать фотографии, которые выглядят так, как мы видим.

Замена субпикселей RGB фильтрами разных типов для различения большего количества полос с лучшим спектральным разрешением будет работать, но:

• только для одной цели . Всем нужны примерно одинаковые RGB-фильтры для создания достойных фотографий, но существует неограниченное количество возможных спектральных диапазонов, которые могут быть кому-то полезны. Вы не можете сделать универсальную камеру таким образом.

• это уменьшило бы общую чувствительность датчика . Каждый данный подпиксель бесполезен для всего света, за исключением узкой полосы, которую он принимает. Больше фильтров = больше потраченного света.

Таким образом, вместо создания узкоспециализированных датчиков лучше иметь датчик без каких-либо встроенных фильтров и просто обмениваться фильтрами во время получения изображения. Таким образом, вся область датчика используется с каждым фильтром, а не только небольшая часть, имеющая соответствующий подпиксель.

В человеческом глазу три цветовых датчика. Их спектральные профили широки, и они перекрываются. Каждый из них посылает нервные сигналы в мозг, где входной сигнал интерпретируется как цвет. Комментарий в предыдущем ответе о странной обработке в мозге является правильным. В этом случае требуется только 3 стимула для данного цвета. Посмотрите статью в Википедии о цветовом зрении для более подробной информации.

Существовали также мультиспектральные камеры с дополнительными каналами для инфракрасного и ультрафиолетового света, но не как потребительский продукт.