Был бы полезен алгоритм демозаики для черного и белого?

11

Учитывая, что основной целью демозаики является максимально точное восстановление цвета, будет ли какое-либо преимущество для алгоритма демозаики "только для черно-белых"? То есть, вместо того, чтобы сначала восстанавливать цвет, а затем преобразовывать черный и белый, может быть лучше преобразовать файл RAW непосредственно в черный и белый?

Меня особенно интересует качество изображения (например, динамический диапазон и резкость). В связи с этим отметим, какие распространенные алгоритмы демозаики наиболее подходят для черно-белого преобразования?

Ларс Котхофф
источник
2
Цвет является неотъемлемым фактором изображения RAW, созданного с помощью датчика цвета Байера. Проблема преобразования его в оттенки серого состоит в том, что у вас есть только яркость для одного данного цвета в любом данном пикселе. На самом деле не имеет значения, если вы рассматриваете каждый пиксель как значение яркости или рассматриваете его как значение цвета, каждый пиксель представляет только приблизительно 1/3 от общей яркости, попавшей на пиксель во время экспонирования. «Демозаикация» действительно не нужна для изображений в градациях серого, однако для получения идеальных изображений в градациях серого вы бы хотели использовать датчик в градациях серого ... вообще без байера!
Йриста
1
Что касается того, какие алгоритмы демозаписи идеальны для черно-белого преобразования при использовании цветной камеры ... Я бы сказал, простейшая форма, ваша стандартная четырехугольная интерполяция. Многие другие более продвинутые алгоритмы демозаики разработаны для минимизации цветового муара и других связанных с цветом артефактов. Если все, что вас волнует, это черно-белое изображение, то стандартная интерполяция 2x2 пикселя сохранит большинство деталей.
Йриста
2
@jrista Я не уверен , почему наивная интерполяция сохранит больше деталей , чем одной из более продвинутых алгоритмов , которые пытаются различать яркость и интенсивность изменения. В любом случае цветные артефакты могут отображаться на черно-белых изображениях также в зависимости от того, как выполняется преобразование.
Мэтт Грум
1
Ну, я полагаю, что я основываюсь на AHDD, который смягчает детали. По крайней мере, реализация в Lightroom дает немного более мягкие результаты, чем алгоритм, используемый Canon DPP, который дает очень четкие, резкие результаты от более простого алгоритма демозаики (хотя я думаю, не так просто, как ваш основной 2x2.)
jrista
«Сравнение цветовых методов демозаиков» (Olivier Losson, Людовик Макер, Яньциньте Yang) переходит в много деталей на различных демозаиках алгоритмов. Это не просто вопрос декодирования цвета, тем лучше алгоритмы учитывают все из окружающей информации , чтобы получить лучшие результаты в каждом пикселе. Я не уверен, что выделенный декодер оттенков серого мог бы работать лучше.
Марк Ransom

Ответы:

8

Невозможно преобразовать файл RAW напрямую в черно-белый, не восстанавливая сначала цвет, если ваш преобразователь не использует только один из наборов пикселей R, G, B для создания изображения. Такой подход может привести к существенной потере разрешения.

Чтобы не потерять разрешение при преобразовании в черно-белое изображение, необходимо использовать все пиксели RG и B, что неявно означает, что необходимо выполнить вычисления цвета, после чего вы также можете использовать один из расширенных алгоритмов демосакции цвета, а затем преобразовать результат в черно-белом.

Мэтт Грум
источник
1
Половина разрешения без средневзвешенного значения четырех квадратов путем выделения одного цвета не была бы ожидаемым изображением в градациях серого, как это было бы подобно наложению зеленого, красного или синего фильтра на монохромную камеру. И философский вопрос: разделив каждую ось на 2, уменьшив число Mp на 4. Я бы назвал это половинным разрешением. Но вы, кажется, называете sqrt (2) на ось / 2 Mp count "половинное разрешение". Какое определение технически правильно? Если разрешение - это способность разрешать, то ширина / 2 и высота / 2 - это половина разрешения в 2D-системе, где вы хотите сохранить инвариантность вращения?
Майкл Нильсен
Расширение моего взгляда на разрешение. Я думаю, что Mp - это не разрешение, а маркетинговый номер фотографии. В качестве инженера по обработке изображений разрешение задается как w X h.
Майкл Нильсен
@MichaelNielsen Какое "ожидаемое изображение в оттенках серого"? Существует много различных способов преобразования в оттенки серого, в вопросе не указан подход с одинаковым взвешиванием. Во-вторых, если бы у вас был линейный детектор и вдвое уменьшилось число выборок, то разрешающая способность, т. Е. Максимальное количество детектируемых деталей, уменьшилось бы вдвое, вы бы не сказали, что он уменьшен с коэффициентом корня 2. Из этого следует, что если у вас есть 2D-поле детекторов (например, датчик изображения) и вы вдвое уменьшите число выборок в обоих направлениях, оставив вам одну четверть, вы скажете, что разрешение уменьшилось в 4 раза.
Мэтт Грум,
если вы уменьшите пополам только ось x или y, у вас будет разное разрешение в каждом направлении, что лишит вас возможности подсчитывать общее разрешение в единицах Mp и вычислять однофакторное «/ 2 разрешение». Ofc. Объективы также не имеют одинакового разрешения, но производители сенсоров с гордостью заявляют, что в настоящее время их пиксели являются квадратичными и квадратными, что дает одинаковое разрешение в обоих направлениях, что означает разрешение 640x = 480y. Посмотрите, как само число пикселей ничего не значит. разрешение 640 - это то же самое разрешение, что и 480.
Майкл Нильсен
2
Оттенки серого: я не сказал равный вес. И я знаю, что есть много разных версий в оттенках серого, но могу поспорить, что R, G или B не являются ожидаемыми ОП. Наиболее вероятный вариант - версия 0.11 * b + 0.59 * g + .3 * r.
Майкл Нильсен
8

Вам нужен алгоритм демозаики, даже если вы конвертируете изображение в черно-белое изображение.

Причина этого довольно проста - иначе вы можете получить субпиксельные артефакты повсюду. Вы должны понимать, что изображение, записанное датчиком, довольно грязное. Давайте посмотрим на образец из Википедии :

демозаики

А теперь представьте, что мы не делаем демосакцию и просто конвертируем RAW в оттенки серого:

полутоновой

Ну ... ты видишь черные дыры? Красные пиксели не регистрируют ничего на заднем плане.

Теперь, давайте сравним это с демосакцией изображения, преобразованной в шкалу серого (слева):

нормальный против сломанного

Вы в основном теряете детали, но также теряете много артефактов, которые делают изображение довольно невыносимым. Изображение, обходящее демозаики, также теряет много контраста из-за того, как выполняется черно-белое преобразование. Наконец, оттенки цветов, которые находятся между основными цветами, могут быть представлены довольно неожиданными способами, в то время как большие поверхности красного и синего будут в 3/4 пустыми.

Я знаю, что это упрощение, и вы можете стремиться создать простой алгоритм: более эффективный в преобразовании RAW в B & W, но я хочу сказать, что:

Вам нужно вычисленное цветное изображение для получения правильных оттенков серого на черно-белой фотографии.

Хороший способ сделать черно-белую фотографию - полностью удалить массив цветных фильтров - как это сделала Leica в Monochrom, - а не изменив преобразование RAW. В противном случае вы либо получите артефакты, либо ложные оттенки серого, либо уменьшите разрешение, либо все это.

Добавьте к этому тот факт, что преобразование RAW-> Bayer-> B & W дает вам гораздо больше возможностей для улучшения и редактирования изображения, и вы получили довольно отличное решение, которое может быть свергнуто только с помощью специальной конструкции сенсора. Вот почему вы не видите выделенных B & W RAW-конвертеров, которые не будут возвращаться к демозаицированию где-то в процессе.

MarcinWolny
источник
1

Камеры машинного зрения с байеровскими фильтрами могут напрямую выводить изображения в оттенках серого, но делают это путем демозаики, преобразования в YUV и отправки только V-канала (те, которые я обычно использую по крайней мере). Если бы у них был лучший способ, обходя эту реконструкцию цвета, я думаю, что они сделали бы, поскольку они постоянно увеличивают частоту кадров (типичная камера, которую я использую, работает, например, 100FPS).

Если бы это было не обращать внимания на цвет, основанный demosaicking он мог половину разрешения и средневзвешенный каждый 2х2 четырехъядерных, но если вы хотите полное разрешение, то лучше использовать обычный цвет demosaicking алгоритм, который пытается лучше сохранить края. Если мы знаем, что хотим использовать оттенки серого, мы просто с самого начала получим монохромную камеру, надев цветной фильтр, если мы ищем определенный цвет, так как эта настройка значительно превосходит качество изображения, уменьшая необходимость в избыточной дискретизации разрешения, что, в свою очередь, позволяет использование датчика быстро низким разрешением с более крупными пикселей, что в свою очередь дает еще лучшее изображение.

Майкл Нильсен
источник
Вы написали: «преобразование в YUV и отправка только V-канала» Конечно, вы имеете в виду отправку Y-канала, поскольку Y - это канал яркости.
TopCat
1

Эффект цветных фильтров на каждый пиксель а в слое Bayer является такими же, как стрельба B & W пленки с цветными фильтрами на объектив: он изменяет соотношение уровней серых различных цветов в сцене фотографирует. Чтобы получить точный уровень яркости для всех цветов в сцене, сигналы от каждого пикселя должны быть демозированы. Как уже упоминалось, датчик, без слоя Bayer даст монохромное изображение, что нет необходимости demosaiced. Это должно привести к лучшей резкости изображения, если круг путаницы от объектива равен или меньше ширины каждого пикселя.

С практической точки зрения, я заметил несколько вещей, конвертирование RAW файлов в монохромный режим с помощью компании Canon Digital Photo Professional (DPP).

  1. регулировка баланса белого может вызвать изменение в целом воспринимаются яркости таким же образом, что регулировка контрастности может. Также, это может использоваться, чтобы точно настроить контраст.
  2. Баланс белого также будет влиять на относительную яркость различных цветов в сцене. Это может быть использовано для тонкой настройки эффектов фильтра «Оранжевый», «Желтый», «Красный» и т. Д. Красный, кажется, больше всего затронут этим и на 2500K намного темнее, чем на 10000K. Удивительно, по крайней мере для меня, что синие тона не демонстрируют обратного.
  3. Поскольку для всех практических целей на черно-белой фотографии нет шума цветности, его можно оставить равным «0».
  4. Инструмент «Маска без резкости» даст гораздо больший контроль над резкостью, чем более простой слайдер «Резкость». Особенно, если у вас есть несколько «теплых» или «горячих» пикселей на изображении, вы можете увеличить общую резкость, не выделяя их.

Ниже представлены две версии одного и того же экспонированного снимка на Canon 7D с объективом EF 70-200 мм f / 2.8L IS II и телеконвертером Kenco C-AF 2X Teleplus Pro 300. Изображение было обрезано до 1000X1000 пикселей. Первый был преобразован с использованием настроек камеры, показанных ниже. Второй был отредактирован с настройками, показанными на снимке экрана. В дополнение к вкладке RAW была применена настройка шумоподавления 2, а также значение хроматической аберрации 99.

Луна - неотредактированный

Информация о камере

Луна - отредактировано

настройки

Майкл С
источник
0

Я бы предложил алгоритм, подобный такому (предполагается, что ваша цель белая и имеет постоянную цветовую температуру):

  • Демозайк RAW Байер в RGB
  • Цвет вниз до оттенков серого
  • Создайте LUT между необработанными значениями Байера и значениями в градациях серого (это необходимо выполнить один раз для цветовой плоскости RGGB или RGB)
  • Используйте LUT для каждого цветового фильтра, чтобы преобразовать RAW Bayer непосредственно в оттенки серого без межпиксельной фильтрации

Теоретически это приблизило бы к результатам настоящего монохромного датчика.

Эллиот Вудс
источник