Почему физический фильтр сглаживания все еще необходим на современных зеркальных фотокамерах?

13

Я понимаю, что цель фильтра сглаживания (AA) - предотвратить появление муара. Когда впервые появились цифровые камеры, фильтр АА был необходим для создания достаточного размытия, чтобы предотвратить появление муаров. В то время мощность процессоров в камере была очень ограничена. Но почему все еще необходимо размещать фильтр АА над датчиком в современных зеркальных камерах? Разве это не может быть достигнуто так же легко с помощью алгоритмов, применяемых при демосакции выходного сигнала датчика?Казалось бы, текущая мощность обработки, доступная в камере, позволила бы это сейчас намного больше, чем даже несколько лет назад. Текущий процессор Canon Digic 5+ в 100 раз превышает вычислительную мощность процессора Digic III, что превосходит мощность самых ранних цифровых камер. Особенно при съемке файлов RAW, нельзя ли сделать размытие АА на этапе постобработки? Является ли это основной предпосылкой Nikon D800E, даже если он использует второй фильтр для противодействия первому?

Майкл С
источник
Не то. Уже есть зеркалки без фильтра сглаживания, включая Pentax K-5 II, Nikon D800E, а также беззеркальные модели, такие как Olympus PEN E-PM2 и все Fujis (X-E1, X-Pro1). Кроме того, они даже анонсировали камеры с фиксированным объективом без фильтра АА (X20 и X100S).
Итай
1
И все эти камеры иногда показывают цвет муара.
Кендалл Хельмштеттер Гелнер
3
Действительно, но так будут и другие камеры. Я подозреваю, что сглаживающий фильтр, который предотвращает появление муара, будет слишком сильным, поэтому производители используют фильтры AA меньшей силы. Например, в моих сравнениях K-5 II и K-5 II муар появляется на обеих камерах, только намного больше с K-5 II.
Итай
1
IIRC новый Nikon D7100 также не имеет.
Джеймс Снелл
1
И теперь у Pentax K-3 нет фильтра, но есть режим, при котором датчик очень, очень слабо вибрирует во время воздействия, чтобы имитировать его. Много интересных новшеств в этой области.
Пожалуйста, прочитайте профиль

Ответы:

12

Псевдонимы - это результат повторения паттернов примерно одинаковой частоты, мешающих друг другу нежелательным образом. В случае фотографии более высокие частоты изображения, проецируемого линзой на сенсор, создают интерференционную картину (в данном случае муар) с пиксельной сеткой. Эти помехи возникают только тогда, когда эти частоты примерно одинаковы или когда частота дискретизации датчика соответствует вейвлет-частоте изображения. Это предел Найквиста. Обратите внимание ... это аналоговая проблема ... муар возникает из-за помех, возникающих в реальном времени в реальном мире до того, как изображение будет действительно экспонировано.

Как только изображение экспонируется, эта интерференционная картина эффективно «запекается». Вы можете в некоторой степени использовать программное обеспечение для очистки шаблонов муара в посте, но оно минимально эффективно по сравнению с физическим фильтром нижних частот (AA) перед датчиком. Потеря в деталях из-за муара также может быть больше, чем потеря из-за фильтра АА, так как муар - это фактически бессмысленные данные, где немного размытые детали могут быть полезны.

Фильтр АА предназначен только для размытия этих частот в Найквисте, чтобы они не создавали никаких помех. Причина, по которой нам все еще нужны фильтры АА, заключается в том, что датчики изображения и объективы по-прежнему способны разрешать до одной и той же частоты. Когда датчики улучшаются до такой степени, что частота дискретизации самого датчика постоянно выше, чем даже у лучших объективов с их оптимальной апертурой, тогда потребность в фильтре АА уменьшится. Сам объектив эффективно справился бы с необходимостью размытия, и интерференционные паттерны никогда бы не появились.

Йриста
источник
Вот часть комментария, размещенного на photo.stackexchange.com/questions/10755/… . Вы все еще верите, что это точно? Если да, то как шаблон запекается до тех пор, пока данные RAW не будут демозированы? «По иронии судьбы, по крайней мере, с RAW, теоретический предел Найквиста не всегда кажется жестким, что, вероятно, связано с различными длинами волн красного, зеленого и синего света и распределением пикселей RGB в сенсоре. - jrista ♦ 10 апреля '11 в 18:50 "
Michael C
1
Я думаю, что я говорил о разрешении в целом, а не о наложении алиасов в записанном цифровом сигнале. Ограничение Найквиста является довольно сложной задачей для приближения датчика Байера из-за неравномерного распределения строк RGRG и GBGB. Пространственное разрешение зеленого выше пространственного разрешения красного или синего цвета, так что Найквиста предел красного или синего света на более низкой частоте , чем Найквиста предел в зеленом свете. Предел Найквиста в демозаписанном изображении довольно сложно назвать точно, поэтому он становится чем-то вроде размытой полосы, а не конкретным математическим пределом.
Ириса
1
... этот шаблон становится частью изображения. Даже если бы вы знали точные вейвлет-характеристики виртуального изображения и могли затем создать ряд Фурье, вам пришлось бы изменить ориентацию изображения относительно виртуальной концепции сенсора, чтобы «идеально» устранить муар. Это чрезмерно интенсивная математическая работа ... при условии, что вы знали ТОЧНУЮ природу исходного сигнала виртуального изображения и его связь с датчиком. Как только псевдонимы запечены в RAW, это в значительной степени сделано, на самом деле нет ничего, что можно было бы удалить без смягчения деталей.
Йриста
1
Я знаю все о разнице в частоте между красным / синим и зеленым. Что касается всех текущих оптических фильтров АА, фильтрующих только в nyquist, то это действительно зависит от камеры. Не все фильтры АА спроектированы одинаково, и даже для одной и той же марки разные модели и разные линии часто имеют фильтры АА, которые ведут себя по-разному. Я знаю, что исторически линии 1D и 5D пропускали НЕКОТОРЫЕ частоты чуть выше Найквиста, однако я думаю, что это вопрос баланса с разрешением объектива.
Йриста
1
На сенсорах с меньшими пикселями, таких как Canon 18mp APS-C, D800, D3200, пиксели становятся действительно очень маленькими. За исключением небольшого сегмента, если действительно новые объективы (например, поколение Canon Mark II L-серии, а затем и только те, что были выпущены в течение последних двух-трех лет), могут разрешить достаточно деталей, чтобы значительно опередить датчик и вызвать наложение на частотах, превышающих Найквиста. Отфильтруйте около nyquist, и сам объектив будет размыть детали за этим. Я думаю, что это одна из причин, по которой у линии 5D был слишком сильный фильтр АА ... объективы легче ее разрешают.
Йриста
11

Физика просто так не работает. Псевдоним необратимо преобразует частоты, превышающие предел Найквиста, в виде частот ниже предела, хотя этих «псевдонимов» на самом деле нет. Никакая степень обработки сигнала с псевдонимом не может восстановить исходный сигнал в общем случае. Причудливые математические объяснения довольно длинны, если вы не изучали теорию дискретизации и цифровую обработку сигналов. Хотя, если бы вы имели, вы бы не задавали вопрос. К сожалению, тогда лучшим ответом будет просто «Это не так, как работает физика. Извините, но вам придется поверить мне в этом». ,

Чтобы попытаться дать какое-то грубое ощущение, что вышеприведенное может быть правдой, рассмотрим случай с изображением кирпичной стены. Без фильтра АА будут муаровые узоры (которые на самом деле являются псевдонимами), при которых линии кирпича выглядят волнистыми. Вы никогда не видели настоящего здания, только изображение с волнистыми линиями.

Откуда вы знаете, что настоящие кирпичи не были заложены волнистым узором? Вы предполагаете, что они были не из ваших общих знаний о кирпичах и человеческого опыта видения кирпичных стен. Однако может ли кто-то просто нарочно сделать кирпичную стену, чтобы в реальной жизни (если смотреть своими глазами) она была похожа на картину? Да, они могли. Следовательно, возможно ли математически различить псевдоним изображения нормальной кирпичной стены и точного изображения намеренно волнистой кирпичной стены? Нет это не так. На самом деле вы также не можете заметить разницу, за исключением того, что ваша интуиция о том, что, вероятно, представляет картинка, может создать впечатление, что вы можете. Опять же, строго говоря, вы не можете сказать, являются ли волны волнистыми узорами или реальны.

Программное обеспечение не может волшебным образом удалить волны, потому что оно не знает, что реально, а что нет. Математически можно показать, что он не может знать, по крайней мере, только глядя на волнистое изображение.

Кирпичная стена может быть очевидным случаем, когда вы можете знать, что псевдоним изображения неправильный, но есть много более тонких случаев, когда вы действительно не знаете, и, возможно, даже не подозреваете, что псевдоним происходит.

Добавлено в ответ на комментарии:

Разница между совмещением аудиосигнала и изображения состоит только в том, что первый является 1D, а второй 2D. Теория и любая математика для реализации эффектов все та же, просто она применяется в 2D при работе с изображениями. Если образцы находятся на правильной прямоугольной сетке, как в цифровой камере, то возникают другие интересные вопросы. Например, частота выборки на 2 (ниже) ниже (примерно в 1,4 раза ниже) вдоль диагональных направлений по сравнению с ориентированными по оси направлениями. Тем не менее, теория дискретизации, частота Найквиста и то, чем на самом деле являются псевдонимы, не отличаются в двумерном сигнале, чем в одномерном. Основное различие, по-видимому, заключается в том, что тем, кто не привык думать в частотном пространстве, может быть сложнее обернуть свой кругозор и спроецировать, что все это означает с точки зрения того, что вы видите на картинке.

Опять же, нет, вы не можете «демозить» сигнал после факта, по крайней мере, в общем случае, когда вы не знаете, каким должен быть оригинал. Паттерны муара, вызванные дискретизацией непрерывного изображения, являются псевдонимами. Та же самая математика применима к ним так же, как и к высокочастотным псевдонимам в аудиопотоке и звучанию как фоновые свистки. Это то же самое, с той же теорией, которая объясняет это, и тем же решением, чтобы справиться с этим.

Это решение заключается в устранении частот выше предела Найквиста перед отбором проб. В аудио, который можно сделать с помощью простого фильтра низких частот, вы можете сделать это из резистора и конденсатора. При выборке изображений вам все еще нужен фильтр нижних частот, в этом случае он отбирает часть света, который попадет только на один пиксель, и распространяет его на соседние пиксели. Визуально это выглядит как небольшое размытие изображения передэто выборка. Высокочастотный контент выглядит как мелкие детали или острые края на изображении. И наоборот, острые края и мелкие детали содержат высокие частоты. Именно эти высокие частоты преобразуются в псевдонимы в выбранном изображении. Некоторые псевдонимы - это то, что мы называем шаблонами муара, когда оригинал содержал некоторое регулярное содержание. Некоторые псевдонимы дают эффект «ступеньки» для линий или краев, особенно когда они почти вертикальные или горизонтальные. Существуют и другие визуальные эффекты, вызванные псевдонимами.

Тот факт, что независимая ось в аудиосигналах является временем, а независимые оси (две из них, поскольку сигнал является 2D) изображения являются расстоянием, не делает математику недействительной или каким-то образом делает ее разной для аудиосигналов и изображений. Вероятно, потому что теория и приложения сглаживания и сглаживания были разработаны для одномерных сигналов, которые были временными напряжениями, термин «временная область» используется в отличие от «частотной области». На изображении нечастотное пространственное представление технически является «областью расстояния», но для простоты обработки сигнала оно, тем не менее, часто упоминается как «временная область». Не позволяйте этому отвлекать вас от того, что на самом деле является псевдонимами. И нет, это вовсе не доказательство того, что теория не применима к изображениям, только то, что вводящий в заблуждение выбор слов иногда используется для описания вещей по историческим причинам. Фактически, ярлык «временная область», применяемый к нечастотной области изображений, на самом делепотому что теория одинакова между изображениями и истинными сигналами, основанными на времени. Псевдонимы - это псевдонимы независимо от того, какой независимой осью (или осями) является.

Если вы не хотите углубляться в это на уровне пары курсов колледжа по теории выборки и обработке сигналов, в конце концов, вам просто придется довериться тем, кто имеет. Некоторые из этих вещей не интуитивны без значительного теоретического фона.

Олин Латроп
источник
Все мои знания в области дискретизации и цифровой обработки сигналов были связаны с цифровым звуком. Я понимаю, как фильтр низких частот действует для ограничения попадания звуков выше определенной частоты в преобразование AD. Если вы производите выборку на частоте 44,100 Гц, вы применяете фильтр, который начинает работать на частоте около 20 кГц, и любой отклик с частотой 22 кГц практически исчез. Но с цифровыми изображениями это не так просто, потому что даже с фильтрами АА некоторые псевдонимы проходят. Я читал в другом месте, что фильтры не пытаются блокировать все, что выше Найквиста, потому что это слишком сильно уменьшит разрешение.
Майкл C
1
Я должен согласиться с тем, что проблема, связанная с фильтром нижних частот в камере, не совпадает с проблемой, с которой сталкивается фильтр нижних частот при обработке звука. Я полагаю, что лучший способ это сделать - это то, что звуковой фильтр нижних частот работает непосредственно с электронным сигналом, тогда как оптический фильтр нижних частот работает на пространственных частотах сигнала изображения, создаваемого объективом. Электронный сигнал, с которым вы привыкли работать, имеет иной характер, чем сигнал изображения.
Йриста
1
@ Майкл: Смотрите дополнение к моему ответу.
Олин Латроп
1
«Образцы муара, вызванные сэмплированием непрерывного изображения, являются псевдонимами». - Олин. Я думаю, что это ключевой момент прямо здесь! Когда вы фактически делаете экспозицию, вы не записываете чистую версию исходного виртуального изображения ... вы записываете псевдонимы точек данных в этом исходном виртуальном изображении. Эти данные на вашем компьютере содержат псевдонимы. Очень хороший, лаконичный и понятный способ выразить это. :)
Jrista
1
@Michael: То, что вы говорите о том, как полноцветные пиксели интерполируются из необработанных значений датчика, является правильным, но не имеет никакого отношения к обсуждению псевдонимов. В конечном итоге реальное непрерывное изображение все еще дискретизируется в дискретных точках, поэтому для устранения псевдонимов необходим фильтр сглаживания перед выборкой. Что касается вашего комментария по алгебре, то это абсолютно бессмысленно. Конечно, алгебра применима к многочленам высшего порядка и двумерным уравнениям, просто она становится более сложной из-за наличия большего количества независимых переменных.
Олин Латроп
6

Вы не можете получить тот же эффект в программном обеспечении. Вы можете получить где-то поблизости, учитывая определенные предположения. Но фильтр АА распространяет свет так, что он попадает на несколько разноцветных пикселей, давая вам информацию, которая отсутствует на датчике фильтра без АА.

Nikon D800E не делает ничего, чтобы попытаться повторить фильтр AA. Если на изображении присутствуют узоры высокой частоты, вы получаете муар, и это ваша проблема - вы должны с этим справиться!

Псевдоним хуже, когда частота детализации изображения очень близка к частоте дискретизации. Для более старых камер с датчиками низкого разрешения (и, следовательно, с низкой частотой дискретизации) муар был серьезной проблемой с большим количеством типов деталей изображения, поэтому фильтры АА были сильными (никак не связаны с ограниченной вычислительной мощностью). Теперь у нас гораздо более высокие частоты дискретизации, для отображения муара требуются гораздо более высокие частоты изображения.

В конечном итоге частоты дискретизации будут настолько высоки, что необходимые детали высокочастотного объекта не смогут преодолеть аберрации объектива и дифракционные эффекты, что сделает фильтр АА избыточным. Это отчасти является причиной того, что на некоторых спинах MF отсутствует фильтр AA, сверхвысокое разрешение, а также фотографы моды, которые любят снимать в режиме f / 32 с гигантскими блоками питания Profoto, доказывающими освещение.

Мэтт Грум
источник
Мне кажется, что интерполяция, выполняемая в процессе демозаики, может быть изменена для достижения того же результата, поскольку здесь делается усреднение соседних пикселей. Nikon D800E имеет два компонента фильтра АА, как и другие камеры, но вместо одного поляризующего света по горизонтали и другого поляризационного по вертикали второй находится на 180 градусов от первого и отбирает поляризованные лучи от первого и объединяет их обратно в один поток. См. Photo.stackexchange.com/questions/22720/…
Майкл С
2
@MichaelClark Нет, вы не можете получить тот же эффект в процессе демозаики. Одна точка света, попадающая на датчик D800E, будет заряжать только один фотосайт. Невозможно сказать, какого цвета был этот свет, глядя на соседние пиксели, информация была потеряна навсегда. Одна и та же точка света, попадающая на датчик D800 (с фильтром АА), будет сильно ударять по одному пикселю, а окружающие - в меньшей степени. Так как соседние пиксели имеют разные цветовые фильтры, глядя на их интенсивность, алгоритм демозаписи может оценить цвет света.
Мэтт Грум
1
@MichaelClark Единственная причина, по которой D800E имеет такое расположение, состоит в том, чтобы упростить производственный процесс, гораздо проще изменить ориентацию одного из фильтров на входной стадии, чем заменить два фильтра на прозрачный стеклянный элемент - в конечном итоге, фильтр. Высота стопки должна быть одинаковой, поскольку она имеет преломляющий эффект, и современные конструкции линз учитывают это. Простое отсутствие какого-либо фильтра на D800E привнесет незначительные аберрации в изображения.
Мэтт Грум
Но в то же время, когда одна точка света попадает на один сенсорный участок, соответствующие точки света попадают на все соседние сенсорные участки, и фильтр АА заставляет их все проливать свет друг на друга. Разве большинство алгоритмов демозаписи не используют интерполяцию для сравнения уровней яркости не только лунок непосредственных пикселей, но и других лунок ближних пикселей с той же цветовой чувствительностью? По сути, разве математически не размывает смежные пиксели друг от друга, что вы делаете?
Майкл C
1
@MichaelClark псевдоним не размытие. Это влияет на пиксели очень далеко друг от друга. Например, вы будете получать удары каждые 50 пикселей, а затем уменьшать / уменьшать их в течение 10. Была ли эта полоса реальной или вызвана полосами, меньшими, чем пиксели? Ты не можешь знать.
JDługosz
2

Это все хорошие ответы и хорошая информация. У меня есть очень упрощенное объяснение. Давайте перейдем от 2D к 1D (применяется та же концепция).

Когда частота достигает вашего датчика выше «максимально допустимой частоты», она фактически создает зеркальную частоту в нижней части. Как только ваше изображение будет взято, вы увидите этот более низкий сигнал, но камера или ваш компьютер не будут знать, действительно ли это был более низкий сигнал, который действительно был там, или это был псевдоним, созданный из сигнала, который был слишком высоким. Эта информация потеряна. Это причина "максимально допустимой частоты" или частоты Найквиста. Это говорит о том, что это самая высокая частота, которая может быть выбрана, и выше нее информация будет потеряна.

аналог аудио: допустим, ваша система настроена так, что вы хотите диапазон частот от 0 до 1000 Гц. чтобы оставить немного больше места, вы берете образец на частоте 3000 Гц, что делает ваш никвист 1500 Гц. Вот где приходит фильтр aa. Вы не хотите, чтобы входил сигнал выше 1500 Гц, в действительности ваше отключение начнется сразу после 1000 Гц, но вы гарантируете, что к тому времени, когда вы достигнете 1500 Гц, ничего не останется.

давайте предположим, что вы забыли фильтр aa и позволили тональному сигналу 2500 Гц войти в ваш датчик. он будет отражать частоту дискретизации (3000 Гц), поэтому ваш датчик будет воспроизводить звук с частотой 500 Гц (3000 Гц - 2500 Гц). Теперь, когда ваш сигнал сэмплирован, вы не будете знать, был ли на самом деле 500 Гц или это псевдоним.

Кстати. зеркальные изображения появляются на всех частотах, но это не проблема, если вы не находитесь над Найквистом, потому что вы можете легко отфильтровать их позже. Пример входного тона составляет 300 Гц. у вас будут псевдонимы в (3000 - 300 = 2700 Гц [и чтобы быть правильными также 3000 + 300 = 3300 Гц]). однако, поскольку вы знаете, что рассматриваете только до 1000 Гц, они будут легко удалены. И снова проблема возникает, когда зеркальные изображения попадают в тот спектр, который вам действительно нужен, потому что вы не сможете заметить разницу, и именно это они имеют в виду под «запеканием».

надеюсь это поможет

pgibbons
источник
1
За исключением того, что «наложение» в контексте фотографии является «пространственным», основанным на повторяющихся рисунках в изображении, проецируемом на датчик, а не на определенных частотах света, проникающего в один пиксель. Оптические фильтры нижних частот на большинстве датчиков камер не фильтруют «все» частоты выше предела Найквиста, они только фильтруют «большинство» повторяющихся паттернов на пределе Найквиста и связанных с ним коэффициентах.
Майкл С
Я ценю ваш комментарий. Я также имел в виду не частоты света, а скорость изменения интенсивности от одного пикселя к другому. Я игнорировал цвета. Я думаю, что я смотрел на это как на 3 отдельных черно-белых изображения. Позже каждый получает один цвет и накладывается вместе, они составляют все цвета. Мне все еще трудно обернуть голову вокруг частот в изображениях. Я предполагаю, что когда у вас есть белый пиксель рядом с черным пикселем, он представляет высокие частоты из-за высокой скорости изменения, а светло-серый пиксель рядом с темно-серым пикселем является более низкой частотой.
pgibbons
Это не совсем то, как работает демозаика датчика Байера в маске, и это одна из причин, почему я изначально задал вопрос.
Майкл С
Более высокие частоты в этом контексте являются повторяющимися паттернами с меньшим расстоянием на датчике между каждым повторением. Более низкие частоты - это повторяющиеся паттерны с большим расстоянием между каждым повторением. Если шаг пикселя датчика составляет 6 мкм, то шаблоны, которые повторяются каждые 3 мкм, будут иметь частоту Найквиста. Шаблоны, которые повторяются каждые 4 мкм, будут ниже NF, а шаблоны, повторяющиеся каждые 2 мкм, будут выше него.
Майкл С