Я работал с различными алгоритмами интерполяции, включая линейные, кубические (и билинейные и бикубические), другие интерполяции на основе Безье (и nurbs, и т. Д.), Интерполяцию Лагранжа и некоторые другие, но я не смог найти основную информацию, которая объясняет что такое двустороннее повышение частоты дискретизации.

Мне удалось найти информацию о совместном двустороннем повышении частоты дискретизации, которая, насколько я могу судить, интерполирует несколько фрагментов данных параллельно, используя подсказки от каждого, чтобы помочь другим интерполировать лучше, но у меня возникают проблемы с разделением информации о BU и JBU.

Может ли кто-нибудь объяснить основные идеи того, что такое двустороннее повышение?

Кажется, ты спрашиваешь две вещи. Я не могу технически говорить о JBU, но я могу дать обзор необходимых концепций и двусторонней фильтрации в целом. Вероятно, вам нужно будет найти больше деталей самостоятельно, но это должно дать согласованную структуру для начала.

Исправление «изображения»

Многие люди, работающие с изображениями, рассматривают фильтрацию как нечто, что нужно сделать как пост-процесс, или как способ масштабирования изображений. Точка зрения математика является более точной, описательной и сложной.

Когда у вас есть файл изображения, у вас нет реального изображения. У вас есть пиксельные «значения», которые строго действительны только в центре пикселей. Грубо говоря, у каждого пикселя есть область, которая принимает этот цвет. С математической точки зрения вы используете фильтр реконструкции ближайшего соседа для восстановления истинного изображения по значениям пикселей. Таким образом , «изображение» - это действительно набор выборок и фильтр реконструкции, обычно ближайший сосед .

Ресэмплирование

Когда вы улучшаете изображение, вы действительно делаете повторную выборку . Как ты это делаешь? Вы берете свой сигнал и генерируете новый набор образцов из него. Но для изображения, я просто сказал , что мы не имеем реальное изображение; мы должны восстановить это в первую очередь. Таким образом, типичная процедура повторной выборки выглядит следующим образом:

1. Возьмите свои значения пикселей.
2. Восстановите изображение между значениями, расположенными в центрах пикселей, с помощью фильтра реконструкции.
3. Измерить новый набор образцов из восстановленного изображения, возможно, с разным расстоянием.
4. Выбросьте старые образцы и используйте новые.

Ключевым моментом является то, что используемый фильтр реконструкции - это «фильтр», используемый для повторной выборки. Например, «бикубическая обратная выборка» будет использовать фильтр бикубической реконструкции.

Оказывается, что если вы используете функцию sinc для фильтра восстановления и не сжимаете изображение, вы получаете (теоретически) то же самое изображение обратно. На самом деле, если вы увеличите изображение, а затем снова уменьшите его, вы получите тот же ответ. Это обычно не верно для любого другого фильтра.

Большинство фильтров приближают фильтр sinc в большей или меньшей степени. Отклонения приводят к потере изображения.

фильтрация

Если вы используете то же самое до / после частоты дискретизации, вы делаете то, что называется «фильтрацией». Формально фильтрация является передискретизацией без изменения частоты дискретизации. Фильтрация является частным случаем повторной выборки.

Единственная возможная цель - отфильтровать его, чтобы отбросить информацию (например, гауссову) или, возможно, также исказить или добавить ложную информацию (например, Собел).

Двусторонняя фильтрация

Вы можете использовать много разных фильтров для фильтрации. Двусторонняя фильтрация является одним из них. Я не верю, что это считается современным для каких-либо целей (хотя я не знаю, что это такое; возможно, я ожидаю что-то новое для машинного обучения).

Двусторонний фильтр - это нелинейный фильтр, то есть он не имеет хорошего представления Фурье. Концептуально это похоже на гауссову, но сами исходные цвета также учитывают «расстояние» пикселя от других. Это имеет тенденцию сглаживать плоские области, сохраняя края.

Двустороннее повышение

К настоящему времени, я надеюсь, вы поймете, куда я иду с этим: любой фильтр, который вы можете использовать для фильтрации, вы можете использовать для увеличения или уменьшения масштаба, что на самом деле одно и то же (потому что все это - повторная выборка).

Если вы внедрили двусторонний фильтр, вы должны иметь возможность просто внедрить двусторонний фильтр передискретизатора - точно так же, как, если вы внедрили фильтр Гаусса, вы должны быть в состоянии реализовать фильтр Гаусса.

Единственной сложностью могут быть определения. К сожалению, различие между фильтрацией и повторной выборкой систематически размыто из-за случайного отсутствия в литературе по обработке изображений. Для реализации фильтра двустороннего типа я бы сильно полагался на его сходство с гауссовой повторной выборкой. IIRC (я не читал газету годами) двусторонняя фильтрация представлена ​​в пикселях, а не в образцах.

Это, вероятно, не раскрывает всю глубину термина, но первое, что приходит мне в голову, когда я слышу «двустороннее повышение дискретизации», - это смешение глубины изображений с низким разрешением с изображениями с высоким разрешением; например, когда вы визуализируете альфа-смешанную геометрию в буфер с половинным разрешением (для экономии производительности), а затем объединяете ее обратно с основной целью рендеринга. Анджело Песке написал пост, который хорошо объясняет это.