Выборка значимости карт окружающей среды

Каков наилучший в настоящее время известный и в идеале проверенный на практике подход для выборки карт среды (EM) в трассировщике однонаправленных путей на основе MIS и подобных типах средств визуализации? Я бы предпочел решения, которые являются достаточно сложными и в то же время достаточно функциональными, чем решения, которые обеспечивают идеальную выборку за счет сверхсложной и трудной для понимания реализации.

Что я знаю до сих пор

Есть несколько простых способов отбора проб ЭМ. Можно отобрать нужное полушарие косинус-взвешенным образом, который игнорирует как функции BSDF, так и формы EM. В результате это не работает для динамических EM:

Чтобы улучшить выборку до приемлемого уровня, можно измерять яркость ЭМ по всей сфере. Это относительно легко реализовать, и результаты довольно хорошие. Тем не менее, стратегия выборки по-прежнему игнорирует информацию о полусферической видимости и косинус-фактор (а также BSDF), что приводит к высокому шуму на поверхностях, которые не освещаются непосредственно участками высокой интенсивности электромагнитного поля:

документы

Я нашел несколько статей на эту тему, но еще не прочитал их. Стоит ли читать и внедрять что-либо в трассировщике прямого однонаправленного пути, или есть что-то еще лучше?

Структурная выборка значимости карт окружающей среды (2003) Agarwal et al.
Выборочное управление (2007) от Kartic Subr и Jim Arvo. Они утверждают, что представили «... алгоритм эффективной выборки карт окружающей среды со стратификационной важностью, который генерирует выборки в положительной полусфере, определяемой локальной ориентацией произвольных поверхностей, при учете косинус-взвешивания. «В статье« Важность выборочной сферической гармоники »комментируется:« Они создают триангулированное представление карты окружения и хранят освещение, предварительно умноженное каждой из первых девяти базисных функций сферических гармоник в каждой вершине. Это формирует управляемую основу, в которой косинус-зажим может эффективно поворачиваться в любую ориентацию ».
Практический отбор образцов продукции для прямого освещения (2008) Петрик Кларберг и Томас Акенин-Меллер. Алгоритм выборки продукта освещения карты окружающей среды и отражения поверхности. Использует основанную на вейвлетах выборку важности.
Jarosz, Carr и Jensenn. Выборочные сферические гармоники (2009). Аннотация гласит: «... мы представляем первый практический метод для функций выборки важности, представленных в виде сферических гармоник (SH) ...»
Выборка карты окружающей среды на основе тонального среднего сдвига (2015), Feng et al. Это довольно новое, и я не нашел ни ссылки на него, ни сам документ.

rendering sampling pathtracing importance-sampling ibl ivokabel
источник

У меня есть один вопрос. Второе изображение генерируется только путем выборки EM? Или это MISed версия выборки косинуса и выборки EM? Я действительно надеюсь, что это версия MISed, потому что если так, то у меня может быть средство от сильного шума в теневой части.

Том

Нет @ tom, он использует только выборку сферических ЭМ, игнорируя как BRDF (Ламберта), так и коэффициент косинуса. Было использовано 64 выборки и не применена фильтрация пространства изображения, только усреднение по площади пикселей. Когда MIS применяется для объединения выборки EM с выборкой по косинусу, шум в тени значительно уменьшается, но слегка увеличивается в освещенной солнцем части.

Ивокабель

Ответы:

Это не полный ответ, я просто хотел бы поделиться знаниями, которые я получил, изучив две из статей, упомянутых в вопросе: выборочный контроль важности и практический выбор продукции для прямого освещения .

Выборочное значение Steerable

В этой статье они предлагают метод для отбора проб продукта косинусного компонента и освещения карты окружающей среды:

L_{Е M} (ω_{я}) {(ω_{я} \cdot N)}^{+}

$L_{EM}\left(\omega_{i}\right)\left(\omega_{i}\cdot n\right)^+$

Они используют тот факт, что кусочно-линейное приближение функции произведения может быть относительно хорошо выражено и частично предварительно вычислено с использованием первых девяти сферических гармонических баз. Они строят это приближение поверх адаптивно триангулированного EM и используют его как функцию важности для выборки.

Они предварительно вычисляют и сохраняют коэффициенты аппроксимации для каждой вершины треугольника, а также коэффициенты для вычисления интеграла аппроксимации по треугольнику для каждого треугольника. Эти коэффициенты называются весами вершин и треугольников. Затем они используют тот факт, что можно легко вычислить коэффициенты для интеграла по набору треугольников, просто суммируя веса отдельных треугольников без включения дополнительных сферических гармонических базисов. Это позволяет им строить сбалансированное двоичное дерево по треугольникам, где каждый узел содержит коэффициенты для вычисления интеграла аппроксимации по треугольникам поддерева узла.

Процедура выборки состоит из выбора треугольника и выборки его площади:

Треугольник выбирается спуском вниз по предварительно построенному двоичному дереву с вероятностью, пропорциональной субинтегральным приближениям. Это стоит вычислений на лету подынтегралов, каждый из которых состоит из одного внутреннего произведения сферических гармонических координат с фиксированным косинусом и предварительно вычисленных коэффициентов. $O\left(\log N_{\triangle}\right)$
Выбранная поверхность треугольника затем дискретизируется за времени билинейным способом с помощью новой стратегии стратифицированной выборки, предложенной в статье. $O\left(1\right)$

Для меня это выглядит многообещающей техникой , но классический вопрос с бумагами заключается в том, как он будет вести себя в реальной жизни. С одной стороны, могут быть патологические случаи, когда ЭМ трудно аппроксимировать с помощью триангулированной кусочно-линейной функции, что может привести к огромному количеству треугольников и / или низкому качеству выборки. С другой стороны, он может мгновенно обеспечить относительно хорошее приближение всего вклада ЭМ, что может быть полезно при выборке из нескольких источников света.

Практическая выборка продукции для прямого освещения

В этой статье они предлагают метод выборки продукта освещения карты окружающей среды и косинус-взвешенной отражательной способности поверхности:

L_{Е M} (ω_{я}) е_{р} (ω_{я}, ω_{о}, N) {(ω_{я} \cdot N)}^{+}

$L_{EM}\left(\omega_{i}\right)f_{r}\left(\omega_{i},\omega_{o},n\right)\left(\omega_{i}\cdot n\right)^+$

Единственная предварительная обработка в этом методе - это вычисление иерархического представления EM (на основе mipmap или вейвлета). Остальное делается на лету во время отбора проб.

Процедура отбора проб:

Построение BRDF приближения на лета: они сначала нарисуйте несколько образцов BRDF важности и оценить $f_{r}\left(\omega_{i},\omega_{o},n\right)\left(\omega_{i}\cdot n\right)^+$
Вычисление произведения приближения BRDF и EM: Умножение выполняется на листьях дерева BRDF, а усредненные значения передаются родителям.
Отбор проб продукта: однородные образцы пропускаются через дерево продуктов с использованием простой деформации образца.

Процедура должна генерировать относительно хорошие выборки за счет тяжелых предварительных вычислений - они показывают, что приблизительно 100–200 выборок BRDF необходимы для приближения BRDF для достижения наилучшей производительности выборки. Это может сделать его подходящим для вычислений с прямым прямым освещением, когда генерируется много выборок на одну точку затенения, но, скорее всего, слишком дорого для глобальных алгоритмов освещения (например, одно- или двунаправленных трассировщиков), где вы обычно генерируете только несколько выборок за точку затенения.

ivokabel
источник

Отказ от ответственности: я понятия не имею, каково современное состояние в выборке карты окружающей среды. На самом деле, я очень мало знаю об этой теме. Так что это не будет полным ответом, но я сформулирую проблему математически и проанализирую ее. Я делаю это главным образом для себя, поэтому я проясняю для себя, но я надеюсь, что OP и другие найдут это полезным.

$\newcommand{\w}{\omega}$

Мы хотим рассчитать прямое освещение в точке, т.е. мы хотим знать значение интеграла

I = \int_{S^{2}} f (ω_{i}, ω_{o}, n) L (ω_{i}) (ω_{i} \cdot n)^{+} d ω_{i}

$I =\int_{S^2} f(\omega_i,\omega_o,n) \, L(\omega_i) \,(\omega_i\cdot n)^+ d\omega_i$

f (ω_{i}, ω_{o}, n)

$f(\omega_i,\omega_o,n)$

L (ω_{i})

$L(\omega_i)$

(ω_{i} \cdot n)^{+}

$(\omega_i \cdot n)^+$

+

$+$

(ω_{i} \cdot n)^{+} = 0

$(\omega_i \cdot n)^+=0$

(ω_{i} \cdot n) < 0

$(\omega_i \cdot n)<0$

$N$ $\omega_i^1,\dots,\omega_i^N$ $p(\omega_i)$

I \approx \frac{1}{N} \sum_{k = 1}^{N} \frac{f (ω_{i}^{k}, ω_{o}, n) L (ω_{i}^{k}) (ω_{i}^{k} \cdot n)^{+}}{p (ω_{i}^{k})}

$I \approx \frac1N \sum_{k=1}^N \frac{f(\omega_i^k,\omega_o,n) \, L(\omega_i^k) \,(\omega_i^k\cdot n)^+ }{p(\omega_i^k)}$

$p$

p (ω_{i}) \sim f (ω_{i}, ω_{o}, n) L (ω_{i}) (ω_{i} \cdot n)^{+}

$p(\omega_i) \sim f(\omega_i,\omega_o,n) \, L(\omega_i) \,(\omega_i\cdot n)^+$

Методы, предложенные ОП:

$p$

p (ω_{i}) \sim (ω_{i} \cdot n)^{+}

$p(\omega_i) \sim (\omega_i\cdot n)^+$

p

$p$

p (ω_{i}) \sim L (ω_{i})

$p(\omega_i) \sim L(\omega_i)$

Исходя из названий упомянутых работ, я могу частично догадаться, что они делают (к сожалению, у меня нет времени и сил, чтобы их читать прямо сейчас). Но прежде чем обсуждать, что они, скорее всего, делают, давайте немного поговорим о степенных рядах: D

$f(x)$

f (x) = \sum_{k = 0}^{\infty} a_{k} x^{k}

$f(x) = \sum_{k=0}^\infty a_k x^k$

a_{k}

$a_k$

f

$f$

n

$n$

f (x) \approx \sum_{k = 0}^{n} a_{k} x^{k}

$f(x) \approx \sum_{k=0}^n a_k x^k$

n

$n$ достаточно высока, тогда ошибка действительно мала.

$f(x,y)$

f (x, y) = \sum_{k = 0}^{\infty} b_{k} (y) x^{k}

$f(x,y) = \sum_{k=0}^\infty b_k(y) \, x^k$

b_{k} (y)

$b_k(y)$

y

$y$

f (x, y) = \sum_{k, l = 0}^{\infty} c_{k l} x^{k} y^{l}

$f(x,y) = \sum_{k,l=0}^\infty c_{kl} x^k y^l$

c_{k l}

$c_{kl}$

$f(\omega)$

f (ω) = \sum_{k = 0}^{\infty} α_{k} S_{k} (ω)

$f(\omega) =\sum_{k=0}^\infty \alpha_k S_k(\omega)$

α_{k}

$\alpha_k$

S_{k} (ω)

$S_k(\omega)$

f

$f$ можно записать в виде суммы некоторых известных функций.

$f(\omega,\omega')$

f (ω, ω^{'}) = \sum_{k = 0}^{\infty} β_{k} (ω^{'}) S_{k} (ω)

$f(\omega,\omega') = \sum_{k=0}^\infty \beta_k(\omega') \, S_k(\omega)$

f (ω, ω^{'}) = \sum_{k, l = 0}^{\infty} γ_{k l} S_{k} (ω) S_{l} (ω^{'})

$f(\omega,\omega') = \sum_{k,l=0}^\infty \gamma_{kl} \, S_k(\omega)S_l(\omega')$

Так как это все полезно?

\begin{aligned} f (ω_{i}, ω_{o}, n) & = \sum_{k, l, m = 0}^{\infty} α_{k l m} S_{k} (ω_{i}) S_{l} (ω_{o}) S_{m} (n) \\ L (ω_{i}) & = \sum_{n = 0}^{\infty} β_{n} S_{n} (ω) \\ (ω_{i} \cdot n)^{+} & = \sum_{p, q = 0}^{\infty} γ_{p q} S_{p} (ω_{i}) S_{q} (n) \end{aligned}

$\begin{align} f(\omega_i,\omega_o,n) &= \sum_{k,l,m=0}^\infty \alpha_{klm} S_k(\omega_i)S_l(\omega_o) S_m(n) \\ L(\omega_i ) &= \sum_{n=0}^\infty \beta_n S_n(\omega) \\ (\omega_i\cdot n)^+ &= \sum_{p,q=0}^\infty \gamma_{pq} S_p(\omega_i)S_q(n) \end{align}$

I = \sum_{k, l, m, n, p, q = 0}^{\infty} α_{k l m} β_{n} γ_{p q} S_{l} (ω_{o}) S_{m} (n) S_{q} (n) \int_{S^{2}} S_{k} (ω_{i}) S_{n} (ω) S_{p} (ω_{i}) d ω_{i}

$I = \sum_{k,l,m,n,p,q=0}^\infty \alpha_{klm} \beta_n \gamma_{pq} S_l(\omega_o) S_m(n) S_q(n) \int_{S^2} S_k(\omega_i) S_n(\omega) S_p(\omega_i) d\omega_i$

$\int_{S^2} S_k(\omega_i) S_n(\omega) S_p(\omega_i) d\omega_i$

Это все хорошо, но мы можем не знать расширения BSDF или карты окружающей среды, или расширения сходятся очень медленно, поэтому нам пришлось бы взять много терминов в сумме, чтобы получить достаточно точный ответ.

L (ω_{i}) \approx \sum_{n = 0}^{K} β_{n} S_{n} (ω_{i})

$L(\omega_i) \approx \sum_{n=0}^K \beta_n S_n(\omega_i)$

p (ω_{i}) \sim \sum_{n = 0}^{K} β_{n} S_{n} (ω_{i}) (ω \cdot n)^{+}

$p(\omega_i) \sim \sum_{n=0}^K \beta_n S_n(\omega_i) (\omega \cdot n)^+$

We already know how to do this for $K=0$ , this is nothing but the method one. My guess is, it is done in one of the papers for higher $K$ .

Further extensions. You can expand different functions in different arguments and do similar stuff as above. Another thing is, that you can expand in different basis, i.e. do not use spherical harmonics but different functions.

So this is my take on the topic, I hope you have found it at least a little bit useful and now I'm off to GoT and bed.

tom
источник

Haha, when I posted the answer, SE asked me if I'm a human or a robot, the site wasn't sure :D I hope it is not because of the length of the answer, It got a little bit out of hand.

tom

you want to make my brain melt, don't you. ;-) BTW: I already managed to read two of the papers/presentations so I'll hopefully extend the question or write a superficial answer at the end of this week. And now, GoT FTW!

ivokabel

While the product sampling methods provides better (perfect) distribution for rays I would say that using MIS (multiple importance sampling) is a method verified in production. Since shadowing information is unknown product sampling doesn't become perfect anyway and it is quite hard to implmenet. Shooting more rays might be worth more! Depends on your situation and ray budgets of course!

Краткое описание MIS: По сути, вы прослеживаете как луч BSDF (как в любом случае для непрямого освещения), так и явный луч к EM. MIS дает вам веса, так что вы можете комбинировать их таким образом, чтобы устранить много шума. MIS особенно хорош в выборе «техники» (неявной или явной выборки) в зависимости от возникающей ситуации. Это происходит естественным образом, и пользователю не приходится делать трудный выбор, основываясь на неровностях и т. Д.

Глава 9 http://graphics.stanford.edu/papers/veach_thesis/ подробно описывает это. Также см. Https://www.shadertoy.com/view/4sSXWt для демонстрации MIS в действии с локальными огнями.

Anders
источник

Да, MIS - это важный метод, проверенный производством, который очень помогает, и я использую его в своем решении (наверное, мне следовало бы сказать об этом более четко в вопросе). Тем не менее, общая эффективность оценки на основе MIS зависит от качества его стратегий частичной выборки. Здесь я пытаюсь улучшить одну из подстратегий, чтобы улучшить общую производительность оценщика. По моему опыту, обычно более эффективно использовать менее качественные образцы, чем может быть дороже, чем генерировать менее качественные образцы низкого качества.

ivokabel