Результаты оценок Монте-Карло, полученные с помощью выборки по важности

13

В течение прошлого года я довольно тесно работал над выборкой важных данных, и у меня есть несколько открытых вопросов, с которыми я надеялся получить некоторую помощь.

Мой практический опыт работы со схемами выборки по важности заключался в том, что они могут иногда давать фантастические оценки с низким отклонением и смещением. Однако чаще они, как правило, дают оценки с высокой ошибкой, которые имеют низкую дисперсию выборки, но очень высокую погрешность.

Мне интересно, может ли кто-нибудь объяснить, какие именно факторы влияют на достоверность выборочных оценок важности? В частности мне интересно:

1) Гарантируются ли оценки выборки важности к правильному результату, когда распределение смещения имеет ту же поддержку, что и исходное распределение? Если так, то почему на практике это занимает так много времени?

2) Существует ли количественная связь между ошибкой в ​​оценке, полученной в результате выборки по важности, и "качеством" распределения смещения (т. Е. Насколько оно соответствует распределению с нулевой дисперсией)

3) Частично основанный на 1) и 2) - есть ли способ количественно определить, «сколько» вы должны знать о распределении, прежде чем вам лучше будет использовать выборочный анализ важности, чем простой метод Монте-Карло.

Берк У.
источник

Ответы:

8

Выборка по важности имеет ту же валидацию, что и базовый подход Монте-Карло. По своей сути это основной Монте-Карло . Действительно, это просто изменение контрольной меры, переходящее от к h ( x ) f ( x )

h(x)f(x)dx
Таким образом, сходимость гарантируется законом больших чисел в обоих случаях, т.е. независимо от того, моделируете ли вы изfили изg. Кроме того, если слагаемое h2(x),f2(x)
h(x)f(x)g(x)g(x)dx
fg конечно, также применима центральная предельная теорема и скорость сходимости равнаO(1/
h2(x)f2(x)g(x)dx
. Если на практике это «занимает много времени», то это потому, что вышеуказанный коэффициент дисперсии в CLT может быть довольно большим. Но, и я настаиваю, скорость такая же, как с обычным Монте-Карло,O(1/O(1/n).O(1/n)

Таким образом, качество важного распределения выборки напрямую связано с вышеуказанным коэффициентом дисперсии, который сводится к нулю для «распределения нулевой дисперсии», пропорционального .|h(x)|f(x)

Сиань
источник
2
Я подозреваю, что, учитывая, что ОП сообщает о небольших оценочных дисперсиях, которые являются предвзятыми, но, кажется, имеют небольшую дисперсию, он может задавать вопрос о самостоятельной нормированной значимости выборки. См. Пример с Рэдфордом Нилом по оценке гармонического среднего для хорошего примера, который берет оценку выборки важности с 0 дисперсией и возвращает бессмыслицу. Я не уверен, что это никогда не происходит в регулярной выборке важности, но это, конечно, редко.
deinst
Даже если это не было целью ОП, мне было бы интересно узнать, как выяснить, когда самонормализация пойдет ужасно неправильно.
deinst
@deinst Я не знал о процедуре самонормализации и ее подводных камнях, так что спасибо вам за это! В любом случае, я думаю, что проблемы могут иметь отношение к свойствам моей схемы IS, поэтому я хотел бы изучить эту идею еще немного, если у кого-то из вас есть идеи.
Берк У.
g(x)Mx1..xMg(x)=h(x)f(x)/h(x)f(x)dxx1..xMg(x)^g(x)^Ny1...yN
Использование непараметрической оценки вводит изменчивость более высокого порядка, чем переменность Монте-Карло, поэтому я бы не советовал ее.
Сиань
7

fg

δ=h(x)f(x)dx
x1,,xng(x)
δ^=i=1nh(x)f(x)/g(x)i=1nf(x)/g(x).
Using the delta method (basically taking up to the linear terms of the taylor series of X/Y) and letting ω(X)=f(x)/g(X) we get
Eg(δ^)δ+δVarg(ω(X))Covg(ω(X),h(X)ω(X))n
and
Varg(δ^)Varg(h(X)ω(X))2δCovg(ω(X),h(X)ω(X))+δ2Varg(ω(X))n.

So, intuitvely, to get small bias and small variance, you want Varg(ω(X)) to be small and Covg(ω(X),h(X)ω(X)) to be positive. Unfortunately these approximations are not perfect (and accurately determining the variances and covariances is likely to be as difficult as solving the initial problem).

deinst
источник
Thank you for this. I'm just a little unsure about the notation / not sure if there is a typo. To clarify, what exactly are X/Y and G in your explanation?
Berk U.
@BerkUstun The capital G is a typo for a small that I will fix promptly. X/Y is just a generic ratio of random variables. IIRC all this is explained in Liu's Monte Carlo book (something with scientific in the title.)
deinst
@deinst: Great point! Indeed, the properties of the self-normalised versions are quite different from those of the unbiased importance sampling estimator. In theory, one would need a separate importance sampler to estimate the denominator.
Xi'an