Bootstrapping vs Bayesian Bootstrapping концептуально?

21

У меня проблемы с пониманием, что такое байесовский процесс начальной загрузки, и чем он отличается от вашей обычной начальной загрузки. И если бы кто-то мог предложить интуитивно-концептуальный обзор и сравнение того и другого, это было бы здорово.

Давайте возьмем пример.

Скажем, у нас есть набор данных X, который [1,2,5,7,3].

Если мы производим выборку с заменой несколько раз, чтобы создать размеры выборки, равные размеру X (например, [7,7,2,5,7], [3,5,2,2,7] и т. Д.), А затем вычислите средние значения каждого, означает ли это начальное распределение выборки?

Каково было бы байесовское распределение начальной загрузки этого?

И как байесовское начальное распределение других параметров (дисперсия и т. Д.) Выполняется таким же образом?

SpicyClubSauce
источник
4
См. Sumsar.net/blog/2015/04/… и projecteuclid.org/euclid.aos/1176345338 , возможно, @ rasmus-bååth может ответить вам;)
Тим

Ответы:

27

Загрузчик (частый) использует данные как разумное приближение к неизвестному распределению населения. Следовательно, распределение выборки статистики (функция данных) может быть аппроксимировано путем многократной повторной выборки наблюдений с заменой и вычисления статистики для каждой каждой выборки.

Пусть обозначает исходные данные. (В данном примере ) Пусть обозначает образец начальной загрузки. Такая выборка, вероятно, будет иметь некоторые наблюдения, повторенные один или несколько раз, а другие наблюдения будут отсутствовать. Среднее значение примера начальной загрузки определяется какИменно распределение по множеству загрузочных репликаций используется для аппроксимации распределения выборки из неизвестной популяции.n = 5 y b = ( y b 1 , , y b n ) m b = 1Yзнак равно(Y1,...,YN)Nзнак равно5Yбзнак равно(Y1б,...,YNб)мб

мбзнак равно1NΣязнак равно1NYяб,
мб

Чтобы понять связь между частым загрузчиком и байесовским загрузчиком, полезно посмотреть, как вычислить с другой точки зрения.мб

В каждом образце начальной загрузки каждое наблюдение происходит от 0 до раз. Пусть обозначает число случаев, когда встречается в , и пусть . Таким образом, и . Для заданного мы можем построить набор неотрицательных весов , сумма которых равна единице: , где . С помощью этой записи мы можем повторно выразить среднее значение примера начальной загрузки как y i nYбYяN y i y b h b = ( h b 1 , , h b n ) h b i{ 0 , 1 , , n - 1 , n } n i = 1 h b i = n h b w b = h b / n w b i =часябYяYбчасбзнак равно(час1б,...,часNб)часяб{0,1,...,N-1,N}Σязнак равно1Nчасябзнак равноNчасбвесбзнак равночасб/Nm b = n i = 1 w b iвесябзнак равночасяб/N

мбзнак равноΣязнак равно1NвесябYя,

То, как наблюдения выбираются для образца начальной загрузки, определяет совместное распределение для . В частности, имеет полиномиальное распределение и, следовательно,Следовательно, мы можем вычислить , нарисовав из его распределения и вычислив скалярное произведение с помощью . С этой новой точки зрения, кажется, что наблюдения являются фиксированными, в то время как веса варьируются.ч б ( нвесбчасбм б ш б у у

(Nвесб)~полиномиальной(N,(1/N)язнак равно1N),
мбвесбY

В байесовском умозаключении наблюдения действительно считаются фиксированными, поэтому эта новая перспектива кажется близкой байесовскому подходу. Действительно, расчет среднего по байесовскому бутстрапу отличается только распределением весов. (Тем не менее, с концептуальной точки зрения байесовский бутстрап весьма отличается от частой версии.) Данные фиксированы, а веса являются неизвестными параметрами. Нас может интересовать некоторый функционал данных, который зависит от неизвестных параметров: w μ = n i = 1 w iYвес

μзнак равноΣязнак равно1NвесяYя,

Вот эскиз эскиза модели за байесовской начальной загрузкой: Распределение выборки для наблюдений является полиномиальным, а предшествующее для весов - это предельное распределение Дирихле, которое помещает весь свой вес в вершины симплекса. (Некоторые авторы называют эту модель полиномиальной моделью правдоподобия .)

Эта модель производит следующее апостериорное распределение для весов: (Это распределение плоское по симплексу.) Два распределения для весов (частое и байесовское) очень похожи: они имеют одинаковые средние и одинаковые ковариации. Распределение Дирихле «более гладкое», чем распределение многочленов, поэтому байесовский бутстрап можно назвать сглаженным бутстрапом. Мы можем интерпретировать частичную загрузку как приближение к байесовской загрузке.

вес~Дирихле(1,...,1),

Учитывая апостериорное распределение для весов, мы можем аппроксимировать апостериорное распределение функционала путем повторной выборки из его распределения Дирихле и вычисления точечного произведения с помощью .μвесY

Мы можем принять схему оценивания уравнений где - вектор оценивающих функций, который зависит от неизвестный параметр (вектор) и - это вектор нулей. Если эта система уравнений имеет единственное решение для заданных и , то мы можем вычислить ее апостериорное распределение, извлекая из его апостериорного распределения и оценивая это решение. (Каркас оценки уравнений используется с эмпирической вероятностью и с обобщенным методом моментов (GMM).)

Σязнак равно1Nвесяграмм(Yя,θ)знак равно0_,
грамм(Yя,θ)θ0_θYвесвес

Простейший случай - это тот, с которым мы уже имели дело: Для среднего значения и дисперсии мы иметь Настройка немного сложнее, чем для частой начальной загрузки, поэтому байесовец может принять частую загрузку в качестве быстрого приближения.

Σязнак равно1Nвеся(Yя-μ)знак равно0.
θзнак равно(μ,v)
грамм(Yя,θ)знак равно(Yя-μ(Yя-μ)2-v),
MEF
источник
1
Спасибо за очень подробное описание. Лично я был бы признателен за краткое изложение того, когда выбирать каждый из них.
ErichBSchulz