Сравнение оценки максимального правдоподобия (MLE) и теоремы Байеса

В теореме Байеса , а из книги, которую я читаю, называется вероятность , но я предполагаю , что это всего лишь условная вероятность от дается , не так ли? p(x|y

$$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$$ $p(x|y)$$x$$y$

Оценка максимального правдоподобия пытается максимизировать , верно? Если это так, я сильно запутался, потому что обе случайные величины, верно? Для максимального только выяснить , в ? Еще одна проблема, если эти 2 случайные величины независимы, то это просто , верно? Тогда максимизация означает максимизацию .х , у р ( х | у $p(x|y)$$x,y$$p(x|y)$ р(х|у)р(х)р(х|у)р(х$\hat y$$p(x|y)$$p(x)$$p(x|y)$$p(x)$

Или, может быть, $p(x|y)$ является функцией некоторых параметров $\theta$ , то есть $p(x|y; \theta)$ , и MLE пытается найти $\theta$ которая может максимизировать $p(x|y)$ ? Или даже , что $y$ на самом деле параметры модели, а не случайной величины, максимизируя вероятность, чтобы найти у ?$\hat y$

ОБНОВИТЬ

Я новичок в машинном обучении, и эта проблема - путаница из материала, который я прочитал из учебника по машинному обучению. Здесь, учитывая наблюдаемый набор данных $\{x_1,x_2,...,x_n\}$ , целевыми значениями являются , и я пытаюсь подогнать модель по этому набору данных, поэтому я предполагаю, что, учитывая , имеет форму распределения с именем параметризованный , то есть , и я предполагаю, что это апостериорная вероятность , верно?x y W θ p ( y | x ; θ $\{y_1,y_2,...,y_n\}$$x$$y$$W$$\theta$$p(y|x; \theta)$

Теперь, чтобы оценить значение , я использую MLE. Хорошо, вот моя проблема, я думаю, что вероятность , верно? Максимизация вероятности означает, что я должен выбрать правильные и ?p ( x | y ; θ $\theta$$p(x|y;\theta)$$\theta$$y$

Если мое понимание вероятности неверно, пожалуйста, покажите мне правильный путь.

Я думаю, что основное недоразумение проистекает из вопросов, которые вы задаете в первой половине вашего вопроса. Я отношусь к этому ответу как к контрасту MLE и байесовской логической логики. Очень доступное обсуждение MLE можно найти в главе 1 Гэри Кинга « Объединяющая политическая методология». Байесовский анализ данных Гельмана может предоставить подробную информацию о байесовской стороне.

В теореме Байеса и из книги, которую я читаю,p(x|y)называется вероятностью, но я предполагаю, что это просто условная вероятностьx,заданнаяy, верно?

$$p(y|x)=\frac{p(x|y)p(y)}{p(x)}$$ $p(x|y)$$x$$y$

Вероятность - это условная вероятность. Для байесовской формулы эта формула описывает распределение параметра учетом данных x и предшествующего значения p ( y ) . Но поскольку эти обозначения не отражают ваше намерение, впредь я буду использовать ( θ , y ) для параметров и x для ваших данных.$y$$x$$p(y)$$\theta$$y$$x$

Но ваше обновление указывает, что наблюдаются из некоторого распределения p ( x | θ , y ) . Если мы разместим наши данные и параметры в соответствующих местах в правиле Байеса, мы обнаружим, что эти дополнительные параметры не создают проблем для байесовских уравнений: p ( θ | x , y ) = p ( x , y | θ ) p ( θ $x$$p(x|\theta,y)$

$$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$$

Я верю, что это выражение - то, что вам нужно в вашем обновлении.

Оценка максимального правдоподобия пытается максимизировать , верно?$p(x,y|\theta)$

Да. MLE утверждает, что то есть обрабатывает член p ( θ , y

$$p(x,y|\theta) \propto p(\theta|x,y)$$ как неизвестная (и непознаваемая) константа. Напротив, в байесовском умозаключенииp(x)рассматриваетсякак нормализующая константа (так что вероятности суммируются / интегрируются в единицу), аp(θ,y) -как ключевой элемент информации: предыдущая. Мы можем думать оp(θ,y)как о способе наложения штрафа на процедуру оптимизации за «слишком большое отклонение» от региона, который мы считаем наиболее вероятным.$\frac{p(\theta,y)}{p(x)}$$p(x)$$p(\theta,y)$$p(\theta,y)$

Если это так, я сильно запутался, потому что - случайные переменные, верно? Для максимального р ( х , у | & thetas ; ) просто выяснить & thetas ?$x,y,\theta$$p(x,y|\theta)$$\hat{\theta}$

В предполагается быть фиксированной величиной, неизвестно , но в состоянии сделать вывод, не является случайной величиной. Байесовский вывод рассматривает θ как случайную величину. Функции плотности байесовской логический вывод ставит вероятность в и получают функцию плотности вероятности из , а не точечного резюме модели, как и в ОМПЕ. То есть, байесовский вывод рассматривает полный диапазон значений параметров и вероятность каждого из них. MLE утверждает , что θ является адекватной сводкой данных , приведенных в модель.$\hat{\theta}$$\theta$$\hat{\theta}$

Обычно является функцией параметра y . Рассмотрим следующую переформулировку теоремы Байеса:$p(x|y)$$y$

$$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$$

Или даже более явно (в отношении понятия вероятности):

$$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$$

Для конкретного примера рассмотрим модель

$$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$$

• $p(x|y)$

$p(x|y)$$x$$y$

• $p(x|y)$$p(x)$$p(x|y)$$p(x)$

$p(x|y) = p(x)$$p(x)$$y$$y$

• $p(x|y)$$\theta$$p(x|y;\theta)$$\theta$$p(x|y)$$\hat{y}$

$\theta$$y$$p(x|y;\theta)$$\theta$

Из справочного руководства STAN:

Если предшествующее является однородным, задний режим соответствует оценке максимального правдоподобия (MLE) параметров. Если предшествующее значение не является однородным, задний режим иногда называют максимальной апостериорной (MAP) оценкой.