У меня есть несколько простых концептуальных вопросов, которые я хотел бы прояснить в отношении MLE (Максимальная оценка правдоподобия) и какую связь он имеет, если таковые имеются, с EM (Максимальное ожидание).
Насколько я понимаю, если кто-то говорит «Мы использовали MLE», означает ли это автоматически, что у него есть явная модель PDF их данных? Мне кажется, что ответ на это да. Другими словами, если кто-то скажет «MLE», будет справедливо спросить его, какой PDF-файл он использует. Было бы это правильно?
И наконец, в EM я понимаю, что в EM мы на самом деле не знаем - или не должны знать - базовый PDF наших данных. Это моё понимание.
Спасибо.
Ответы:
Метод MLE может применяться в тех случаях, когда кто-то знает базовую функциональную форму pdf (например, гауссовскую, логарифмическую, экспоненциальную или любую другую), но не базовые параметры; например, они не знают значений и в pdf: или любой другой тип PDF, который они принимают. Задача метода MLE состоит в том, чтобы выбрать лучшие (то есть наиболее вероятные) значения для неизвестных параметров, учитывая конкретные измерения данных которые фактически наблюдались , Поэтому, чтобы ответить на ваш первый вопрос, да, вы всегда можете спросить кого-нибудь, чтоμ σ
Алгоритм EM, как я видел его в прошлом, больше похож на мета-алгоритм, где некоторые метаданные отсутствуют, и вы должны оценить это также. Так, например, возможно, у меня есть PDF, который представляет собой смесь нескольких гауссиан, например: Внешне, за исключением добавление параметра амплитуды , это очень похоже на предыдущую задачу, но что если я скажу вам, что мы также даже не знаем значение (т. е. количество мод в гауссовой смеси) и мы хотим оценить это по данным измерений
В этом случае у вас есть проблема, потому что каждое возможное значение (это «мета» часть, на которую я ссылался выше) действительно в некотором смысле генерирует другую модель. Если , то у вас есть модель с тремя параметрами ( , , ), тогда как если , то у вас есть модель с шестью параметрами ( , , , , , ). Наилучшие значения, которые вы получите для ( , , ) вN N=1 A1 μ1 σ1 N=2 A1 A2 μ1 μ2 σ1 σ2 A1 μ1 σ1 N=1 Модель нельзя напрямую сравнивать со значениями наилучшего соответствия, которые вы получаете для тех же параметров в модели , потому что это разные модели с разным числом степеней свободы .N=2
Роль алгоритма EM является создание механизма для создания этих типов сравнений ( как правило , путем наложения «сложности штрафа» , который предпочитает меньшие значения ) , так что мы можем выбрать лучшее общее значение для .N N
Итак, чтобы ответить на ваш оригинальный вопрос, алгоритм EM требует менее точной спецификации формы PDF; Можно сказать, что он рассматривает ряд альтернативных опций (например, опцию, где , , и т. д.), но все же требует, чтобы вы указали что-то об основной математической форме этих опций: вам все еще нужно указать «семейство» возможных PDF-файлов, в некотором смысле, даже если вы позволяете алгоритму решать за вас, какой «член» семейства обеспечивает наилучшее соответствие данным.N=1 N=2 N=3
источник
MLE требует знания как минимум маргинальных распределений. При использовании MLE мы обычно оцениваем параметры совместного распределения, делая предположение о iid, а затем определяем совместное распределение как произведение предельных значений, которое мы знаем. Есть варианты, но это идея в большинстве случаев. Так что MLE - это параметрический метод.
EM-алгоритм - это метод максимизации функций правдоподобия, которые входят в состав алгоритма MLE. Это часто (обычно?) Используется для численных решений.
Всякий раз, когда мы используем MLE, нам нужны как минимум маргинальные распределения и некоторые предположения о том, как соединение связано с маргиналами (независимость и т. Д.). Поэтому оба метода основаны на знании распределений.
источник