Алгоритм оптимизации часто используется для оценки максимального правдоподобия при наличии отсутствующих данных.
Я пытаюсь понять алгоритм EM, чтобы иметь возможность его реализовать и использовать. Я провел целый день, читая теорию и документ, где EM используется для отслеживания самолета с использованием информации о местоположении, поступающей с радара. Честно говоря, я не думаю, что полностью понимаю...
Я изучал алгоритмы кластеризации данных (обучение без учителя): EM и k-means. Я продолжаю читать следующее: К-среднее является вариантом EM, с предположениями, что кластеры являются сферическими. Может кто-нибудь объяснить вышеприведенное предложение? Я не понимаю, что означает сферическое, и как...
В чем разница между алгоритмами EM (ожидание максимизации) и градиентного подъема (или спуска)? Есть ли условия, при которых они
Я где-то читал, что вариационный метод Байеса является обобщением алгоритма EM. Действительно, итерационные части алгоритмов очень похожи. Чтобы проверить, является ли алгоритм EM специальной версией Вариационного Байеса, я попробовал следующее: YYY - данные, - коллекция скрытых переменных, а -...
Примечание: я отправляю вопрос от моего бывшего студента, который не может публиковать сообщения самостоятельно по техническим причинам. Для данного iid образца Икс1, … , ХNИкс1,...,ИксNx_1,\ldots,x_n из распределения Вейбулла pdf еК( х ) = к хк - 1е- хКх > 0еК(Икс)знак...
Я прочитал несколько объяснений алгоритма EM (например, из Бишопа «Распознавание образов и машинное обучение» и из «Первого курса по машинному обучению» Роджера и Джеролами). Вывод ЭМ в порядке, я понимаю это. Я также понимаю, почему алгоритм охватывает что-то: на каждом шаге мы улучшаем результат,...
Из того, что я мало знаю, ЭМ-алгоритм может быть использован для нахождения максимальной вероятности, когда установка на ноль частных производных по параметрам вероятности дает набор уравнений, которые не могут быть решены аналитически. Но нужен ли EM-алгоритм вместо использования какой-либо...
После выполнения анализа главных компонентов (PCA) я хочу спроецировать новый вектор на пространство PCA (т.е. найти его координаты в системе координат PCA). Я рассчитал PCA на языке R, используя prcomp. Теперь я должен быть в состоянии умножить свой вектор на матрицу вращения PCA. Должны ли...
В подходе EM-алгоритма мы используем неравенство Дженсена для получения logp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dzlogp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dz\log p(x|\theta) \geq \int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz - \int \log p(z|x,\theta)...
Я хочу реализовать алгоритм EM вручную , а затем сравнить его с результатами normalmixEMиз mixtoolsпакета. Конечно, я был бы счастлив, если бы они оба привели к одинаковым результатам. Основное упоминание - Джеффри МакЛахлан (2000), Модели конечных смесей . У меня плотность смеси двух гауссианов, в...
Рассмотрим логарифмическую вероятность смешения гауссиан: л ( сN; θ ) = ∑т = 1Nжурнале( х( т )| θ)= ∑т = 1Nжурнал{ ∑я = 1Кпяе( х( т )| μ( я ), σ2я) }L(SN;θ)знак равноΣTзнак равно1Nжурнале(Икс(T)|θ)знак равноΣTзнак равно1Nжурнал{Σязнак равно1Кпяе(Икс(T)|μ(я),σя2)}l(S_n; \theta) = \sum^n_{t=1}\log...
Процедура EM кажется непосвященным более или менее черной магией. Оцените параметры HMM (например), используя контролируемые данные. Затем декодируйте непомеченные данные, используя прямую перемотку назад для «подсчета» событий, как если бы данные были помечены, более или менее. Почему это делает...
Я пытаюсь научиться использовать случайные поля Маркова для сегментирования областей на изображении. Я не понимаю некоторые параметры в MRF или почему максимизация ожидания, которую я выполняю, иногда не сходится к решению. Исходя из теоремы Байеса, я имею , где y - значение серой шкалы пикселя, а...
Существует много литературы, в которой подчеркивается, что метод максимизации ожиданий на моделях смесей (смесь гауссовской, скрытой марковской модели и т. Д.). Почему EM важен? EM - это просто способ оптимизации, который широко не используется в качестве метода, основанного на градиенте (метод...
Я знаю, что k-средних обычно оптимизируется с использованием максимизации ожиданий . Однако мы можем оптимизировать его функцию потерь так же, как мы оптимизируем любую другую! Я нашел несколько работ, которые на самом деле используют стохастический градиентный спуск для больших k-средних, но я не...
Я пытаюсь отделить две группы значений из одного набора данных. Я могу предположить, что одна из популяций обычно распределена и составляет не менее половины размера выборки. Значения второго значения ниже или выше значений первого (распределение неизвестно). То, что я пытаюсь сделать, - это найти...
Существуют ли какие-либо быстрые альтернативы алгоритму EM для обучения моделей со скрытыми переменными (особенно pLSA)? Я в порядке, жертвуя точностью ради...
Скажем, у меня 50 миллионов уникальных вещей, и я беру 10 миллионов образцов (с заменой) ... Первый прикрепленный график показывает, сколько раз я выбираю одну и ту же "вещь", что относительно редко население больше, чем моя выборка. Однако, если моя популяция составляет всего 10 миллионов штук, и...
У меня есть несколько простых концептуальных вопросов, которые я хотел бы прояснить в отношении MLE (Максимальная оценка правдоподобия) и какую связь он имеет, если таковые имеются, с EM (Максимальное ожидание). Насколько я понимаю, если кто-то говорит «Мы использовали MLE», означает ли это...
Каковы преимущества придания определенных начальных значений вероятностям перехода в скрытой марковской модели? В конце концов система изучит их, так какой смысл давать значения, отличные от случайных? Имеет ли базовый алгоритм такую разницу, как Баум-Уэлч? Если бы я очень точно знал вероятности...