Постоянно ли ЭМ-алгоритм оценивает параметры в модели гауссовой смеси?

9

Я изучаю модель гауссовой смеси и сам задаю этот вопрос.

Предположим, что базовые данные генерируются из смеси гауссовского распределения и у каждого из них есть средний вектор \ mu_k \ in \ mathbb {R} ^ p , где 1 \ leq k \ leq K, и каждый из них имеет одинаковое ко дисперсионная матрица \ Sigma и предположим, что \ Sigma является диагональной матрицей. И предположим, что соотношение смешивания составляет 1 / К , т.е. каждый кластер имеет одинаковый вес.KμkRp1kKΣΣ1/K

Таким образом, в этом идеальном примере единственной задачей является оценка K средних векторов μkRp , где 1kK и матрица ковариантности Σ .

Мой вопрос: если мы будем использовать EM-алгоритм, сможем ли мы последовательно оценить μk и Σ , т.е. когда размер выборки n , получит ли оценщик, созданный EM-алгоритмом, истинное значение μk и Σ ?

KevinKim
источник

Ответы:

1

Если алгоритм каждый раз инициализируется случайными значениями, то нет, сходимость не обязательно будет последовательной. Неслучайная инициализация, вероятно, будет каждый раз приводить к одному и тому же результату, но я не верю, что это необходимо для получения «правильных» значений μk .

Кроме того, фиксируя соотношение смешивания к и устанавливая диагональ , алгоритм становится очень похожим на алгоритм средних. Это также имеет противоречивую сходимость, в зависимости от случайной инициализации.1/KΣk

dcorney
источник
Я численно экспериментировал, по крайней мере, для 2 независимых классов нормального распределения, EM производит последовательную оценку среднего класса. Тем не менее, K означает, что не может этого сделать, я доказал это математически
KevinKim
1
Не могли бы вы дать более подробную информацию, пожалуйста? Например, какие данные вы использовали, как вы инициализировали параметры и т. Д.
dcorney
Согласитесь с @dcorney. Это действительно зависит от начальных значений, которые вы выберете. По крайней мере, на практике неправильный выбор начальных значений приводит к непоследовательной оценке (я использую пакет mixtools R)
Герман Демидов