Я новичок в независимом компонентном анализе (ICA) и имею только элементарное понимание метода. Мне кажется, что ICA похож на Факторный анализ (FA) с одним исключением: ICA предполагает, что наблюдаемые случайные величины являются линейной комбинацией независимых компонентов / факторов, которые не являются гауссовыми, тогда как классическая модель FA предполагает, что наблюдаемые случайные величины являются линейной комбинацией коррелированных гауссовых компонентов / факторов.
Точно ли выше?
multivariate-analysis
factor-analysis
ica
stats_student
источник
источник
Ответы:
FA, PCA и ICA все «связаны», поскольку все три из них ищут базисные векторы, на которые проецируются данные, так что вы максимизируете критерии вставки здесь. Думайте о базовых векторах как об инкапсуляции линейных комбинаций.
Например, предположим, что ваша матрица данных была матрицей x , то есть у вас есть две случайные переменные и по наблюдений каждой из них. Затем предположим, что вы нашли базисный вектор . Когда вы извлекаете (первый) сигнал (назовите его вектором ), это делается так:Z 2 N N w=[0.1−4] y
Это просто означает «умножить 0,1 на первую строку ваших данных и вычесть 4 раза вторую строку ваших данных». Тогда это дает , который, конечно, является вектором x , у которого есть свойство, при котором вы максимизировали его критерии вставки здесь.y 1 N
Так каковы эти критерии?
Критерии второго порядка:
В PCA вы находите базисные векторы, которые «лучше всего объясняют» дисперсию ваших данных. Первый (то есть самый высокий рейтинг) базисный вектор будет таким, который наилучшим образом соответствует всем отклонениям от ваших данных. У второго тоже есть этот критерий, но он должен быть ортогональн к первому, и так далее, и так далее. (Оказывается, эти базисные векторы для PCA - не что иное, как собственные векторы ковариационной матрицы ваших данных).
В FA есть различие между ним и PCA, потому что FA является генеративным, тогда как PCA нет. Я видел, что FA описывают как «PCA с шумом», где «шум» называют «специфическими факторами». Тем не менее, общий вывод заключается в том, что PCA и FA основаны на статистике второго порядка (ковариация) и ничего выше.
Критерии высшего порядка:
В ICA вы снова находите базисные векторы, но на этот раз вам нужны базисные векторы, которые дают результат, так что этот результирующий вектор является одним из независимых компонентов исходных данных. Вы можете сделать это путем максимизации абсолютного значения нормализованного эксцесса - статистики 4-го порядка. То есть вы проецируете свои данные на некоторый базисный вектор и измеряете эксцесс результата. Вы немного меняете свой базисный вектор (обычно посредством градиентного подъема), а затем снова измеряете эксцесс и т. Д. И т. Д. В конечном итоге вы попадете в базисный вектор, который даст вам результат, который имеет максимально возможный эксцесс, и это ваш независимый составная часть.
Верхняя диаграмма выше может помочь вам визуализировать это. Вы можете ясно видеть, как векторы ICA соответствуют осям данных (независимо друг от друга), тогда как векторы PCA пытаются найти направления, где дисперсия максимизируется. (Что-то вроде результирующего).
Если на верхней диаграмме векторы PCA выглядят так, как будто они почти соответствуют векторам ICA, то это просто совпадение. Вот еще один пример для разных данных и матрицы смешения, где они сильно различаются. ;-)
источник
Не совсем. Факторный анализ оперирует вторыми моментами и действительно надеется, что данные являются гауссовыми, так что на отношения правдоподобия и тому подобное не влияет ненормальность. ICA, с другой стороны, мотивируется идеей, что когда вы складываете вещи, вы получаете что-то нормальное, благодаря CLT, и действительно надеетесь, что данные ненормальные, так что ненормальные компоненты могут быть извлечены из их. Чтобы использовать ненормальность, ICA пытается максимизировать четвертый момент линейной комбинации входов:
Во всяком случае, ICA следует сравнить с PCA, который максимизирует второй момент (дисперсию) стандартизированной комбинации входов.
источник