При взгляде на собственные векторы ковариационной матрицы мы получаем направления максимальной дисперсии (первый собственный вектор - это направление, в котором данные наиболее сильно варьируются и т. Д.); это называется анализ главных компонентов (PCA).
Мне было интересно, что это будет означать, чтобы посмотреть на собственные векторы / значения матрицы взаимной информации, они будут указывать в направлении максимальной энтропии?
Ответы:
Хотя это и не прямой ответ (так как речь идет о точечной взаимной информации), посмотрите на статью, в которой слово word2vec относится к разложению матрицы PMI по сингулярному значению :
источник