Есть слова из «Элементы статистического обучения» на странице 91:
K-центроиды в p-мерном входном пространстве охватывают самое большее K-1-мерное подпространство, и если p намного больше K, это приведет к значительному уменьшению размера.
У меня есть два вопроса:
- Почему K-центроиды в p-мерном входном пространстве охватывают самое большее K-1-мерное подпространство?
- Как расположены центроиды K?
Там нет объяснения в книге, и я не нашел ответа из соответствующих работ.
machine-learning
discriminant-analysis
jerry_sjtu
источник
источник
Ответы:
Дискриминанты - это оси и скрытые переменные, которые наиболее сильно дифференцируют классы. Число возможных дискриминантов равно . Например, при k = 3 классах в p = 2-мерном пространстве может существовать не более 2 дискриминантов, как на графике ниже. (Обратите внимание, что дискриминанты не обязательно являются ортогональными как оси, нарисованные в исходном пространстве, хотя они, как переменные, некоррелированы.) Центроиды классов расположены в подпространстве дискриминанта в соответствии с их перпендикулярными координатами на дискриминантах.m i n ( k - 1 , p )
Алгебра LDA на этапе извлечения здесь .
источник
Хотя «Элементы статистического обучения» - блестящая книга, для ее получения требуется относительно высокий уровень знаний. В Интернете есть много других ресурсов, которые помогут вам понять темы книги.
Давайте возьмем очень простой пример линейного дискриминантного анализа, где вы хотите сгруппировать набор двумерных точек данных в группы K = 2. Падение размеров будет только K-1 = 2-1 = 1. Как объясняет @deinst, падение размеров можно объяснить с помощью элементарной геометрии.
Две точки в любом измерении могут быть соединены линией, и линия является одномерной. Это пример K-1 = 2-1 = 1-мерного подпространства.
Теперь в этом простом примере множество точек данных будет разбросано в двухмерном пространстве. Точки будут представлены (x, y), поэтому, например, у вас могут быть такие точки данных, как (1,2), (2,1), (9,10), (13,13). Теперь использование линейного дискриминантного анализа для создания двух групп A и B приведет к тому, что точки данных будут классифицированы как принадлежащие группе A или группе B, так что определенные свойства будут удовлетворены. Линейный дискриминантный анализ пытается максимизировать дисперсию между группами по сравнению с дисперсией внутри групп.
Другими словами, группы A и B будут находиться далеко друг от друга и содержать точки данных, которые расположены близко друг к другу. В этом простом примере ясно, что точки будут сгруппированы следующим образом. Группа A = {(1,2), (2,1)} и Группа B = {(9,10), (13,13)}.
Теперь центроиды рассчитываются как центроиды групп точек данных, так
Центроиды - это просто 2 точки, и они охватывают одномерную линию, которая соединяет их вместе.
Вы можете думать о линейном дискриминантном анализе как о проекции точек данных на линию так, чтобы две группы точек данных были «максимально разделены»
Если бы у вас было три группы (скажем, трехмерные точки данных), вы бы получили три центроида, просто три точки и три точки в трехмерном пространстве, определяющие двухмерную плоскость. Опять правило К-1 = 3-1 = 2 размера.
Я предлагаю вам поискать в Интернете ресурсы, которые помогут объяснить и расширить простое введение, которое я дал; например http://www.music.mcgill.ca/~ich/classes/mumt611_07/classifiers/lda_theory.pdf
источник