Вычислить и наметить границу решения LDA

Я видел сюжет LDA (линейный дискриминантный анализ) с границами решения из «Элемента статистического обучения» : введите описание изображения здесь

Я понимаю, что данные проецируются на низкоразмерное подпространство. Тем не менее, я хотел бы знать, как мы получаем границы решений в исходном измерении, чтобы я мог проецировать границы решений на подпространство более низкого измерения (как черные линии на изображении выше).

Есть ли формула, которую я могу использовать для вычисления границ решения в исходном (более высоком) измерении? Если да, то какие данные нужны для этой формулы?

r references discriminant-analysis mynameisJEFF
источник

Вместо границ принятия решений вы, вероятно, найдете больше полезности при рассмотрении апостериорных вероятностей членства в классе. Это может быть сделано с меньшим количеством предположений с использованием политомной (полиномиальной) логистической регрессии, но также может быть сделано с LDA (апостериорные вероятности).

Фрэнк Харрелл

В рамках LDA эти классификационные границы составляют то, что известно как территориальная карта . Я работаю с SPSS, и он готовит ее , хотя и в текстовом формате. По словам одного из разработчиков SPSS, границы легко найти с помощью практического подхода:

ttnphns

(продолжение) каждая точка тонкой сетки классифицируется LDA, и затем, если точка была классифицирована как ее соседи, эта точка не отображается. Таким образом, в конце остаются только границы как «полосы неопределенности». Образец цитирования:

they (bondaries) are never computed. The plot is drawn by classifying every character cell in it, then blanking out all those surrounded by cells classified into the same category

ttnphns

Эта конкретная фигура в Hastie et al. был произведен без вычисления уравнений границ классов. Вместо этого использовался алгоритм, описанный @ttnphns в комментариях, см. Сноску 2 в разделе 4.3, стр. 110:

Для этого рисунка и многих аналогичных рисунков в книге мы вычисляем границы решения с помощью исчерпывающего метода контурирования. Мы вычисляем решающее правило на тонкой решетке точек, а затем используем контурные алгоритмы для вычисления границ.

Однако я продолжу описывать, как получить уравнения границ классов LDA.

Давайте начнем с простого 2D-примера. Вот данные из набора данных Iris ; Я отбрасываю измерения лепестков и учитываю только длину чашелистика и ширину чашелистика. Три класса отмечены красным, зеленым и синим цветами:

Iris dataset

Обозначим средние классы (центроиды) через . LDA предполагает, что все классы имеют одинаковую внутриклассовую ковариацию; учитывая данные, эта общая ковариационная матрица оценивается (с точностью до масштабирования) как $\boldsymbol\mu_1, \boldsymbol\mu_2, \boldsymbol\mu_3$ , где сумма по всем точкам данных и центроида соответствующего класс вычитается из каждой точки. $\mathbf{W} = \sum_i (\mathbf{x}_i-\boldsymbol \mu_k)(\mathbf{x}_i-\boldsymbol \mu_k)^\top$

$1$ $2$ $(\boldsymbol \mu_{1} + \boldsymbol \mu_{2})/2$ $\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$

$y=ax+b$ $a$ $b$

$\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{i} - \boldsymbol \mu_{j})$

LDA of the Iris dataset, decision boundaries

Три линии пересекаются в одной точке, как и следовало ожидать. Границы решения задаются лучами, начинающимися с точки пересечения:

LDA of the Iris dataset, final decision boundaries

$K\gg 2$ $K(K-1)/2$

$D>2$ $\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$ $(\boldsymbol \mu_{1} + \boldsymbol \mu_{2})/2$ $D-1$

аппендикс

$\mathbf{W}^{-1} (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$

$\mathbf{W}^{-1}$ $\boldsymbol \mu_{1} - \boldsymbol \mu_{2}$
$\mathbf x$ $k$ $(\mathbf x - \boldsymbol \mu_k)^\top \mathbf W^{-1}(\mathbf x - \boldsymbol \mu_k)$ $1$ $2$ $\mathbf x^\top \mathbf W^{-1} (\boldsymbol \mu_{1} - \boldsymbol \mu_{2}) = \mathrm{const}$
$\mathbf{W}$ $\boldsymbol \mu_1 - \boldsymbol \mu_2$ $\mathbf{W}$ $\mathbf{W} = \mathbf U \mathbf D \mathbf U^\top$ $\mathbf S = \mathbf D^{-1/2} \mathbf U^\top$ $\mathbf S$ $\mathbf S (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$ $\mathbf S^{-1}$ $\mathbf S^\top \mathbf S \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$ $\mathbf S$

амеба говорит восстановить монику
источник

Я не изучал ваш ответ. Это кажется сложным и может быть правильным. Как обстоят дела с практичным и более простым подходом «разбросать точки, классифицировать, а затем вывести границы», который я изложил в комментарии? Ваш подход сопоставим с его результатами (которые, очевидно, верны)? Как вы думаете?

ttnphns

@ttnphns: Единственная техническая часть моего ответа (нумерованный список из 3 пунктов) - это некоторые доказательства, которые можно безопасно пропустить. В остальном, я считаю, не особо изощренно! Может быть, мне следует переместить эту «лишнюю» часть вниз, как приложение? Что касается ваших комментариев: я думаю, что это правильный подход, и мне нравится, как ASCII выглядит как «территориальная карта» SPSS. Может быть, вы могли бы переместить ваши комментарии в отдельный ответ (и дать там примерную карту SPSS), я думаю, что это будет полезно для будущих ссылок. Результаты, конечно, должны быть эквивалентны.

говорит амеба, восстанови Монику

@ttnphns: Оказывается, Hastie et al. использовал именно тот метод, который вы описали здесь, чтобы построить их фигуры, в том числе воспроизведенный в ОП. Я нашел сноску, говорящую именно это (и обновил мой ответ, цитируя его в начале).

говорит амеба: восстанови Монику

Waouh! Отличный ответ (через 3 года!) Могу я спросить, как вы рисуете сегменты в этой конкретной задаче?

Ксавье Бурре Сикот

Вычислить и наметить границу решения LDA

Ответы: