Логистическая регрессия для мультикласса

Я получил модель для логистической регрессии для мультикласса, которая дается

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})}$

где k - число классов, тета - оцениваемый параметр, j - j-й класс, Xi - тренировочные данные.

Ну, одну вещь, которую я не понял, - почему часть знаменателя нормализовала модель. Я имею в виду, что вероятность остается между 0 и 1.

1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})

$1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})$

Я имею в виду, что я привык к логистической регрессии

P (Y = 1 | X^{(i)}) = 1 / (1 + \exp (- θ^{T} X^{(i)}))

$P(Y=1|X^{(i)}) = 1/ (1 + \exp(-\theta^T X^{(i)}))$

На самом деле, я запутался с предметом номинирования. В этом случае, поскольку это сигмовидная функция, она никогда не позволяет значению быть меньше 0 или больше 1. Но я запутался в случае мультикласса. Почему это так?

Это моя ссылка https://list.scms.waikato.ac.nz/pipermail/wekalist/2005-Feb февраля/ 029738.html . Я думаю, что это должно было нормализовать

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{\sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^T X^{(i)})}{\sum_{m=1}^{k} \exp(\theta_m^T X^{(i)})}$

logistic multinomial user34790
источник

Подсказка: в логистической регрессии неявно существуют две вероятности: вероятность и вероятность . Эти вероятности должны составлять .

Y = 1

$Y=1$

Y = 0

$Y=0$

1

$1$

whuber

Основываясь на некоторых других ваших постах, вы знаете, как разметить уравнения. Текстовые уравнения здесь трудно читать, а (подписчики?) Сбивают с толку - вы можете пометить их ?

L A T E X

$\LaTeX$

Макро

Поскольку вы публикуете здесь очень много вопросов, пожалуйста, сделайте паузу и прочитайте наш FAQ о том, как задавать хорошие вопросы. Прочтите справку по разметке чтобы вы могли сделать свои уравнения удобочитаемыми.

T E X

$\TeX$

whuber

Я отредактировал уравнение. @ Whuber На самом деле, я запутался в мультиклассовой логистической регрессии, а не в бинарной. Меня беспокоит, как получится, когда я добавлю все элементы в знаменатель нормализованной вероятности

user34790

@ user34790, когда вы делите каждый член на сумму, то вероятности отдельных классов равны 1. Кстати, что такое ?

X^{(i)}

$X^{(i)}$

Макро

Ответы:

$K$ $K> 2$ $K-1$ $K$

P (y_{i} = K | x_{i}) = 1 - \sum_{k = 1}^{K - 1} P (y_{i} = k | x_{i}) .

$P(y_i = K | x_i) = 1 - \sum_{k=1}^{K-1} P(y_i = k | x_i) .$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i})} .

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{\sum_{i=1}^K \exp(\theta_i^T x_i)} .$

K

$K$

θ_{K} = (0, \dots, 0)^{T}

$\theta_K = (0, \ldots, 0)^T$

\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i}) = \exp (0) + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) = 1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) .

$\sum_{i=1}^K \exp(\theta_i^T x_i) = \exp(0) + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) = 1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) .$

k < K

$k < K$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i})}

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i)}$

sebp
источник

Учтите, что выбор эталонного класса не важен, если вы делаете максимальную вероятность. Но если вы выполняете наказуемое максимальное правдоподобие или байесовский вывод, часто бывает более полезно оставить вероятности чрезмерно параметризованными, и позволить наказанию выбрать способ обработки избыточной параметризации. Это связано с тем, что большинство штрафных функций / априоров не являются инвариантными по отношению к выбору эталонного класса

вероятностная

i

$i$

i

$i$

k

$k$

$k$ $k-1$ $\exp(0)$ $k$ $\theta=0$

$\theta_1 X=b$

\frac{\exp (b)}{\exp (0) + \exp (b)} = \frac{\exp (0)}{\exp (0) + \exp (- b)} = \frac{1}{1 + \exp (- b)}

$\frac{\exp(b)}{\exp(0)+\exp(b)} = \frac{\exp(0)}{\exp(0)+\exp(-b)} = \frac{1}{1+\exp(-b)}$

conjugateprior
источник