Почему логистическая регрессия является линейной моделью?

24

Я хочу знать, почему логистическая регрессия называется линейной моделью. Он использует сигмовидную функцию, которая не является линейной. Так почему же логистическая регрессия является линейной моделью?

regression logistic terminology user34790
источник

6

Логит (логарифм шансов) является линейным по параметрам, но, насколько я знаю , люди не относятся к логистической регрессии как к линейной. Можете ли вы привести слова того, кто это сказал?

π

$\pi$

gung - Восстановить Монику

@ gung-ReinstateMonica Например, в книге глубокого обучения на стр. 169 ( deeplearningbook.org/contents/mlp.html ). В книге отмечается, что «линейные модели, такие как логистическая регрессия и линейная регрессия, привлекательны…». Я думаю, что они имели в виду обобщенную линейную модель для логистической регрессии.

МОЛОДОЕ

33

Модель логистической регрессии имеет вид Она называетсяобобщеннойлинейной моделью не потому, что предполагаемая вероятность события ответа является линейной, а потому, что логит оцененной вероятности ответа является линейной функциейпараметров~~предикторов~~.

l o g i t (p_{i}) = l n (\frac{p_{i}}{1 - p_{i}}) = β_{0} + β_{1} x_{1, i} + β_{2} x_{2, i} + \dots + β_{p} x_{p, i} .

$\mathrm{logit}(p_i) = \mathrm{ln}\left(\frac{p_i}{1-p_i}\right) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i}.$

В более общем смысле обобщенная линейная модель имеет вид где - ожидаемое значение ответ с учетом ковариат.

g (μ_{i}) = β_{0} + β_{1} x_{1, i} + β_{2} x_{2, i} + \dots + β_{p} x_{p, i},

$\mathrm{g}(\mu_i) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i},$

μ

$\mu$

Редактировать: Спасибо, что поправили.

П Шнелл
источник

7

Если бы вы написали «обобщенная линейная» вместо «линейная» и параметры вместо предикторов, это было бы правильно. (Многие модели логистической регрессии не являются линейными в предикторах. Например, никакая логистическая регрессия с термином взаимодействия не будет линейной в придикторах.)

whuber

Вы правы, спасибо. Я обновил свой ответ, чтобы отразить это.

П Шнелл

что там пи?

Аэрин

7

Логистическая регрессия использует общее линейное уравнение . В линейной регрессии является непрерывной зависимой переменной, но в логистической регрессии это регрессия для вероятности категориального исхода (например, 0 и 1). $Y=b_0+∑(b_i X_i)+\epsilon$ $Y$

Вероятность : $Y=1$

п (Y знак равно 1) знак равно \frac{1}{1 + е^{- (б_{0} + Σ (б_{я} {Икс}_{я}))}}

$P(Y=1) = {1 \over 1+e^{-(b_0+\sum{(b_iX_i)})}}$

lennon310
источник

7

Линейный означает линейный в бета-версиях (коэффициенты), но не в х (независимые переменные), поэтому, пока ваши бета-версии не являются нелинейными, ваша модель является линейной.

Илунь Чжан
источник

3

Это правда , - но , к сожалению , логистическая регрессия является обобщенной линейной моделью , и это не линейно по параметрам.

whuber

Почему логистическая регрессия является линейной моделью?

Ответы: