Почему логистическая регрессия является линейным классификатором?

Поскольку мы используем логистическую функцию для преобразования линейной комбинации входных данных в нелинейный выход, как логистическую регрессию можно считать линейным классификатором?

Линейная регрессия похожа на нейронную сеть без скрытого слоя, так почему же нейронные сети считаются нелинейными классификаторами, а логистическая регрессия является линейной?

logistic classification neural-networks Джек Твен
источник

Преобразование «линейная комбинации входа в нелинейном выход» является одним из основной части определения о наличии линейного классификатора . Это сводит этот вопрос ко второй части, которая представляет собой демонстрацию того, что нейронные сети, как правило, не могут быть выражены как линейные классификаторы.

whuber

@whuber: Как вы объясните тот факт, что модель логистической регрессии может принимать полиномиальные переменные предиктора (например,

) для получения нелинейной границы решения? Это все еще линейный классификатор?

w_{1} \cdot x_{1}^{2} + w_{2} \cdot x_{2}^{3}

$w_1 \cdot x_1^2 + w_2 \cdot x_2^3$

stackoverflowuser2010

@Stack Концепция «линейного классификатора», по-видимому, зародилась в концепции линейной модели. «Линейность» в модели может принимать несколько форм, как описано на stats.stackexchange.com/a/148713 . Если мы примем характеристику линейных классификаторов из Википедии , то ваш полиномиальный пример будет рассматриваться как нелинейный с точки зрения заданных «признаков»

но он будет линейным с точки зрения признаков

. Это различие обеспечивает полезный способ использовать свойства линейности.

x_{1}

$x_1$

x_{2}

$x_2$

x_{1}^{2}

$x_1^2$

x_{2}^{3}

$x_2^3$

whuber

Я все еще немного озадачен вопросом о том, является ли граница принятия решения логистическим классификатором линейной? Я прошел курс обучения машинному обучению Эндрю Нга на Coursera, и он упомянул следующее :! [Введите описание изображения здесь ] ( i.stack.imgur.com/gHxfr.png ) Так что на самом деле мне кажется, что никто не может ответить на него зависит от линейности или нелинейности границы решения, которая зависит от функции Гипотезы, определенной как Htheta (X), где X - вход, а Theta - переменные нашей задачи. Это имеет смысл для вас?

Brokensword

Ответы:

\hat{p} = \frac{1}{1 + e^{- \hat{μ}}}, where \hat{μ} = \hat{θ} \cdot x .

$\hat{p} = \frac{1}{1 + e^{-\hat{\mu}}}, \text{ where } \hat{\mu} = \hat{\theta} \cdot x.$

\hat{μ}

$\hat{\mu}$

x

$x$

x

$x$

$\{x:\hat{p} = 0.5\}$ $\hat{\theta} \cdot x = 0$

Стефан Вейджер
источник

x

$x$

θ

$\theta$

тогда и твоим объяснением. Можно ли сказать, что предикация нейронной сети является линейной функцией активаций последнего скрытого слоя?

Джек Твен,

\hat{θ} \cdot x

$\hat{\theta} \cdot x$

\hat{θ}

$\hat{\theta}$

x

$x$

x

$x$

x

$x$

x

$x$

x

$x$

@Pegah Я знаю, что это старо, но: Логистическая регрессия имеет линейную границу решения. Сам выход, конечно, не линейный, а логистический. В зависимости от того, с какой стороны линии падает точка, общий выходной сигнал приблизится (но никогда не достигнет) к 0 или 1 соответственно. И чтобы добавить к ответу Стефана Вагнера: последнее предложение не совсем правильно, нейронная сеть нелинейна, когда она содержит нелинейные активации или выходные функции. Но он также может быть линейным (если не были добавлены нелинейности).

Крис

Как отмечает Стефан Вагнер, граница принятия решения для логистического классификатора является линейной. (Классификатор требует, чтобы входные данные были линейно разделимыми.) Я хотел бы расширить математические расчеты, если это не очевидно.

\frac{1}{1 + e^{- θ \cdot x}} = 0.5

${1 \over {1 + e^{-{\theta \cdot x}}}} = 0.5$

1 = e^{- θ \cdot x}

${1 = e^{-{\theta \cdot x}}}$

и, взяв натуральное бревно обеих сторон,

0 = - θ \cdot x = - \sum_{i = 0}^{n} θ_{i} x_{i}

$0 = -\theta \cdot x = -\sum\limits_{i=0}^{n} \theta_i x_i$

таким образом, граница решения является линейной.

Причина, по которой граница принятия решения для нейронной сети не является линейной, заключается в том, что в нейронной сети имеется два уровня сигмоидальных функций: по одному в каждом из выходных узлов, плюс дополнительная сигмовидная функция для объединения и порогового значения результатов каждого выходного узла.

Фил Богл
источник

На самом деле, вы можете получить нелинейную границу решения только с одним слоем, имеющим активацию. См. Стандартный пример XOR с двухслойной прямой связью.

Джеймс Хиршорн

$C_{0}$ $C_{1}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x)}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x)}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x | C_{0}) P (C_{0}) + P (x | C_{1}) P (C_{1})} = \frac{1}{1 + \exp (- \log \frac{P (x | C_{0})}{P (x | C_{1})} - \log \frac{P (C_{0})}{P (C_{1})})}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x|C_{0})P(C_{0})+P(x|C_{1})P(C_{1})} = \frac{1}{1+ \exp\left(-\log\frac{P(x|C_{0})}{P(x|C_{1})}-\log \frac{P(C_{0})}{P(C_{1})}\right)}$

1 + e^{ω x}

$1+e^{\omega x}$

P (x | C_{i}) = \exp (\frac{θ_{i} x - b (θ_{i})}{a (ϕ)} + c (x, ϕ))

$P(x|C_{i}) = \exp \left(\frac{\theta_{i} x -b(\theta_{i})}{a(\phi)}+c(x,\phi)\right)$

\log \frac{P (x | C_{0})}{P (x | C_{1})} = [(θ_{0} - θ_{1}) x - b (θ_{0}) + b (θ_{1})] / a (ϕ)

$\log\frac{P(x|C_{0})}{P(x|C_{1})} = \left[ (\theta_{0}-\theta_{1})x - b(\theta_{0})+b(\theta_{1}) \right]/a(\phi)$

Обратите внимание, что мы предполагаем, что оба распределения принадлежат одному семейству и имеют одинаковые параметры дисперсии. Но в этом предположении логистическая регрессия может моделировать вероятности для всего семейства экспоненциальных распределений.

jpmuc
источник