Softmax против сигмоидальной функции в логистическом классификаторе?

От чего зависит выбор функции (Softmax vs Sigmoid) в классификаторе логистики?

Предположим, есть 4 выходных класса. Каждая из вышеприведенных функций дает вероятности того, что каждый класс является правильным выводом. Так какой же взять за классификатор?

Функция сигмовидной используется для двух классов логистической регрессии, в то время как SoftMax функция используется для мультиклассируют логистической регрессии (он же MaxEnt, полиномиальной логистической регрессии, SoftMax регрессии, максимальной энтропии по классификатору).

---

В двухклассовой логистической регрессии прогнозируемые вероятности следующие с использованием сигмоидальной функции:

$$\begin{align} \Pr(Y_i=0) &= \frac{e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} {1 +e^{-\boldsymbol\beta_0 \cdot \mathbf{X}_i}} \, \\ \Pr(Y_i=1) &= 1 - \Pr(Y_i=0) = \frac{1} {1 +e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} \end{align}$$

В мультиклассовой логистической регрессии с $K$ классами прогнозируемые вероятности следующие с использованием функции softmax:

$$\begin{align} \Pr(Y_i=k) &= \frac{e^{\boldsymbol\beta_k \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} \, \\ \end{align}$$

---

Можно заметить, что функция softmax является расширением сигмоидальной функции для случая мультикласса, как объяснено ниже. Давайте посмотрим на мультиклассовую логистическую регрессию с классами:$K=2$

$$\begin{align} \Pr(Y_i=0) &= \frac{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} = \frac{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i}}{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i} + e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} = \frac{e^{(\boldsymbol\beta_0 - \boldsymbol\beta_1) \cdot \mathbf{X}_i}}{e^{(\boldsymbol\beta_0 - \boldsymbol\beta_1) \cdot \mathbf{X}_i} + 1} = \frac{e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} {1 +e^{-\boldsymbol\beta \cdot \mathbf{X}_i}} \\ \, \\ \Pr(Y_i=1) &= \frac{e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} = \frac{e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}}{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i} + e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} = \frac{1}{e^{(\boldsymbol\beta_0-\boldsymbol\beta_1) \cdot \mathbf{X}_i} + 1} = \frac{1} {1 +e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} \, \\ \end{align}$$

с . Мы видим, что мы получаем те же вероятности, что и в двухклассовой логистической регрессии с использованием сигмоидальной функции. Википедия еще немного расширяется.$\boldsymbol\beta = - (\boldsymbol\beta_0 - \boldsymbol\beta_1)$

Фактически они эквивалентны в том смысле, что одно может быть преобразовано в другое.

Предположим, что ваши данные представлены вектором произвольной размерности, и вы создали для него двоичный классификатор, используя аффинное преобразование, за которым следует softmax:$\boldsymbol{x}$

$$\begin{equation} \begin{pmatrix} z_0 \\ z_1 \end{pmatrix} = \begin{pmatrix} \boldsymbol{w}_0^T \\ \boldsymbol{w}_1^T \end{pmatrix}\boldsymbol{x} + \begin{pmatrix} b_0 \\ b_1 \end{pmatrix}, \end{equation}$$ $$\begin{equation} P(C_i | \boldsymbol{x}) = \text{softmax}(z_i)=\frac{e^{z_i}}{e^{z_0}+e^{z_1}}, \, \, i \in \{0,1\}. \end{equation}$$

Давайте преобразуем его в эквивалентный двоичный классификатор, который использует сигмоид вместо softmax. Прежде всего, мы должны решить, какова вероятность того, что мы хотим, чтобы сигмоид выводил (который может быть для класса или ). Этот выбор абсолютно произвольный, и поэтому я выбираю класс . Тогда мой классификатор будет иметь вид:$C_0$$C_1$$C_0$

$$\begin{equation} z' = \boldsymbol{w}'^T \boldsymbol{x} + b', \end{equation}$$ $$\begin{equation} P(C_0 | \boldsymbol{x}) = \sigma(z')=\frac{1}{1+e^{-z'}}, \end{equation}$$ $$\begin{equation} P(C_1 | \boldsymbol{x}) = 1-\sigma(z'). \end{equation}$$

Классификаторы эквивалентны, если вероятности одинаковы, поэтому мы должны наложить:

$$\begin{equation} \sigma(z') = \text{softmax}(z_0) \end{equation}$$

Замена , и их выражениями в терминах и и выполнения некоторых простых Алгебраические манипуляции, вы можете проверить, что равенство выше имеет место тогда и только тогда, когда и определены как:$z_0$$z_1$$z'$$\boldsymbol{w}_0,\boldsymbol{w}_1, \boldsymbol{w}', b_0, b_1, b'$$\boldsymbol{x}$$\boldsymbol{w}'$$b'$

$$\begin{equation} \boldsymbol{w}' = \boldsymbol{w}_0-\boldsymbol{w}_1, \end{equation}$$ $$\begin{equation} b' = b_0-b_1. \end{equation}$$

Я заметил, что люди часто обращаются к этому вопросу при поиске, использовать ли сигмоид против софтмакса в нейронных сетях. Если вы один из тех, кто строит классификатор нейронной сети, вот как решить, применять ли sigmoid или softmax к необработанным выходным значениям из вашей сети:

• Если у вас есть проблема классификации с несколькими метками = существует более одного «правильного ответа» = выходы НЕ являются взаимоисключающими, тогда используйте сигмовидную функцию для каждого необработанного выхода независимо. Сигмоид позволит вам иметь высокую вероятность для всех ваших классов, некоторых из них или ни одного из них. Пример: классификация заболеваний по рентгенограмме. Изображение может содержать пневмонию, эмфизему и / или рак, или ничего из этих результатов.
• Если у вас есть проблема классификации нескольких классов = есть только один «правильный ответ» = выходные данные являются взаимоисключающими, тогда используйте функцию softmax. Softmax обеспечит, чтобы сумма вероятностей ваших выходных классов была равна единице, поэтому, чтобы увеличить вероятность конкретного класса, ваша модель должна соответственно уменьшить вероятность по крайней мере одного из других классов. Пример: классификация изображений из набора данных MNIST рукописных цифр. Одно изображение цифры имеет только одну истинную идентичность - изображение не может быть 7 и 8 одновременно.

Ссылка: для более подробного объяснения того, когда использовать сигмоид против софтмакса в дизайне нейронной сети, включая примеры расчетов, см. Эту статью: «Классификация: сигмоид против софтмакса».

В дополнение ко всем предыдущим ответам - я хотел бы упомянуть тот факт, что любая проблема классификации нескольких классов может быть сведена к множественным задачам двоичной классификации, используя метод «один против всех», то есть наличие сигмоидов C (когда C - число классы) и интерпретация каждой сигмоидальной вероятности того, чтобы быть в этом конкретном классе или нет, и принятие максимальной вероятности.

Так, например, в примере с цифрами MNIST вы можете использовать softmax или десять сигмоидов. Фактически это то, что Эндрю Нг делает в своем курсе Coursera ML. Вы можете проверить здесь, как Эндрю Нг использовал 10 сигмоидов для мультиклассовой классификации (адаптировано мной из Matlab для python), и вот моя адаптация softmax в python.

Кроме того, стоит отметить, что хотя функции эквивалентны (для целей мультиклассовой классификации), они немного различаются по своей реализации (особенно в отношении их производных и того, как представлять y).

Большим преимуществом использования нескольких двоичных классификаций (например, сигмоидов) перед одной мультиклассовой классификацией (например, Softmax) является то, что если ваш softmax слишком велик (например, если вы используете встраивание одного горячего слова в словарь размером 10K или более) ) - тренировать его может быть неэффективно. Вместо этого вы можете взять небольшую часть вашего тренировочного набора и использовать его для тренировки только небольшой части ваших сигмоидов. Это основная идея Negative Sampling .