Что значит «делиться параметрами между объектами и классами»

При чтении этой статьи есть строка, в которой говорится, что «линейные классификаторы не разделяют параметры между функциями и классами». В чем смысл этого утверждения? Означает ли это, что линейные классификаторы, такие как логистическая регрессия, нуждаются во взаимно независимых признаках?

Я попытаюсь ответить на этот вопрос с помощью логистической регрессии , одного из простейших линейных классификаторов.

Самый простой случай логистической регрессии - это если у нас есть задача двоичной классификации ( и только одна входная функция ( ). В этом случае результат логистической регрессии будет:$y \in\{0,1\})$$x \in R$

$$\hat y = σ(w \cdot x + b)$$ где $w$ и $b$ оба являются скалярами . Выходные данные модели $\hat y \in [0,1]$ соответствуют вероятности того, что $x$ будет иметь класс $1$ .

Мы попытаемся разбить фразу «линейные классификаторы не разделяют параметры между функциями и классами» на две части. Мы рассмотрим случаи нескольких объектов и нескольких классов отдельно, чтобы увидеть, разделяет ли логистическая регрессия параметры для каких-либо из этих задач:

Распределяют ли линейные классификаторы параметры между функциями?

В этом случае для каждого примера $y$ - скаляр, который принимает двоичные значения (как прежде), а $x$ - вектор длины $N$ (где $N$ - число признаков). Здесь выходные данные представляют собой линейную комбинацию входных признаков (то есть взвешенную сумму этих признаков плюс смещения).

x w N x ⋅ w w i x

$$\hat y = σ \left(\sum_i^N{(w_i \cdot x_i)} + b\right) \;\; or \;\; σ( \mathbf w \cdot \mathbf x + b)$$ , где и являются векторы длины . Произведение создает скаляр. Как видно из приведенного выше, для каждого входного объекта существует отдельный вес и эти веса во всех отношениях независимы . Из этого можно сделать вывод, что между функциями нет разделения параметров .$\mathbf x$$\mathbf w$$N$$\mathbf x \cdot \mathbf w$ $w_i$$x_i$

Распределяют ли линейные классификаторы параметры между классами?

В этом случае является скаляром, однако является вектором длины (где - количество классов). Чтобы справиться с этим, логистическая регрессия, по существу, создает отдельный выход для каждого из классов. Каждый выход представляет собой скаляр и соответствует вероятности принадлежащего классу .y M M y j M y j ∈ [ 0 , 1 ] x $x$$y$$M$$M$$y_j$$M$$y_j \in [0,1]$$x$$j$

$$\mathbf{ \hat y} = w \cdot \mathbf x + \mathbf b, \;\; where \;\; \mathbf{ \hat y} = {\hat y_1, \hat y_2, ..., y_M}$$

Самый простой способ думать об этом - это простых независимых логистических регрессий, каждая из которых выдает:$M$

$$\hat y_j = σ(w_j \cdot x + b_j)$$

Из вышесказанного очевидно, что никакие веса не распределяются между различными классами .

многофункциональный и мультикласс :

Комбинируя два приведенных выше случая, мы можем, наконец, достичь наиболее общего случая нескольких объектов и нескольких классов:

у МхNбMW(N×M

$$\mathbf{ \hat y} = σ( \mathbf W \cdot \mathbf x + \mathbf b)$$ где - вектор с размером , - вектор с размером, равным , - вектор с размером а - матрица с размером .$\mathbf{ \hat y}$$M$$\mathbf x$$N$$\mathbf b$$M$$W$$(N \times M)$

В любом случае, линейные классификаторы не разделяют какие-либо параметры среди объектов или классов .

Чтобы ответить на ваш второй вопрос, линейные классификаторы действительно исходят из предположения о том, что функции должны быть независимыми , однако это не то, что намеревался сказать автор статьи.