«Теорема глубокого Нётера»: построение в симметрийных ограничениях

Если у меня есть проблема обучения, которая должна иметь внутреннюю симметрию, есть ли способ подвергнуть мою проблему обучения ограничению симметрии для улучшения обучения?

Например, если я делаю распознавание изображения, мне может потребоваться 2D симметрия вращения. Это означает, что повернутая версия изображения должна получить тот же результат, что и оригинал.

Или, если я учусь играть в крестики-нолики, вращение на 90 градусов должно привести к тому же самому игровому процессу.

Было ли проведено какое-либо исследование по этому вопросу?

Из вышеприведенного комментария Эмре, раздел 4.4 теоретических методов группы в машинном обучении Риси Кондора содержит подробную информацию и доказательства создания методов ядра, которые по своей природе имеют симметрии. Я буду резюмировать это, надеюсь, интуитивно понятным способом (я физик, а не математик!).

Большинство алгоритмов ML имеют матричное умножение, например,

$$\begin{align} s_i &= \sum_j W_{ij}~x_j \\ &= \sum_j W_{ij}~(\vec{e}_j \cdot \vec{x}) \end{align}$$ где $\vec{x}$ - вход, а$W_{ij}$- веса, которые мы хотим обучить.

Метод ядра

$$\begin{align} s_i &= \sum_j W_{ij}~k(e_j,~x) \end{align}$$ $x, e_j \in \mathcal{X}$

$G$$\mathcal{X}$$x \rightarrow T_g(x)$$g \in G$

$$\begin{align} k^G(x, y) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_g(y)) \end{align}$$ $k(x, y) = k(T_g(x), T_g(y))$

$$\begin{align} k^G(x, T_h(y)) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{gh}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{g}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(T_{g}(x), y) \end{align}$$

$k(x, y) = x \cdot y$

$$\begin{align} k^G(x, T_h(y)) &= \left[ \frac{1}{|G|} \sum_{g \in G} T_{g}(x) \right] \cdot y \end{align}$$

Который предлагает матрицу преобразования, которая может симметризовать входные данные в алгоритм.

Пример SO (2)

$\frac{\pi}{2}$

$(\vec{x}_i, y_i) \in \mathbb{R}^2 \times \mathbb{R}$

$$\begin{align} \min_{W_{j}} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= \sum_j W_{j} k_G(e_j, x_i) + b_i \end{align}$$

Ядро удовлетворяет . Вы также можете использовать и множество ядер.$k(x, y) = \| x - y \|^2$$k(x, y) = k(T_g(x), T_g(y))$$k(x, y) = x \cdot y$

Таким образом,

$$\begin{align} k_G(e_j, x_i) &= \frac{1}{4} \sum_{n=1}^4 \| R(n\pi/2)~\vec{e}_j - \vec{x}_i \|^2 \\ &= \frac{1}{4} \sum_{n=1}^4 ( \cos(n\pi/2) - \vec{x}_{i1} )^2 + ( \sin(n\pi/2) - \vec{x}_{i2} )^2 \\ &= \frac{1}{4} \left[ 2 \vec{x}_{i1}^2 + 2 \vec{x}_{i2}^2 + (1 - \vec{x}_{i1} )^2 + (1 - \vec{x}_{i2} )^2 + (1 + \vec{x}_{i1} )^2 + (1 + \vec{x}_{i2} )^2 \right] \\ &= \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \end{align}$$

Обратите внимание, что нам не нужно суммировать по потому что оно одинаково для обоих. Таким образом, наша проблема становится такой: $j$

$$\begin{align} \min_{W} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= W \left[ \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \right] + b_i \end{align}$$

Что дает ожидаемую сферическую симметрию!

Крестики-нолики

Пример кода можно посмотреть здесь . Он показывает, как мы можем создать матрицу, которая кодирует симметрию и использовать ее. Обратите внимание, что это действительно плохо, когда я запускаю его! Работа с другими ядрами на данный момент.

Оказывается, это всего лишь изучение теории инвариантов, применяемой к машинному обучению.