Является ли среднеквадратическая ошибка всегда выпуклой в контексте нейронных сетей?

Множество ресурсов, о которых я упоминал, упоминают, что MSE великолепен, потому что он выпуклый. Но я не понимаю, как, особенно в контексте нейронных сетей.

Допустим, у нас есть следующее:

• $X$ : учебный набор данных
• $Y$ : цели
• $\Theta$f Θ : набор параметров модели (модель нейронной сети с нелинейностями)$f_\Theta$

Затем:

Почему эта функция потерь всегда будет выпуклой? Это зависит от ?$f_\Theta(X)$

Ответ вкратце: MSE сам по себе является выпуклым по своим данным и параметрам. Но в произвольной нейронной сети она не всегда выпукла из-за наличия нелинейностей в виде функций активации. Источник для моего ответа здесь .

выпуклость

Функция $f(x)$ с является выпуклой, если для любого , и для любого , $x ∈ Χ$$x_1 ∈ Χ$$x_2 ∈ Χ$$0 ≤ λ ≤ 1$

$$f(λ x_1 + (1 − λ) x_2) ≤ λf(x_1) + (1 − λ) f (x_2).$$

Можно доказать, что такой выпуклый имеет один глобальный минимум. Уникальный глобальный минимум устраняет ловушки, создаваемые локальными минимумами, которые могут возникать в алгоритмах, которые пытаются достичь сходимости по глобальному минимуму, например, минимизации функции ошибки.$f(x)$

Хотя функция ошибок может быть на 100% надежной во всех непрерывных, линейных контекстах и ​​во многих нелинейных контекстах, она не означает сходимости по глобальному минимуму для всех возможных нелинейных контекстов.

Средняя квадратическая ошибка

Дана функция описывающая поведение идеальной системы, и модель системы (где - вектор параметров, матрица, куб или гиперкуб и ), созданная рационально или путем сходимости (как в обучении нейронной сети), функция среднеквадратичной ошибки (MSE) может быть представлена ​​следующим образом.$s(x)$$a(x, p)$$p$$1 ≤ n ≤ N$

Материал, который вы читаете, вероятно, не утверждает, что или являются выпуклыми относительно , но что является выпуклым относительно и независимо от того, что они есть. Это более позднее утверждение может быть доказано для любых непрерывных и . $a(x, p)$$s(x)$$x$$e(β)$$a(x, p)$$s(x)$$a(x, p)$$s(x)$

Смешанный алгоритм сходимости

Если вопрос заключается в том, могут ли быть смешаны конкретные и метод достижения который аппроксимирует пределах разумного запаса сходимости MSE, ответ - «Да». Вот почему MSE не единственная модель ошибок.$a(x, p)$$s(x)$$a(x, p)$

Резюме

Лучше всего подытожить, что следует определять или выбирать из набора моделей выпуклых погрешностей запаса, основанных на следующих знаниях.$e(β)$

• Известные свойства системы$s(x)$
• Определение аппроксимационной модели$a(x, p)$
• Тензор используется для генерации следующего состояния в сходящейся последовательности

Набор стандартных выпуклых моделей ошибок, безусловно, включает модель MSE из-за ее простоты и вычислительного подхода.