Почему требуется градиентный спуск?

Когда мы можем дифференцировать функцию стоимости и найти параметры, решая уравнения, полученные посредством частичного дифференцирования по каждому параметру, и выяснить, где функция стоимости минимальна. Также я думаю, что можно найти несколько мест, где производные равны нулю, поэтому мы можем проверить все такие места и найти глобальные минимумы

почему вместо этого выполняется градиентный спуск?

Даже в случае, скажем, линейных моделей, где у вас есть аналитическое решение, все же может быть лучше использовать такой итерационный решатель.

Например, если мы рассмотрим линейную регрессию, явное решение требует обращения матрицы, которая имеет сложность . Это становится недопустимым в контексте больших данных.$O(N^3)$

Кроме того, многие проблемы в машинном обучении являются выпуклыми, поэтому использование градиентов гарантирует, что мы дойдем до крайностей.

Как уже указывалось, все еще существуют актуальные невыпуклые проблемы, такие как нейронные сети, где градиентные методы (обратное распространение) обеспечивают эффективный решатель. Опять же, это особенно актуально для случая глубокого обучения.

Градиентный спуск не требуется. Оказывается, градиентный спуск часто является ужасно неэффективным алгоритмом оптимизации! Для итерационных методов часто можно найти лучшее направление для движения, чем там, где градиент самый крутой.

Это немного перевернутый ответ. Ваш вопрос действительно должен звучать так: «Зачем нам нужны итерационные методы?» Например. почему бы не перейти прямо к решению, если задача выпуклая, условие Слейтера выполнено, а условия первого порядка необходимы и достаточны для оптимального условия? То есть, когда решение может быть описано как решение системы уравнений, почему бы просто не решить эту систему? Ответ таков:

• Для задачи квадратичной оптимизации условие первого порядка представляет собой систему линейных уравнений, и мы можем перейти почти непосредственно к решению, поскольку линейные системы могут быть эффективно решены! Мы же используем условие первого порядка и решить систему (например, с QR - разложением, предостережением ниже).
• В более общем смысле, хотя условия первого порядка определяют нелинейную систему уравнений, и нелинейная система может быть довольно сложной для решения! Фактически, способ, которым вы часто решаете систему нелинейных уравнений численно, состоит в том, что вы переформулируете ее как задачу оптимизации ...
• Для чрезвычайно больших линейных систем решение системы напрямую с помощью QR-разложения и частичного поворота становится невозможным. Что делают люди?! Итерационные методы! (например, итерационные методы подпространств Крылова ...)

В исчислении 101 мы узнали о том, как оптимизировать функцию, используя «аналитический метод»: нам просто нужно получить производную функции стоимости и установить производную в 0, а затем решить уравнение. Это действительно игрушечная проблема, и она почти никогда не случится в реальном мире.

$x^7+x^3-5^2+e^x+log(x+x^2)+1/x=0$$x=1.4786$, но не знаю аналитического решения). Мы должны использовать некоторые численные методы (проверьте, почему здесь на полиномиальных случаях теорема Абеля Раффина ).

$f(x)=x^2$$x=0$$x=1.1234\times10^{-20}$

$f(x_1,x_2)=x_1^2+x_2^2+|x_1+x_2|$$(1,1)$$4.0$$(x_1,x_2)$$x_1$ $x_2$$x$$y$$(1,1)$$(3,3)$$\alpha=0.001$$(-0.003,-0.003)$$1, 1$$(0.997, 0.997)$

Упомянутый вами подход может использоваться только для решения системы линейных уравнений, например, в случае линейной регрессии, но, скажем, для решения системы нелинейных уравнений, в таких случаях, как нейронные сети с сигмовидной активацией, градиентный спуск является подходом идти на. Таким образом, Gradient Descent - более общий подход.

Даже для линейных уравнений размер матриц, заданных набором линейных уравнений, огромен, и может быть сложно ограничить требования к памяти.