Что делает нейронные сети настолько хорошими в предсказаниях?

Я новичок в нейронных сетях, и я пытаюсь математически понять, что делает нейронные сети настолько хорошими в задачах классификации.

На примере небольшой нейронной сети (например, один с 2 входами, 2 узлами в скрытом слое и 2 узлами для вывода), все, что у вас есть, - это сложная функция на выходе, которая в основном сигмоидальна по линейной комбинации сигмовидной

Итак, как это делает их хорошими в прогнозировании? Приводит ли конечная функция к какому-то подгонке кривой?

Нейронные сети хороши в классификации. В некоторых ситуациях это сводится к предсказанию, но не обязательно.

Математическая причина успеха нейронных сетей в классификации - теорема об универсальном приближении . Который заявляет, что нейронная сеть может аппроксимировать любую непрерывную вещественную функцию на компактном подмножестве. Качество аппроксимации зависит от количества нейронов. Также было показано, что добавление нейронов в дополнительные слои вместо добавления их к существующим слоям повышает качество аппроксимации быстрее.

Добавьте к этому непонятную эффективность алгоритма обратного распространения , и вы получите настройку, которая может фактически изучить функцию, которую обещает UAT, или что-то близкое.

В нейронных сетях мы рассматриваем все в высоком измерении и пытаемся найти гиперплоскость, которая классифицирует их по небольшим изменениям ...

Возможно, трудно доказать, что это работает, но интуиция говорит, что если это можно классифицировать, вы можете сделать это, добавив ослабленную плоскость и позволив ей перемещаться среди данных, чтобы найти локальный оптимум ...

С нейронными сетями вы просто классифицируете данные. Если вы классифицируете правильно, то вы можете делать будущие классификации.

Как это работает?

Простые нейронные сети, такие как Perceptron, могут нарисовать одну границу решения для классификации данных.

Например, предположим, что вы хотите решить простую задачу И с помощью простой нейронной сети. У вас есть 4 образца данных, содержащих x1 и x2 и весовой вектор, содержащий w1 и w2. Предположим, вектор начального веса равен [0 0]. Если вы сделали расчет, который зависит от NN алгоритма. В конце у вас должен быть вектор весов [1 1] или что-то вроде этого.

Пожалуйста, сосредоточьтесь на графике.

Он говорит: я могу классифицировать входные значения на два класса (0 и 1). ОК. Тогда как я могу это сделать? Это слишком просто. Первая сумма входных значений (x1 и x2).

0 + 0 = 0

0 + 1 = 1

1 + 0 = 1

1 + 1 = 2

Это говорит:

если сумма <1,5, то ее класс равен 0

если сумма> 1,5, то его класс равен 1

Нейронные сети преуспевают в различных задачах, но чтобы понять, почему именно, может быть проще взять конкретную задачу, такую ​​как классификация, и погрузиться глубже.

Проще говоря, методы машинного обучения изучают функцию, чтобы предсказать, к какому классу принадлежит конкретный вход, в зависимости от прошлых примеров. Что отличает нейронные сети, так это их способность создавать эти функции, которые могут объяснить даже сложные паттерны в данных. Сердцем нейронной сети является функция активации, такая как Relu, которая позволяет ему проводить некоторые базовые классификационные границы, такие как:

Составляя сотни таких Relus вместе, нейронные сети могут создавать произвольно сложные границы классификации, например:

В этой статье я попытаюсь объяснить интуицию, лежащую в основе работы нейронных сетей: https://medium.com/machine-intelligence-report/how-do-neural-networks-work-57d1ab5337ce