Пошаговый пример автоматического дифференцирования в обратном режиме

Не уверен, принадлежит ли этот вопрос здесь, но он тесно связан с градиентными методами в оптимизации, которая, кажется, здесь уместна. В любом случае, не стесняйтесь мигрировать, если считаете, что какое-то другое сообщество обладает большим опытом в этой теме.

Короче говоря, я ищу пошаговый пример автоматического дифференцирования в обратном режиме . Существует не так много литературы по этой теме, и существующую реализацию (такую как в TensorFlow ) трудно понять, не зная теории, стоящей за ней. Таким образом, я был бы очень благодарен, если бы кто-то мог подробно показать, что мы передаем , как мы это обрабатываем и что мы берем из вычислительного графа.

Пара вопросов, с которыми у меня больше всего проблем:

• семена - зачем они вообще нужны?
• правила обратной дифференциации - я знаю, как сделать прямую дифференциацию, но как мы пойдем назад? Например, в примере из этого раздела , откуда мы знаем, что ?$\bar{w_2}=\bar{w_3}w_1$
• мы работаем только с символами или передаем фактические значения ? Например, в этом же примере символы или значения являются и ?$w_i$$\bar{w_i}$

Допустим, у нас есть выражение и мы хотим найти производные и . В обратном режиме AD эта задача разбивается на 2 части: прямой и обратный проходы.$z = x_1x_2 + \sin(x_1)$$\frac{dz}{dx_1}$$\frac{dz}{dx_2}$

Прямой проход

Во-первых, мы разлагаем наше сложное выражение на множество примитивных, то есть выражений, состоящих не более чем из одного вызова функции. Обратите внимание, что я также переименовываю входные и выходные переменные для согласованности, хотя это и не обязательно:

$$w_1 = x_1$$ $$w_2 = x_2$$ $$w_3 = w_1w_2$$ $$w_4 = \sin(w_1)$$ $$w_5 = w_3 + w_4$$ $$z = w_5$$

Преимущество этого представления в том, что правила дифференцирования для каждого отдельного выражения уже известны. Например, мы знаем, что производная от есть , и поэтому . Мы будем использовать этот факт в обратном порядке ниже.$\sin$$\cos$$\frac{dw_4}{dw_1} = \cos(w_1)$

По сути, прямой проход состоит из оценки каждого из этих выражений и сохранения результатов. Скажем, наши входные данные: и . Тогда мы имеем:$x_1 = 2$$x_2 = 3$

$$w_1 = x_1 = 2$$ $$w_2 = x_2 = 3$$ $$w_3 = w_1w_2 = 6$$ $$w_4 = \sin(w_1) ~= 0.9$$ $$w_5 = w_3 + w_4 = 6.9$$ $$z = w_5 = 6.9$$

Обратный проход

Это волшебство начинается, и оно начинается с правила цепочки . В своей основной форме правило цепочки утверждает, что если у вас есть переменная которая зависит от которая, в свою очередь, зависит от , то:$t(u(v))$$u$$v$

$$\frac{dt}{dv} = \frac{dt}{du}\frac{du}{dv}$$

или, если зависит от через несколько путей / переменных , например:$t$$v$$u_i$

$$u_1 = f(v)$$ $$u_2 = g(v)$$ $$t = h(u_1, u_2)$$

тогда (см. доказательство здесь ):

$$\frac{dt}{dv} = \sum_i \frac{dt}{du_i}\frac{du_i}{dv}$$

В терминах графа выражений, если у нас есть конечный узел и входные узлы , а путь от до проходит через промежуточные узлы (т.е. где ), мы можем найти производную как$z$$w_i$$z$$w_i$$w_p$$z = g(w_p)$$w_p = f(w_i)$$\frac{dz}{dw_i}$

$$\frac{dz}{dw_i} = \sum_{p \in parents(i)} \frac{dz}{dw_p} \frac{dw_p}{dw_i}$$

Другими словами, чтобы вычислить производную выходной переменной любой промежуточной или входной переменной , нам нужно знать только производные ее родителей и формулу для вычисления производной примитивного выражения .$z$$w_i$$w_p = f(w_i)$

Обратный проход начинается в конце (то есть ) и распространяется обратно на все зависимости. Здесь мы имеем (выражение для «семян»):$\frac{dz}{dz}$

$$\frac{dz}{dz} = 1$$

Это может быть прочитано как «изменение в приводит к точно такому же изменению в », что совершенно очевидно.$z$$z$

Тогда мы знаем, что и так:$z = w_5$

$$\frac{dz}{dw_5} = 1$$

$w_5$ линейно зависит от и , поэтому и . Используя правило цепочки, мы находим:$w_3$$w_4$$\frac{dw_5}{dw_3} = 1$$\frac{dw_5}{dw_4} = 1$

$$\frac{dz}{dw_3} = \frac{dz}{dw_5} \frac{dw_5}{dw_3} = 1 \times 1 = 1$$ $$\frac{dz}{dw_4} = \frac{dz}{dw_5} \frac{dw_5}{dw_4} = 1 \times 1 = 1$$

Из определения и правил частных производных мы находим, что . Таким образом:$w_3 = w_1w_2$$\frac{dw_3}{dw_2} = w_1$

$$\frac{dz}{dw_2} = \frac{dz}{dw_3} \frac{dw_3}{dw_2} = 1 \times w_1 = w_1$$

Который, как мы уже знаем из прямого прохода, является:

$$\frac{dz}{dw_2} = w_1 = 2$$

Наконец, вносит вклад в через и . Еще раз, из правил частных производных мы знаем, что и . Таким образом:$w_1$$z$$w_3$$w_4$$\frac{dw_3}{dw_1} = w_2$$\frac{dw_4}{dw_1} = \cos(w_1)$

$$\frac{dz}{dw_1} = \frac{dz}{dw_3} \frac{dw_3}{dw_1} + \frac{dz}{dw_4} \frac{dw_4}{dw_1} = w_2 + \cos(w_1)$$

И снова, учитывая известные входные данные, мы можем рассчитать это:

$$\frac{dz}{dw_1} = w_2 + \cos(w_1) = 3 + \cos(2) ~= 2.58$$

Поскольку и являются просто псевдонимами для и , мы получаем наш ответ:$w_1$$w_2$$x_1$$x_2$

$$\frac{dz}{dx_1} = 2.58$$ $$\frac{dz}{dx_2} = 2$$

Вот и все!

---

Это описание касается только скалярных входных данных, то есть чисел, но на самом деле оно также может применяться к многомерным массивам, таким как векторы и матрицы. При различении выражений с такими объектами следует учитывать две вещи:

1. Производные могут иметь гораздо более высокую размерность, чем входные или выходные данные, например, производная вектора от вектора является матрицей, а производная матрицы от матрицы - это 4-мерный массив (иногда его называют тензором). Во многих случаях такие производные очень редки.
2. Каждый компонент в выходном массиве является независимой функцией от 1 или более компонентов входного массива (ов). Например, если и оба и являются векторами, никогда не зависит от , а только от подмножества . В частности, это означает, что поиск производной сводится к отслеживанию зависимости от .$y = f(x)$$x$$y$$y_i$$y_j$$x_k$$\frac{dy_i}{dx_j}$$y_i$$x_j$

---

Сила автоматического дифференцирования заключается в том, что он может работать со сложными структурами из языков программирования, такими как условия и циклы. Однако, если все, что вам нужно, это алгебраические выражения, и у вас есть достаточно хорошая структура для работы с символическими представлениями, можно построить полностью символические выражения. Фактически, в этом примере мы могли бы создать выражение и вычислить эту производную для любых входных данных, которые мы хотим.$\frac{dz}{dw_1} = w_2 + \cos(w_1) = x_2 + \cos(x_1)$