Почему важно включить термин коррекции смещения для оптимизатора Adam для Deep Learning?

Я читал об оптимизаторе Адама для глубокого обучения и натолкнулся на следующее предложение в новой книге Бегнио, Гудфеллоу и Кортвилла « Глубокое обучение »:

Адам включает поправки смещения к оценкам как моментов первого порядка (члена импульса), так и (нецентрированных) моментов второго порядка, чтобы учесть их инициализацию в начале координат.

Кажется, что основная причина включения этих поправочных терминов смещения состоит в том, что каким-то образом он устраняет смещение инициализации и .$m_t = 0$$v_t = 0$

• Я не уверен на 100%, что это значит, но мне кажется, что это, вероятно, означает, что 1-й и 2-й моменты начинаются с нуля, и каким-то образом начинать его с нуля наклоняет значения ближе к нулю несправедливым (или полезным) способом для обучения ?
• Хотя я хотел бы знать, что это значит немного точнее и как это вредит обучению. В частности, какие преимущества дает смещение оптимизатора с точки зрения оптимизации?
• Как это помогает тренировать модели глубокого обучения?
• Кроме того, что это означает, когда это беспристрастно? Мне знакомо, что означает объективное стандартное отклонение, но мне не ясно, что это значит в этом контексте.
• Действительно ли исправление смещения имеет большое значение, или это что-то преувеличено в статье оптимизатора Адама?

Просто чтобы люди знали, что я очень старался понять оригинальную статью, но я очень мало читал и перечитывал оригинальную статью. Я предполагаю, что на некоторые из этих вопросов можно ответить там, но я не могу разобрать ответы.

Проблема НЕ исправления смещения
Согласно статье

В случае редких градиентов, для надежной оценки второго момента необходимо усреднить по многим градиентам, выбрав небольшое значение β2; однако именно в этом случае малых β2 отсутствие коррекции смещения инициализации приведет к гораздо большим начальным шагам.

Обычно на практике устанавливается намного ближе к 1, чем (как предложено автором , ), поэтому коэффициенты обновления намного меньше, чем .$\beta_2$$\beta_1$$\beta_2=0.999$$\beta_1=0.9$$1-\beta_2=0.001$$1-\beta_1=0.1$

На первом этапе обучения , , термин в обновлении параметра может быть очень большим, если мы будем использовать смещенную оценку напрямую.$m_1=0.1g_t$$v_1=0.001g_t^2$$m_1/(\sqrt{v_1}+\epsilon)$

С другой стороны, при использовании исправленной смещением оценки и , термин становится менее чувствительным к и .$\hat{m_1}=g_1$$\hat{v_1}=g_1^2$$\hat{m_t}/(\sqrt{\hat{v_t}}+\epsilon)$$\beta_1$$\beta_2$

Как исправляется смещение
Алгоритм использует скользящее среднее для оценки первого и второго моментов. Смещенная оценка будет такой: мы начнем с произвольного предположения и постепенно обновим оценку с помощью . Таким образом, очевидно, что на первых нескольких шагах наше скользящее среднее сильно смещено в сторону начального .$m_0$$m_t=\beta m_{t-1}+(1-\beta)g_t$$m_0$

Чтобы исправить это, мы можем убрать эффект начального предположения (смещения) из скользящей средней. Например, во время 1, , мы член из и делим его на , что приводит к . Когда , . Полное доказательство приведено в разделе 3 статьи.$m_1=\beta m_0+(1-\beta)g_t$$\beta m_0$$m_1$$(1-\beta)$$\hat{m_1}=(m_1- \beta m_0)/(1-\beta)$$m_0=0$$\hat{m_t}=m_t/(1-\beta^t)$

Как хорошо прокомментировал Марк Л. Стоун

Это похоже на умножение на 2 (о боже, результат смещен), а затем деление на 2, чтобы «исправить» его.

Почему-то это не совсем эквивалентно

градиент в начальной точке используется для начальных значений этих вещей, а затем первый параметр обновления

(конечно, его можно преобразовать в ту же форму, изменив правило обновления (см. обновление ответа), и я считаю, что эта строка в основном нацелена на то, чтобы показать ненужность введения смещения, но, возможно, стоит заметить разницу)

Например, исправлен первый момент времени 2

Если в качестве начального значения используется с тем же правилом обновления, который вместо этого в сторону на первых нескольких шагах.$g_1$

Действительно ли исправление смещения имеет большое значение?
Так как оно действительно влияет только на первые несколько этапов обучения, это кажется не очень большой проблемой, во многих популярных системах (например, keras , caffe ) применяется только смещенная оценка.

По моему опыту, предвзятая оценка иногда приводит к нежелательным ситуациям, когда потери не уменьшатся (я не проверил это полностью, поэтому я не совсем уверен, связано ли это с предвзятой оценкой или чем-то еще), и уловка Я использую больший чтобы смягчить начальный размер шага.$\epsilon$

Обновление
Если вы развернете правила рекурсивного обновления, по сути, является средневзвешенным значением градиентов, Знаменатель может быть вычислен по формуле геометрической суммы, поэтому он эквивалентен следующему обновлению правило (которое не включает в себя термин смещения) $\hat{m}_t$

$m_1\leftarrow g_1$
пока не сходятся, сделайте (взвешенная сумма) (средневзвешенное значение)
$\qquad m_t\leftarrow \beta m_t + g_t$
$\qquad \hat{m}_t\leftarrow \dfrac{(1-\beta)m_t}{1-\beta^t}$

Следовательно, это может быть сделано без введения смещения и его исправления. Я думаю, что статья помещает это в форму исправления смещения для удобства сравнения с другими алгоритмами (например, RmsProp).