Насколько я знаю, при принятии Stochastic Gradient Descent в качестве алгоритма обучения кто-то использует «эпоху» для полного набора данных и «пакет» для данных, используемых на одном этапе обновления, тогда как другой использует соответственно «пакет» и «мини-пакет», и другие используют «эпоху» и «минибат». Это приносит много путаницы при обсуждении.
Так что же правильно сказать? Или это просто диалекты, которые все приемлемы?
Одна эпоха обычно означает, что ваш алгоритм видит каждый обучающий экземпляр один раз. Теперь предположим, что у вас есть обучающих примеров:
Если вы запускаете пакетное обновление, каждое обновление параметра требует, чтобы ваш алгоритм видел каждый из обучающих экземпляров ровно один раз, т. Е. Каждую эпоху ваши параметры обновляются один раз.
Если вы запускаете мини-пакетное обновление с размером пакета = , каждое обновление параметра требует, чтобы ваш алгоритм видел b из n обучающих экземпляров, т. Е. Каждую эпоху ваши параметры обновляются примерно n / b раз.
«Эпоха» обычно означает раскрытие алгоритма обучения всему набору обучающих данных. Это не всегда имеет смысл, поскольку мы иногда генерируем данные.
«Пакетный режим» и «Мини-пакет» могут сбивать с толку.
Иногда обучающие примеры необходимо «пакетировать», потому что не все данные могут быть сразу подвергнуты алгоритму (обычно из-за ограничений памяти).
В контексте SGD «мини-пакет» означает, что градиент рассчитывается по всему пакету перед обновлением весов. Если вы не используете «мини-пакет», каждый обучающий пример в «пакете» обновляет параметры алгоритма обучения независимо.