Регуляризация: зачем умножать на 1 / 2м?

В неделю 3 - конспектов в классе Coursera Machine Learning Эндрю Нг , термин добавляется к функции стоимости реализации упорядочению:

В примечаниях к лекции говорится:

Мы также можем упорядочить все наши тэта-параметры в одном суммировании:

$$min_\theta\ \dfrac{1}{2m}\ \left[ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})^2 + \lambda\ \sum_{j=1}^n \theta_j^2 \right]$$

$\frac 1 {2m}$ позже применяется к термину регуляризации нейронных сетей :

Напомним, что функция стоимости для упорядоченной логистической регрессии была:

$$J(\theta) = - \frac{1}{m} \sum_{i=1}^m [ y^{(i)}\ \log (h_\theta (x^{(i)})) + (1 - y^{(i)})\ \log (1 - h_\theta(x^{(i)}))] + \frac{\lambda}{2m}\sum_{j=1}^n \theta_j^2$$

Для нейронных сетей это будет немного сложнее:

$$\begin{gather*} J(\Theta) = - \frac{1}{m} \sum_{i=1}^m \sum_{k=1}^K \left[y^{(i)}_k \log ((h_\Theta (x^{(i)}))_k) + (1 - y^{(i)}_k)\log (1 - (h_\Theta(x^{(i)}))_k)\right] + \frac{\lambda}{2m}\sum_{l=1}^{L-1} \sum_{i=1}^{s_l} \sum_{j=1}^{s_{l+1}} ( \Theta_{j,i}^{(l)})^2\end{gather*}$$

• Почему постоянная половина используется здесь? Так что это отменяется в производной ?$J'$
• Почему деление на обучающих примеров? Как количество обучающих примеров влияет на вещи?$m$

Предположим, у вас есть 10 примеров, и вы не делите стоимость регуляризации L2 на количество примеров m . Тогда «доминирование» стоимости регуляризации L2 по сравнению со стоимостью кросс-энтропии будет равно 10: 1, потому что каждый пример обучения может вносить вклад в общую стоимость пропорционально 1 / m = 1/10.

Если у вас есть больше примеров, скажем, 100, то «доминирование» стоимости регуляризации L2 будет примерно равно 100: 1, поэтому вам нужно соответственно уменьшить λ , что неудобно. Лучше иметь постоянную λ независимо от размера партии.

Обновление: чтобы усилить этот аргумент, я создал блокнот Jupyter .

Функция потерь в обучающем наборе как правило, представляет собой сумму по шаблонам, составляющим обучающий набор, поэтому, когда обучающий набор становится больше, первый член масштабируется по существу линейно с m . Мы можем сузить диапазон для поиска хорошего значения λ , если сначала разделим член регуляризации на m, чтобы компенсировать зависимость J ( θ ) от m . 2, конечно, действительно находится в знаменателе, чтобы упростить производные, необходимые для алгоритма оптимизации, используемого для определения оптимального θ .$J(\theta)$$m$$\lambda$$m$$J(\theta)$$m$$\theta$

Я задавался вопросом о том же самом, когда брал этот курс, и закончил тем, что исследовал это немного. Я дам короткий ответ здесь, но вы можете прочитать более подробный обзор в блоге, который я написал об этом .

Я полагаю, что, по крайней мере, одна из причин этих коэффициентов масштабирования заключается в том, что регуляризация L², вероятно, вошла в область глубокого обучения благодаря внедрению связанной, но не идентичной концепции снижения веса.

Затем существует коэффициент 0,5, чтобы получить хороший коэффициент только для λ для снижения веса в градиенте, и масштабирование по m ... ну, есть по крайней мере 5 различных мотиваций, которые я нашел или придумал:

1. Побочный эффект пакетного градиентного спуска: когда вместо всей формации обучения формализована одна итерация градиентного спуска, в результате чего алгоритм, иногда называемый пакетным градиентным спуском, вводится с коэффициентом масштабирования 1 / м, чтобы сделать функцию стоимости сопоставимой для разных наборов данных, автоматически применяется к сроку снижения веса.
2. Измените вес одного примера: посмотрите интересную интуицию Греза .
3. Репрезентативность обучающего набора: имеет смысл уменьшить регуляризацию по мере роста размера обучающего набора, так как по статистике его репрезентативность в общем распределении также возрастает. По сути, чем больше у нас данных, тем меньше требуется регуляризация.
4. Обеспечение сопоставимости λ: Будем надеяться, что уменьшая необходимость изменения λ при изменении m, это масштабирование сделает само сопоставление λ по наборам данных разных размеров. Это делает λ более репрезентативной оценкой фактической степени регуляризации, требуемой конкретной моделью для конкретной задачи обучения.
5. Эмпирическая ценность: отличный ноутбук от компании grezдемонстрирует, что это повышает производительность на практике.

Я также был смущен этим, но потом в лекции для глубокого обучения. Эндрю предполагает, что это всего лишь константа масштабирования:

http://www.youtube.com/watch?v=6g0t3Phly2M&t=2m50s

Возможно, есть более глубокая причина для использования 1 / 2m, но я подозреваю, что это просто гиперпараметр.