Зачем оптимизировать максимальную логарифмическую вероятность вместо вероятности

В большинстве задач машинного обучения, где вы можете сформулировать некоторую вероятность которая должна быть максимизирована, мы фактически оптимизировали бы логарифмическую вероятность вместо вероятности для некоторых параметров . Например, в обучении с максимальным правдоподобием, это, как правило, логарифмическое правдоподобие. При выполнении этого с некоторым методом градиента, это включает в себя фактор:$p$$\log p$$\theta$

$$\frac{\partial \log p}{\partial \theta} = \frac{1}{p} \cdot \frac{\partial p}{\partial \theta}$$

Смотрите здесь или здесь для некоторых примеров.

Конечно, оптимизация эквивалентна, но градиент будет другим, поэтому любой метод, основанный на градиенте, будет вести себя иначе (особенно методы стохастического градиента). Есть ли основания полагать, что градиент работает лучше, чем градиент ?$\log p$$p$

Методы градиента обычно работают лучше, оптимизируя чем потому что градиент обычно более хорошо масштабируется . Таким образом, он имеет размер, который последовательно и полезно отражает геометрию целевой функции, облегчая выбор подходящего размера шага и достижение оптимального за меньшее количество шагов.$\log p(x)$$p(x)$$\log p(x)$

Чтобы понять, что я имею в виду, сравните процесс оптимизации градиента для и . В любой точке градиент равенЕсли мы умножим это на , мы получим точный размер шага, необходимый для достижения глобального оптимума в начале координат, независимо от того, что$p(x) = \exp(-x^2)$$f(x) = \log p(x) = -x^2$$x$$f(x)$

$$f'(x) = -2x.$$ $1/2$$x$является. Это означает, что нам не нужно работать слишком усердно, чтобы получить хороший размер шага (или «скорость обучения» на жаргоне ML). Независимо от того, где находится наша начальная точка, мы просто устанавливаем наш шаг на половину градиента, и мы будем в начале шага. И если мы не знаем точный фактор, который необходим, мы можем просто выбрать размер шага около 1, выполнить небольшой поиск строки, и мы очень быстро найдем большой размер шага, который хорошо работает независимо от того, где есть. Это свойство устойчиво к переводу и масштабированию . В то время как масштабирование приведет к тому, что оптимальное масштабирование шага будет отличаться от 1/2, по крайней мере, масштабирование шага будет одинаковым независимо от значения , поэтому нам нужно найти только один параметр, чтобы получить эффективную оптимизацию на основе градиента. схема.$x$$f(x)$$f(x)$$x$

Напротив, градиент имеет очень плохие глобальные свойства для оптимизации. Мы имеемЭто умножает совершенно хороший, хорошо себя градиент на с коэффициентом который затухает (быстрее, чем) экспоненциально с увеличением . При у нас уже есть , поэтому шаг по вектору градиента примерно в раз слишком мал. Чтобы получить разумный размер шага к оптимальному, мы должны масштабировать градиент на обратную величину, огромную постоянную$p(x)$

$$p'(x) = f'(x) p(x)= -2x \exp(-x^2).$$ $-2x$$\exp(-x^2)$$x$$x = 5$$\exp(-x^2) = 1.4 \cdot 10^{-11}$$10^{-11}$$\sim 10^{11}$, Такой плохо масштабируемый градиент хуже, чем бесполезный для целей оптимизации - лучше было бы просто попытаться сделать единичный шаг в направлении подъема, чем устанавливать наш шаг путем масштабирования по ! (Во многих переменных становится немного более полезным, поскольку мы по крайней мере получаем информацию о направлении от градиента, но проблема масштабирования остается.)$p'(x)$$p'(x)$

В общем, нет никакой гарантии, что будет иметь такие большие свойства градиентного масштабирования, как этот игрушечный пример, особенно когда у нас более одной переменной. Однако для почти любой нетривиальной задачи будет намного лучше, чем . Это потому, что вероятность - это большой продукт с кучей терминов, и журнал превращает этот продукт в сумму, как отмечено в нескольких других ответах. При условии, что термины в вероятности хорошо себя ведут с точки зрения оптимизации, их журнал, как правило, хорошо себя ведет, а сумма функций хорошо ведет себя хорошо. Под хорошим поведением я подразумеваю$\log p(x)$$\log p(x)$$p(x)$$f''(x)$не меняется слишком сильно или слишком быстро, что приводит к почти квадратичной функции, которую легко оптимизировать с помощью градиентных методов. Сумма производной является производной от суммы, независимо от того, каков порядок производной, что помогает гарантировать, что эта большая куча слагаемых имеет очень разумную вторую производную!

Underflow

Компьютер использует представление дробных чисел с плавающей запятой ограниченного числа, поэтому умножение такого количества вероятностей будет очень близко к нулю.

С у нас нет этой проблемы.$log$

1. Логарифм вероятности множественных совместных вероятностей упрощается до суммы логарифмов отдельных вероятностей (а правило сумм проще, чем правило произведения для дифференцирования).

   $\log \left(\prod_i P(x_i)\right) = \sum_i \log \left( P(x_i)\right)$

2. Логарифм члена семейства экспоненциальных распределений вероятностей (который включает в себя вездесущую нормаль) является полиномиальным по параметрам (т. Е. Максимальное правдоподобие сводится к наименьшим квадратам для нормальных распределений)

   $\log\left(\exp\left(-\frac{1}{2}x^2\right)\right) = -\frac{1}{2}x^2$

3. Последняя форма является более численно устойчивой и символически легче дифференцируемой, чем первая.

4. И последнее, но не менее важное: логарифм представляет собой монотонное преобразование, которое сохраняет местоположения экстремумов (в частности, оценочные параметры по максимальному правдоподобию идентичны для исходной и лог-преобразованной формулировок)

Намного проще взять производную от суммы логарифмов, чем взять производную от продукта, который содержит, скажем, 100 множителей.

Как правило, наиболее простой и простой задачей оптимизации является оптимизация квадратичной функции. Вы можете легко найти оптимальный вариант для такой функции, где бы вы ни начинали. Как это проявляется, зависит от конкретного метода, но чем ближе ваша функция к квадратичному, тем лучше.

Как отмечает TemplateRex, в широком спектре задач вероятности, которые входят в расчет функции правдоподобия, берутся из нормального распределения или аппроксимируются им. Поэтому, если вы работаете с журналом, вы получите хорошую квадратичную функцию. Принимая во внимание, что если вы работаете над вероятностями, у вас есть функция, которая

1. Не является выпуклым (повсеместно отягощены алгоритмы оптимизации)
2. Быстро пересекает несколько шкал, и поэтому имеет очень узкий диапазон, где значения функций указывают, куда направить ваш поиск.

Какую функцию вы бы предпочли оптимизировать, это или это ?

(На самом деле это было легко; в практических приложениях ваш поиск может начинаться настолько далеко от оптимума, что значения функций и градиенты, даже если вы смогли их численно вычислить, будут неотличимы от 0 и бесполезны для целей оптимизации. Алгоритм. Но преобразование в квадратичную функцию делает это легко.)

Обратите внимание, что это полностью согласуется с уже упомянутыми проблемами числовой стабильности. Причина, по которой для работы с этой функцией требуется масштаб журнала, - это та же самая причина, по которой вероятность ведения журнала намного лучше (для оптимизации и других целей), чем в оригинале.

Вы также можете подойти к этому по-другому. Даже если у лога не было никаких преимуществ (которые есть) - мы все равно будем использовать логарифмический масштаб для дериваций и вычислений, так какая же причина в том, чтобы применять преобразование exp только для вычисления градиента? Мы также можем оставаться в соответствии с журналом.

Используя мы увеличиваем динамический диапазон алгоритма оптимизации. в приложениях, как правило , является продуктом функций. Например, при оценке максимального правдоподобия это произведение вида , где - функция плотности, которая может быть больше или меньше 1, между прочим$\ln p$$p$$L(x|\theta)=\Pi_{i=1}^n f(x_i|\theta)$$f(.)$

Так что , когда очень велико, то есть большая выборка, ваша функция правдоподобия обычно далека от 1: это либо очень маленьких или очень большие, потому что это функция мощности .$n$$L(.)$$L\sim f(.)^n$

Делая журнал, мы просто улучшаем динамический диапазон любого алгоритма оптимизации, позволяя ему работать с очень большими или маленькими значениями одинаково.

Некоторые хорошие ответы уже были даны. Но я недавно столкнулся с новым:

Часто вам дается огромный набор обучающих данных , и вы определяете некоторую вероятностную модель , и вы хотите максимизировать вероятность для . Предполагается, что они независимы, т.е. у вас есть Теперь вы часто проводите какое-то стохастическое (мини-пакетное) обучение на основе градиента, т.е. на каждом шаге для вашей потери вы оптимизируете для , то есть $\mathcal{X}$$p(x|\theta)$$x \in \mathcal{X}$

$$p(\mathcal{X}|\theta) = \prod_{x\in\mathcal{X}} p(x|\theta) .$$ $L$$L(\mathcal{X'}|\theta)$$\mathcal{X'} \subset \mathcal{X}$ $$\theta' := \theta - \frac{\partial \sum_{x\in\mathcal{X'}} L(x|\theta)}{\partial \theta} .$$ Теперь эти стохастические шаги накапливаются аддитивно. Из-за этого вам нужно свойство, которое в общем случае Это имеет место для $$L(\mathcal{X}|\theta) = \sum_{x\in\mathcal{X}} L(x|\theta) .$$ $$L(x|\theta) = -\log p(x|\theta) .$$