Чувствительность BFGS к начальным гессенским приближениям

Я пытаюсь реализовать метод Broyden-Fletcher-Goldfarb-Shanno, чтобы найти минимум функции. Мне нужно два начальных предположения & и начальное приближение матрицы Гессе . Единственное требование, которое я нахожу для заключается в том, что если гессиан симметрично положительно определен, то же самое должно быть и в . Глядя на википедию, я вижу, что типичным начальным приближением является (единичная матрица). Всегда ли это хороший начальный ? Есть ли какая-то причина, почему я мог бы хотеть выбрать что-нибудь кроме ? Могут ли другие варианты B, удовлетворяющие тем же свойствам матрицы, сильно повлиять на сходимость метода? $x_{-1}$$x_0$$B_0$$B_0$$B_0$$B_0=I$$B_0$$I$

Если у вас есть оправданный Гесс приближение, то лучше использовать его , а не произвольная .$B_0=I$

Изменить: Обоснование состоит в том, что если вы начнете близко к решению , начальная скорость сходимости (для любого ) -шаговая линейная с -шаговым коэффициентом сходимостиесли это для некоторой поправки ранга единичной матрицы. Таким образом, попытка сделать это маленьким очень ценно. (Это эквивалентно предварительной обработке системы.) Коэффициент сходимости улучшается со временем и в конечном итоге приближается к нулю (суперлинейная сходимость), но во многих реальных задачах (особенно многомерных) никогда не делается достаточно итераций, чтобы достичь суперлинейного режима. Таким образом, начальная скорость довольно важна.$x^*$$r>0$$r+1$$r+1$$q=\|B_0^{-1}f''(x^*)-G\|$$<1$$r$$G$

Одним важным случаем является решение нелинейных задач наименьших квадратов (минимизировать ), где приближение Гаусса-Ньютона исходного гессиана может быть вычисляется без необходимости вторых производных. Его использование делает метод BFGS аффинно-инвариантным, т. Е. Инвариантным относительно линейных преобразований таких как метод Ньютона, что обычно очень полезно.$\|F(x)\|_2^2$$B_0=F'(x_0)^TF'(x_0)$$x$

Еще один важный случай, когда вы решаете ряд связанных проблем. Часто перезапуск решателя с окончательным гессенским приближением предыдущей задачи значительно уменьшает количество необходимых итераций.