Понимание условий Вульфа для поиска неточной строки

12

Согласно Книжной числовой оптимизации Nocedal & Wright (2006), условия Вульфа для неточного поиска линии для направления спуска ,p

Достаточное уменьшение: Условие кривизны: дляF ( х + α р ) Т р с 2F ( х ) Т р 0 < с 1 < с 2 < 1f(x+αp)f(x)+c1αkf(x)Tp
f(x+αp)Tpc2f(x)Tp
0<c1<c2<1

Я могу видеть, как условие достаточного уменьшения утверждает, что значение функции в новой точке должно находиться под касательной в . Но я не уверен, что условие кривизны говорит мне геометрически. Кроме того, почему должно быть наложено отношение ? Что это делает, геометрически?x c 1 < c 2x+αpxc1<c2

Пол
источник

Ответы:

12

Условие кривизны, по сути, говорит об этом: мы знаем, что (потому что - это направление спуска). Таким образом, в направлении , он идет вниз. Теперь мы ищем минимум, то есть точку, где . Это означает, что мы не хотим принимать длины шагов где градиент в направлении , то есть по-прежнему такой же отрицательный, как и в точке x. Скорее, мы хотим остановиться в месте, где градиент менее отрицательный или даже положительный.f(x)p<0ppf=0x+αppf(x+αp)p

Поскольку правая часть условия кривизны отрицательна, распространенным вариантом условия является требованиекоторый я обычно нахожу легче понять.

|f(x+αp)p|c2|f(x)p|

Понимание этого позволит вам легко строить случаи, когда вы не можете выполнить оба условия, если только .c1<c2

Вольфганг Бангерт
источник
Таким образом, независимо от того , что гладкой функции I выбрать, установка приведет либо к существенному снижению или состоянию кривизны не удовлетворены? fc2<c1
Павел
1
Нет, наоборот. Если вы выберете то существуют функции которых одно из двух условий не выполняется, даже если у вас есть направление спуска. В таком случае поиск строки не найдет длину шага. f ( x )c2<c1f(x)
Вольфганг Бангерт