Как генерировать соседей в алгоритме восхождения на гору?

Скалолазание кажется очень мощным инструментом для оптимизации. Однако то, как генерировать «соседей» решения, всегда озадачивает меня.

Например, я оптимизирую решение . Здесь находится в диапазоне , находится в диапазоне , находится в диапазоне . Какой лучший способ создать "соседей"? Я действительно не могу выбрать «размер шага» здесь, потому что размер шага 1 огромен для , но очень незначителен для .$(x_1, x_2, x_3)$$x_1$$(0, 0.1)$$x_2$$(0, 100)$$x_3$$(0, 1000000)$$x_1$$x_3$

Каков наилучший общий способ генерировать «соседей» в алгоритмах восхождения на холм?

Решение Винсента поможет вам преодолеть первое препятствие. Вы можете все еще задаться вопросом, как выбрать размер шага, даже если все размеры имеют одинаковый диапазон. В этом случае это помогает понять поведение вашей функции, поэтому вы можете выбрать подходящее значение. Другой способ - адаптивно установить размер шага в зависимости от градиента (слегка ступить, если функция сильно меняется).

В этой статье также могут быть некоторые интересные идеи: Об алгоритме восхождения на холм с адаптивным размером шага: на пути к алгоритму оптимизации черного ящика без параметров управления

Самый простой (и самый безопасный) - это репараметризовать вашу проблему так, чтобы все параметры имели сопоставимый диапазон, скажем, [0,1].

Кроме того, вы можете использовать разные размеры шагов для каждого параметра.