Лекция: Метод случайного поиска

В этом методе на -ой итерации по известному приближению в качестве выбирается некоторый случайный вектор единичной длины,. При этом используются механизмы теории вероятности (датчик случайных чисел). После того, как направление выбрано, проверяется, является ли оно подходящим. Если выполняется, для некоторого малого, то выбирается в качестве направлений итерации и осуществляется итерация, шаг выбирают по 3-ему способу. Если, то шаг изменяется на противоположный либо выбирается по-новому.

Замечание. Не всегда противоположное направление оказывается подходящим. (Если в качестве случайного направления выбрано касательное, то и противоположное не будет подходящим.)

Один из самых популярных методов 1-го порядка, который по сходимости близок к методу 2-го порядка – метод сопряжённого градиента.

При выборе метода для решения конкретной задачи надо учитывать всю информацию, тип целевой функции, её гладкость, форму поверхности уровня, кривизну и так далее.

Общая рекомендация: первые итерации лучше проводить грубыми методами (метод поиска), затем переходить к методу 1-го порядка, а затем в малых окрестностях решения можно использовать метод Ньютона (так как там обычно выполняется неравенство (12)).