Лекция: Метод наискорейшего спуска
Это разновидность метода градиента, обеспечивающая наименьшее число шагов в определении оптимума. Суть его сводится к следующему. После определения градиента функции f(x) делаем шаг в направлении, обратном градиенту. Если значение целевой функции при этом уменьшилось по сравнению с исходным, то делаем очередной шаг в том же направлении, а не определяем заново градиент, как при методе градиента. Если же после очередного шага значение целевой функции увеличилось по сравнению с предыдущим значением, то движение прекращаем, заново определяется направление градиента и т. д. Повышенная скорость сходимости является существенным преимуществом этого метода.
При использовании метода наискорейшего спуска на каждой итерации величина шага выбирается из условия минимума функцииf (x) в направлении спуска:
. (3.38)
Это условие означает, что движение в направлении антиградиента происходит до тех пор, пока значение функции f (x) убывает. С математической точки зрения на каждом шаге итерации необходимо решать задачу одномерной минимизации по функции. Для решения используется любой метод одномерной оптимизации, наиболее часто используется метод сканирования.