Лекция: Метод наискорейшего спуска

Это разновидность метода градиента, обеспечивающая наименьшее число шагов в определении оптимума. Суть его сводится к следующему. После определения градиента функции f(x) делаем шаг в направлении, обратном градиенту. Если значение целевой функции при этом уменьшилось по сравнению с исходным, то делаем очередной шаг в том же направлении, а не определяем заново градиент, как при методе градиента. Если же после очередного шага значение целевой функции увеличилось по сравнению с предыдущим значением, то движение прекращаем, заново определяется направление градиента и т. д. Повышенная скорость сходимости является существенным преимуществом этого метода.

При использовании метода наискорейшего спуска на каждой итерации величина шага выбирается из условия минимума функцииf (x) в направлении спуска:

. (3.38)

Это условие означает, что движение в направлении антиградиента происходит до тех пор, пока значение функции f (x) убывает. С математической точки зрения на каждом шаге итерации необходимо решать задачу одномерной минимизации по функции. Для решения используется любой метод одномерной оптимизации, наиболее часто используется метод сканирования.

еще рефераты
Еще работы по информатике