Лекция: Метод наискорейшего спуска (метод градиента)

Выбирают, где все производные вычисляются при, и уменьшают длину шага по мере приближения к минимуму функции .

Для аналитических функций и малых значений тейлоровское разложение позволяет выбрать оптимальную величину шага

где все производные вычисляются при. Параболическая интерполяция функции может оказаться более удобной.