Алгоритм может "проскакивать" искомую точку:
Антиградиент задает направление наибольшего убывания этой функции:
В методах спуска обычно используют единичный вектор, определяющий направление спуска:
В случае минимизации дифференцируемой функции необходимое условие экстремума - отличие градиента от нуля:
В теории численных методов многомерной оптимизации большое внимание уделено поиску минимума квадратичных функций:
Высказанные соображения качественного характера о методах наискорейшего спуска справедливы только для сильно выпуклых функций:
Исчерпывающий спуск может дать положительный результат при минимизации тех функций, к которым не применим метод градиентного спуска:
Любая итерационная последовательность сходится к пределу:
Метод градиентного спуска для квадратичных функций всегда приводит к ответу за одну итерацию:
Метод наискорейшего спуска отличается от метода градиентного поиска:
Методы прямого поиска менее изучены, большинство из них носят эвристический характер:
Методы прямого поиска просты в реализации:
При анализе сходимости релаксационной последовательности удобно рассматривать возрастающую последовательность:
Теорему Коши-Буняковского применяют для оценки сходимости градиентных методов:
Точка, найденная при помощи исчерпывающего спуска, всегда совпадает с соответствующей точкой, найденной по методу наискорейшего спуска:
У выпуклой функции может быть несколько минимумов:
Шаг спуска на каждой итерации пропорционален длине вектора антиградиента: