Дипломная работа: Разработка компьютерного лабораторного практикума "Теория оптимизации и численные методы"

o - шаг выбирается из условия убывания функции в точках последовательности

Геометрическая интерпретация метода:

Рисунок 1.2. Геометрическая интерпретация метода

Основной критерий окончания метода:

Построение последовательности заканчивается в точке, для которой

где - заданное малое положительное число, здесь

Начальные параметры метода: .

Изменяемый параметр метода: величина шага .

Особенности реализации алгоритма. Вопрос о величине шага на каждой итерации решается пользователем, причем шаг может быть, как уменьшен, если не выполняется условие , так и увеличен, если скорость сходимости алгоритма невысока (по субъективной оценке пользователя).

Рекомендации по выбору параметров метода. Согласно алгоритму метода, каждая последующая точка в методе градиентного спуска ищется в направлении направлении антиградиента функции, построенном в текущей точке . Поэтому, если направление антиградиента в текущей точке приблизительно совпадает с направлением на минимум (согласно чертежу), шаг следует увеличить, чтобы ускорить процесс сходимости, если же направление антиградиента сильно отличается от направления на минимум, шаг уменьшают, в противном случае функция может уменьшиться несущественно или даже возрасти.

1.1.2 Метод градиентного наискорейшего спуска

Алгоритм метода:

,

здесь

· - направление антиградиента функции

· - шаг вычисляется из условия наибольшего убывания функции в точках последовательности:

·

Геометрическая интерпретация метода

Рисунок 1.3. Геометрическая интерпретация метода

В методе наискорейшего градиентного спуска последующая точка минимизирующей последовательности также ищется в направлении - направлении антиградиента функции, построенном в текущей точке, но условия вычисления шага позволяют определить наилучшее положение точки на этом направлении. Как видно из чертежа, точка принимает на направлении спуска предельное положение, которое характеризуется тем, что линия уровня, проходящая через точку , касается направления спуска, а, следовательно, в точках минимизирующей последовательности, построенной по методу градиентного наискорейшего спуска, выполняется условие:

Основной критерий окончания метода:

Начальные параметры метода:

Изменяемые параметры метода: отрезок для уточнения шага .