Реферат: Метод Дэвидона-Флетчера-Пауэлла

Лемма 1 показывает, что каждая матрица D_j положительно определена и d_j является направлением спуска.

Для доказательства леммы нам понадобится :

Теорема 1 . Пусть S - непустое множество в Е_n , точка x Î cl S. Конусом возможных направлений в точке x называется множество D = {d : d ¹ 0, x + ld Î S при всех l Î (0, d) для некоторого d > 0}.

Определение. Пусть x и y - векторы из Е_n и |x^T y| - абсолютное значение скалярного произведения x^T y. Тогда выполняется следующее неравенство, называемое неравенством Шварца : |x^T y| £ ||x|| ||y||.

Лемма 1.

Пусть y₁ Î Е_n , а D₁ – начальная положительно определенная симметрическая матрица. Для j = 1, ..., n положим y_j+1 = y_j + l_j d_j , где d_j = –D_j f(y_j ), а l_j является оптимальным решением задачи минимизации f(y_j + ld_j ) при l ³ 0. Пусть, кроме того, для
j = 1, ..., n – 1 матрица D_j+1 определяется по формулам (1) - (3). Если f(y_j ) ¹ 0 для
j = 1, ..., n, то матрицы D₁ , ..., D_n симметрические и положительно определенные, так что d₁ , ..., d_n – направления спуска.

Доказательство.

Проведем доказательство по индукции. При j = 1 матрица D₁ симметрическая и положительно определенная по условию леммы. Кроме того,
f(y₁ )^T d₁ = –f(y₁ )^T D₁ f(y₁ ) < 0, так как D₁ положительно определена. Тогда по теореме 1 вектор d₁ определяет направление спуска. Предположим, что утверждение леммы справедливо для некоторого j £ n – 1, и покажем, что оно справедливо для j+1. Пусть x – ненулевой вектор из E_n , тогда из (1) имеем

(4)

Так как D_j – симметрическая положительно определенная матрица, то существует положительно определенная матрица D_j ^{1 /2} , такая, что D_j = D_j ^{1 /2} D_j ^{1 /2} . Пусть
a = D_j ^{1 /2} x и b = D_j ^{1 /2} q_j . Тогда x^T D_j x = a^T a, q_j ^T D_j q_j = b^T b и x^T D_j q_j = a^T b. Подставляя эти выражения в (4), получаем :

(5)

По неравенству Шварца имеем (a^T a)(b^T b) ³ (a^T b)² . Таким образом, чтобы доказать, что x^T D_j+1 x ³ 0, достаточно показать, что p_j ^T q_j > 0 и b^T b > 0. Из (2) и (3) следует, что

p_j ^T q_j = l_j d_j ^T [f(y_j+1 ) – f(y_j )]. (6)

По предположениюf(y_j ) ¹ 0, и D_j положительно определена, так что
f(y_j )^T D_j f(y_j ) > 0. Кроме того, d_j – направление спуска, и, следовательно, l_j > 0. Тогда из (6) следует, что p_j ^T q_j > 0. Кроме того, q_j ¹ 0, и , следовательно, b^T b= q_j ^T D_j q_j > 0.

Покажем теперь, что x^T D_j+1 x > 0. Предположим, что x^T D_j+1 x = 0. Это возможно только в том случае, если (a^T a)(b^T b) = (a^T b)² и p_j ^T x = 0. Прежде всего заметим, что
(a^T a)(b^T b) = (a^T b)² только при a = lb, т.е. D_j ^{1 /2} x = lD_j ^{1 /2} q_j . Таким образом, x = lq_j . Так как x ¹ 0, то l ¹ 0. Далее, 0 = p_j ^T x = l p_j ^T q_j противоречит тому, что p_j ^T q_j > 0 и l ¹ 0. Следовательно, x^T D_j+1 x > 0, т.е. матрица D_j+1 положительно определена.

Поскольку f(y_{j +1} ) ¹ 0 и D_j+1 положительно определена, имеем
f(y_{j +1} )^T d_j+1 = –f(y_{j +1} )^T D_j+1 f(y_{j +1} ) < 0. Отсюда по теореме 1 следует, что d_j+1 – направление спуска.

Лемма доказана.

Квадратичный случай.

В дальнейшем нам понадобиться :

Теорема 2. Пусть f(x) = c^T x + 1 x^T Hx, где Н - симметрическая матрица порядка n x n. Рассмотрим Н - сопряженные векторы d₁ , …, d_n и произвольную точку x₁ . Пусть l_k для k = 1, …, n - оптимальное решение задачи минимизации
f(x_k + ld_k ) при l Î Е₁ и x_k+1 = x_k + ld_k . Тогда для k = 1, …, n справедливы следующие утверждения :

1. f(x_k+1 )^T d_j = 0, j = 1, …, k;

2. f(x₁ )^T d_k = f(x_k )^T d_k ;

3. x_k+1 является оптимальным решением задачи минимизации f(x) при условии
x - x₁ Î L(d₁ , …, d_k ), где L(d₁ , …, d_k ) – линейное подпространство, натянутое на векторы d₁ , …, d_k , то есть В частности, x_n+1 – точка минимума функции f на Е_n .

Если целевая функция f квадратичная, то в соответствии со сформулированной ниже теоремой 3 направления d₁ , …, d_n , генерируемые методом Дэвидона - Флетчера - Пауэлла, являются сопряженными. Следовательно, в соответствии с утверждением 3 теоремы 2 метод останавливается после завершения одной итерации в оптимальной точке. Кроме того, матрица D_n+1 , полученная в конце итерации, совпадает с обратной к матрице Гессе Н.

Теорема 3 . Пусть Н – симметричная положительно определенная матрица порядка n x n. Рассмотрим задачу минимизации f(x) = c^T x + 1 x^T Hx при условии x Î E_n . Предположим, что задача решена методом Дэвидона - Флетчера - Пауэлла при начальной точке y₁ и начальной положительно определенной матрице D₁ . В частности, пусть l_j , j = 1, …, n, – оптимальное решение задачи минимизации f(y_j + ld_j ) при l ³ 0 и y_{j +1} = y_j + l_j d_j , где d_j = -D_j f(y_j ), а D_j определяется по формулам (1) – (3). Если f(y_j ) ¹ 0 для всех j, то направления
d₁ , …, d_n являются Н - сопряженными и D_n+1 = H^-1 . Кроме того, y_n+1 является оптимальным решением задачи.

Доказательство.

Прежде всего покажем, что для j, такого, что 1 £ j £ n, справедливы следующие утверждения :

1. d₁ , …, d_j линейно независимы.