Реферат: Адаптивное параметрическое оценивание квадратно-корневыми информационными алгоритмами

Апостериори после измерений выборочных значений , или , совместная плотность вероятности обозначается как

и называется функцией правдоподобия. По функции правдоподобия находиться оценка , причем логично выбирать такое значение , которое максимизирует . Тогда необходимое условие максимума имеет вид

или в силу монотонности логарифма

Эту формулу называют уравнением правдоподобия и, отыскивая решение этой системы уравнений, которое обеспечивает наибольшее значение или , находим оценку максимального правдоподобия, а, находя оценку максимального правдоподобия, мы тем самым находим неизвестные параметры системы.

Таким образом, задача оценивания может быть сформулирована как задача нахождения наибольшего (наименьшего) значения некоторого функционала. Но т.к. значения параметров непосредственному наблюдению не доступны, то критерием выбора оптимума должен быть функционал от выходных сигналов или от математического ожидания ошибок оценок параметров. Примером такого функционала может служить либо функция правдоподобия, либо ее логарифм. Т.е. если - это выход объекта, -соответствующий выход модели и, также когда, невязки ошибок предсказания являются независимыми и имеют гауссовское совместное распределение с нулевым средним и матрицами ковариаций , тогда выражение для обратного логарифма функции максимального правдоподобия имеет следующий вид:

Тогда нахождение оценки максимального правдоподобия эквивалентно минимизации следующего функционала:

(1.2.1)

Тогда

1.3. Методы минимизации функций многих переменных

Критерием выбора оптимума, в нашем случае этим критерием есть выражение (1.2.1), является функция (функционал) многих переменных и для ее минимизации будем использовать наиболее известные и часто применяемые методы минимизации функций многих переменных.

В общем случае будем рассматривать задачу

(1.3.1)

предполагая, что функция непрерывно дифференцируема на . Согласно определению дифференцируемости функции

(1.3.2)

где . Если , то при достаточно малых главная часть приращения (1.3.2) будет определяться дифференциалом функции . Справедливо неравенство Коши-Буняковского

,

причем если , то правое неравенство превращается в равенство только при , а левое неравенство – только при , где . Отсюда ясно, что при направление наибыстрейшего возрастания функции в точке совпадает с направлением градиента , а направление наибыстрейшего убывания – с направлением антиградиента .

Это замечательное свойство градиента лежит в основе ряда итерационных методов минимизации функций. Одним из таких методов является градиентный метод, к описанию которого мы переходим.

1. Градиентный метод. Будем считать, что некоторая точка уже выбрана. Тогда метод заключается в построении последовательности по правилу:

Существуют различные способы выбора в данном методе, но на практике нередко довольствуются нахождением какого-либо , обеспечивающего условие монотонности: . С этой целью задаются какой-либо постоянной и на каждой итерации метода берут . При этом для каждого проверяют условие монотонности, и в случае его нарушения дробят до тех пор, пока не восстановится монотонность метода.

2. МетодНьютона. Градиентный метод является методом первого порядка, поскольку использует лишь первые производные минимизируемой функции. Однако если минимизируемая функция дважды непрерывно дифференцируема и производные вычисляются достаточно просто, то возможно применение метода минимизации второго порядка, которые используют квадратичную часть разложения этой функции в ряд Тейлора. Широко известный метод Ньютона представляет собой итерационный процесс:

3. Метод сопряженных направлений. Метод сопряженных направлений является методом использующим лишь градиент функционала и описывается следующим образом: