Реферат: Методы дискриминантного анализа

Дискриминантная функция может быть как линейной, так и нелинейной. Выбор ее вида зависит от геометрического расположения разделяемых классов в пространстве дискриминантных переменных. Для упрощения выкладок в дальнейшем рассматривается линейная дискриминантная функция.

2. Расчет коэффициентов дискриминантной функции

Коэффициенты дискриминантной функции определяются таким образом, чтобы (x) и (x) как можно больше различались между собой, т.е. чтобы для двух множеств (классов) было максимальным выражение

(4)

Тогда можно записать следующее:

(5)

где k- номер группы; p – число переменных, характеризующих каждое наблюдение.

Обозначим дискриминантную функцию (x)как ( k - номер группы, t - номер наблюдения в группе). Внутригрупповая вариация может быть измерена суммой квадратов отклонений:

(6)

По обеим группам это будет выглядеть следующим образом:

(7)

В матричной форме это выражение может быть записано так:

(8)

где А - вектор коэффициентов дискриминантной функции;

- транспонированная матрица отклонений наблюдаемых значений исходных переменных от их средних величин в первой группе

(9)

- аналогичная матрица для второй группы.

Объединенная ковариационная матрица определяется так:

(10)

Следовательно выражение (8) дает оценку внутригрупповой вариации и его можно записать в виде:

(11)

Межгрупповая вариация может быть измерена как

(12)

При нахождении коэффициентов дискриминантной функции следует исходить из того, что для рассматриваемых объектов внутригрупповая вариация должна быть минимальной, а межгрупповая вариация - максимальной. В этом случае мы достигнем наилучшего разделения двух групп, т.е. необходимо, чтобы величина F была максимальной:

(13)

В точке, где функция F достигает максимума, частные производные по будут равны нулю. Если вычислить частные производные

(14)

и приравнять их нулю, то после преобразований получим выражение:

(15)

Из этой формулы и определяется вектор коэффициентов дискриминантной функции (А)

Полученные значения коэффициентов подставляют в формулу (1) и для каждого объекта в обеих группах (множествах) вычисляют дискриминантные функции, затем находят среднее значение для каждой группы. Таким образом, каждое i - е наблюдение, которое первоначально описывалось m переменными, будет как бы перемещено в одномерное пространство, т.е. ему будет соответствовать одно значение дискриминантной функции, следовательно, размерность признакового пространства снижается.

3. Классификация при наличии двух обучающих выборок

Перед тем как приступить непосредственно к процедуре классификации, нужно определить границу, разделяющую в частном случае две рассматриваемые группы. Такой величиной может быть значение функции, равноудаленное от и , т.е.

(16)

Величина С называется константой дискриминации.

На рис.1 видно, что объекты, расположенные над прямой f(x)=++…+ =C , находятся ближе к центру множества и, следовательно, могут быть отнесены к первой группе, а объекты, расположенные ниже этой прямой, ближе к центру второго множества, т.е. относятся ко второй группе. Если граница между группами выбрана так, как сказано выше, то суммарная вероятность ошибочной классификации минимальная.

Рассмотрим пример использования дискриминантного анализа для проведения многомерной классификации объектов. При этом в качестве обучающих будем использовать сначала две выборки, принадлежащие двум классам, а затем обобщим алгоритм классификации на случай k классов.

Пример 1. Имеются данные по двум группам промышленных предприятий машиностроительного комплекса:

-фондоотдача основных производственных фондов, руб.;