Реферат: Основные определения курса Распознавание Образов

Рандомизированное решающее правило. Определение см. в Metogy_r.doc, стр 38.

Отказ от гипотезы о компактности. В статистических методах мы имеем дело с вероятностями событий (условными вероятностями принадлежности объектов к определенным классам при условии, что их признаки принимают определенные значения) и абстрагируемся от истинных причин принадлежности объектов к тем или иным классам. Мы не говорим о «расстоянии» между векторами признаков объектов в пространстве признаков.

Если детерминистические методы основаны на понятии «схожести» и расстоянии между объектами классов, то статистические методы основаны на построении функций распределения.

Детерминистические методы имеют погрешность в том, что расстояние до объекта из обучающей выборки зависит от количества элементов в обучающей выборке. Т.е. например, расстояние до ближайшего элемента может меняться с ростом числа примеров.

Статистические методы имеют погрешность в том, что по обучающей выборке мы можем лишь оценить распределение с некоторой точностью, и не можем узнать его истинную структуру. Чем больше различных элементов обучающей выборки мы имеем, тем более точно мы сможем оценить распределение. В этом прослеживается связь между статистическими и детерминистическими методами распознавания.

2 способа распознавания по формуле Байеса . В первом случае моделируются распределения и с учетом априорных вероятностей вычисляются апостериорные вероятности. Во втором случае просто пространство признаков делится на области принятия решений.

Нейронная сеть . В данном документе не объясняется, так как это предмет отдельного курса. Однако понимание что это такое требуется. Нейронная сеть позволяет топологически разбить пространство признаков на области, соответствующие определенным классам, минуя шаг построения распределений. Каждый нейрон в таком случае реализует разделяющую поверхность в пространстве признаков.

Статистическая интерпретация метода к-ближайших соседей . Очень грубая оценка распределений дает:

Пусть V – гиперсфера заданного радиуса в пространстве признаков, с центром в точке соответствующей вектору (х) признаков распознаваемого объекта.

Пусть Nk – число объектов класса k, попавших в гиперсферу V

TOTALk – число объектов класса k, попавших в обучающую выборку

TOTAL – общее число объектов в обучающей выборке

ALL in V – общее число объектов обучающей выборки, попавших в V

p(x|Ck) ~ P(x in V | Ck) / V, V->0

P(x in V| Ck) ~ Nk (in V) / TOTALk если TOTALk ->inf

P(Ck) ~ TOTALk / TOTAL ~ Nk / ALL in V, V->inf

p(x) = P(x in V) / V, V->0 ~ [ALL in V / TOTAL] / V

P(Ck | x) = p(x | Ck) P(Ck) / p(x) ~

[Nk / (TOTALk*V)]*[TOTALk/TOTAL] * [V*TOTAL/[ALL in V]] = Nk/[ALL in V]

То есть P(Ck|x) = Nk/[ALL in V]

Заметим, что

P(C1|x)+P(C2|x)+… = N1/[ALL in V] + N2/[ALL in V] +… = [ALL in V]/[ALL in V] = 1

Получился метод к-ближайших соседей (к соседей заключенных в гиперкуб объемом V)

Т.е. апостерироная вероятность класса для вектора признаков х примерно равна отношению числа элементов данного класса в гиперсфере с центром в х к общему числу элементов обучающей последовательности в гиперсфере V.

Если [ALL in V] = 1, то получается метод ближайшего соседа .

Другие способы оценки распределений:

Параметрическая оценка нормального распределения : p(x|Ck) = Aexp(-(x-m)^2/g), где m – среднее для векторов признаков класса Ck, g – пропорциональна дисперсии, А – нормировочная константа (зависит от g).

Последовательная процедура распознавания – если измерение признаков дорого обходится, можно решать задачу последовательно для n измерений пространства признаков n = 1…n(max). На каждом шаге оценивать разрешаюшую способность

max P(Ck|x)

---------------------

max P(Cj|x) , j<>k

Если разрешающая способность превышает заданный порог (например 2 будет означать, что мы как минимум в 2 раза более уверены в одном из решений относительно любого другого), то принимается решение на этом шаге либо по максимальной вероятности либо исходя из матрицы потерь. В противном случае мы измеряем следующий признак до тех пор пока признаки не кончатся. Если разрешающий критерий не достигается при всех измеренных признаках необходимо принимать решение с теми вероятностями P(Ck|x), которые получились, либо вообще отказаться от принятия решения и выдать ответ «не могу решить задачу с требуемой точностью».