Дипломная работа: Технология извлечения знаний из нейронных сетей: апробация, проектирование ПО, использование в психолингвистике

Приобретением знаний называется выявление знаний из источников и пре­образован ие их в нужную форму (например, перенос в базу знаний экспертной системы) [2]. Источни­ками знаний мо гут быть книги, архивные документы, содержимое других баз знаний и т.п., т.е. некоторые объективизированные знания, переведенные в форму, которая делает их доступными для потребителя. Другим типом зна­ний являются экспертные знания, которые имеются у специалистов, но не зафи­ксированы во внешних по отношен ию к ним хранилищах. Экспертные знания являются субъективными. Еще одним видом субъективных знаний являются эмпирические знания, полученные путем наблюдения за окружающей с редой. Ввод в базу знаний объективизированных знаний не представляет проблемы, выявление и ввод субъективных экспертных знаний до­ статочно трудны. Для извлечения и формализации экспертных знаний разработано множество стратегий интервьюирования эксперта и множество моделей представления знаний [2].

В когнитивной психологии изучаются формы репрезентации знаний, характерные для человека: представление класса понятий через его эл ементы; представление понятий класса с помощ ью базового прототипа, отражающего наиболее типичные свойства объектов класса; представ­ление с помощью признаков [ 3]. Форма репрезентации знаний определяет используемую методологию выявления знаний и модель представления знаний.

1.2. Методы извлечения и приобретения знаний

К настоящему времени сформировалось три основных направления извлечения знаний. Эти направления могут использовать одни и те же математические методы; подходы, первоначально разработанные в рамках некоторого направления, могут применяться для решения задач из другого направления. Вот эти направления:

1. Методы самообучения и приобретения знаний в теории классических экспертных систем (Параграф 1.2.1).

2. Извлечение знаний из таблиц данных. Включает теорию статистических выводов и другие методы анализа данных (Параграф 1.2.2).

3. Теория идентификации систем (Параграф 1.2.3).

1.2.1. Приобретение знаний, обучение и обобщение по примерам в теории классических экспертных систем

Исследуется автоматизированный п роцесс получения знаний, объясняющих имеющиеся факты и способных объяснять, классифициро­вать или предсказывать новые. В общем виде задача формулирует­ся так [2]: по совокупности наблюдений (фактов) F, совокупности требований и допущений к виду результирующей гипотезы H и сово купности базо вых знаний и предп оложений, включающих зна­ни я об особенностях предметной области, выбранном способе представления знани й, наборе д опустимых операторов, эвристик и др., сформировать гипотезу Н: H ÞF (Н "объясняет" F).

Общий вид гипотезы Н зависит от цели обобщения и выб ранного способа представлени я знаний. Методы обо бщения, включающие модели класс ификации, формирования понятий, распознавания образов, обнаружения закономерностей, определяются целями обобщен ия, способами представления знаний, общими характе ристиками фактов, критериями оценки ги потез.

Для обобщения по выборкам совокупность фак­тов F имеет вид обучающей выборки – множества объектов, каждый из котор ых сопоставляется с именем некоторого класс а. Целью обобщения в этом случае может являться:

- формировани е понятий: построение по данным обучающей выборки для каждого класса максималь ной совокупности его общи х характеристик [4];

- классификация: построение по данн ым обучающей выборки для каждого класса мин имальной совокупности характеристи к, которая отличала бы элементы класса от элементов других классов;

- определение закономе рности последовательного появле ния событий.

К методам обобщения по выборкам относятся лингвистичес кие модели, методы автоматического с ин теза алгоритмов и программ по при­мерам и другие [2].

В методах обобщен ия по данным апри орное разд еление фактов по классам отсутствует. Здесь могут стави ться следующие цели:

- формулиров ани е гипотезы, обобщающей данные факты;

- выделен ие образов на множестве наблюдаемых данных, группировка данн ых по призн акам (задача формиро­вания понятий, определенная в модели обобщения по выборкам, также часто ставится без априорного раз биения обучающей выборки по клас сам) [4];

- установлен ие закономерностей, характеризующих совокупность наблюдаемых данных [5].

Рас смотрим кратко связь между задачами обобщения и класс ификации и задачами, решаемыми в рамках теории вероятностей и математической статистики. В математичес кой статистике ставятся и решаются задачи вывода новых знаний на основан ии анали за совокупности наблюден ий, при этом устанавливаются частотные закономерности появления событий: определяются общий вид и параметры функций расп ределения вероятно­стей событий по данным наблюдений, делаются выводы о степени статистиче­ской зависимости наблюд аемых случайных величин, проверяются ги потезы о характеристиках случайного события. Действительно, в задаче формализации и вывода знаний о реальн ом мире нельзя не учитывать наличия стати­стических закономерностей в его проявлениях. Общая же задача формирования гипотез по данным наблюдений не огран ичивается установлением статистических закономерностей. Так, разработаны формально-логические модели выдвижени я гипотез [6], которые используются в теории искусственного интеллекта.

С точки з рения способа п редставлен ия знаний и допущений на общий вид объекто в наблюдений, методы обобщения делятся н а методы обобщения по признакам и структурно-логические ( или концептуальные) методы [2]. В первом случае объекты представляются в виде совокупн ости зн ачений косвенн ых приз наков. Методы обоб­ щения и распоз навания по признакам различаются для качественн ых (номинальных или порядковых) и коли чественн ых (и змеримых) значений призн аков. Структурно-логические методы, в отличие от признаковых, предназначены для решения задачи обобщения на множестве объектов, имеющих внутреннюю логическую структуру (последовательности событий, иерархически организованные сети, характеризуемые как признаками и свойствами объектов – элементов сети, так и отношениями между ними). В формально-логических системах, использующих структурно-логические методы обобщения, вывод общих следствий из данных фактов называют ин­дуктивным выводом. Сформулированы основные вопросы, на которые долж­ны давать ответы индуктивные логики и методы выдвижения гипотез:

1. Явля­ется ли гипотеза Н обоснованной данным знанием?

2. Существуют ли методы обосно­вания Н при данном знании?

3. Каковы условия для Н при данном знании, такие, что Н дает наиболее разумное и интересное объяснение?

4. Существуют методы для выдвижения гипотез на основании данного знания, дающих наи­более разумное и интересное объяснение изучаемого явления?

В экспертных системах (ЭС) для представления знаний об объектах ис пользуются обычно модификации языка исчисления пред икатов без ограничения арности предикатных символо в или адекватные им по выразительной мощности с емантические сети [2]. Моделям обобщения на семантических сетях свойственны черты как алгоритмов обобщен ия по п риз накам, так и индуктивной логики. Здесь также определяется набор операторов, используе­мых при формировании обобщенного представления (гипотезы) Н, и выдвига­ются критерии оценки "интересности " и обоснованности гипо тез. Кроме того, в этих моделях ш ироко используется характерный для обобщения по качест­венным признакам [ 7] аппарат теории покрытий и устан авливаются от нош ени я на множестве значений при­знаков объектов-элементов сети. Методами структурного обобщения реша­ются о бычно задачи классификации, формировани я понятий, анализа сцен [2].

Для задачи обобщения по приз накам известен следующий результат: каков бы ни был реальный вид раз деляющей функция y (в общем случае – индуктив­ной гипотезы Н) и алгоритм ее формирования по обучающей выборке, всегда найдется такая (н епустая) обучающая выборка, что сформ ированная функция y ' (гипотеза Н') явится некорректной (ложной).

В связ и с этим гипотезы принято оценивать с точки зрения их "разумност и", "рациональности", "интересности". В [6] рациональ­ность ответа на вопрос 1 (см. выше) индуктивного вывода понимается следующим обра­зом. Пусть F – имеющиеся истинные утверждения, а j – эмпирические данные. Тогда для порождаемой ложной гипотезы F,jÞy вероятностная мера наблюдения y на j должна быть мала (например, мень ше 0,05).

Можно оценивать гипотезы с точки зрения мощностей подмножеств покрываемых ими элементов обучаю­щей выборки. В ряде ис следований для подтверждения или отрицания выдвигаемой гипотезы ис пользуются методы автоматического порождения новых элементов обучающей выборки, ко торые выдаются для клас сификации эксперту. Решающее п равило переопределяется, пока не будет достигнута равновесная ситуация [2].

1.2.1.1. Трудности при разработке экспертных систем

К настоящему времени в теории классических экспертных систем разработана формализованная технология извлечения и представления экспертных знаний. Однако, существует целый ряд трудностей [8]:

- Построение ЭС не под силу конечному пользователю, не обладающему экспертными знаниями о проблемной области.