Московский Автомобильно-Дорожный Институт

(Государственный Технический Университет)

Кафедра АСУ

Курсовая работа

по дисциплине: «Интеллектуальные системы»

Тема работы: «Общие принципы, характерные для нейросетей»

Москва 2000

Содержание

Введение

Наиболее интересные нейросетевые архитектуры и их приложения

Общие принципы, характерные для нейросетей

Локальность и параллелизм вычислений

Программирование: обучение, основанное на данных

Универсальность обучающих алгоритмов

Сферы применения нейросетей

Вывод

Список литературы

Введение

Традиционно нейрон описывался в терминах, заимствованных из нейрофизиологии. Согласно этим представлениям нейрон имеет один выход sj и несколько входов (синапсов), на которые поступают внешние воздействия хi (от рецепторов и от других нейронов).

Количество нейронов в мозге оценивается величиной 10¹⁰ -10¹¹ . Типичные нейроны имеют тело клетки (сому), множество ветвящихся коротких отростков - дендритов и единственный длинный и тонкий отросток - аксон. На конце аксон также разветвляется и образует контакты с дендритами других нейронов - синапсы.

Рисунок 1. Схема межнейронного взаимодействия

Искусственные нейронные сети получили широкое распространение за последние 20 лет и позволили решать сложные задачи обработки данных, часто значительно превосходя точность других методов статистики и искусственного интеллекта, либо являясь единственно возможным методом решения отдельных задач. Нейросеть воспроизводит структуру и свойства нервной системы живых организмов: нейронная сеть состоит из большого числа простых вычислительных элементов (нейронов) и обладает более сложным поведением по сравнению с возможностями каждого отдельного нейрона. Нейросеть получает на входе набор входных сигналов и выдает соответствующий им ответ (выходные сигналы), являющийся решением задачи.

Искусственные нейронные сети применяются для задач классификации или кластеризации многомерных данных. Основная идея лежащая в основе нейронных сетей – это последовательное преобразование сигнала. Основой нейронной сети является кибернетический нейрон. Кибернетический нейрон состоит из 3 логических блоков: входы, функция преобразования и выход. На каждую комбинацию конкретных значений входов функция преобразования нейрона вырабатывает определённый сигнал (выход) (обычно скаляр), и передает его на входы другим нейронам сети. Подавая на входы некоторым нейронам сигналы извне, и отметив выходы части нейронов, как выходы сети в целом, мы получим систему, осуществляющую отображение.

Нейронные сети различаются функцией преобразования в нейронах, внутренней архитектурой связей между нейронами и методами настройки (обучения).

Основным плюсом нейросетей является возможность решения широкого класса задач алгоритмически не разрешимых или задач с нечёткими условиями. Доступность и возросшие вычислительные возможности современных компьютеров привели к широкому распространению программ, использующих принципы нейросетевой обработки данных, но исполняемых на последовательных компьютерах.

Наиболее интересные нейросетевые архитектуры и их приложения

Модель Хопфильда с ассоциативной памятью.

Многослойный персептрон, решающий обширный класс задач распознавания образов.

•Самоорганизующиеся карты Кохенена, обладающие возможностью самостоятельно выявлять закономерности в данных а разбивать входные данные на кластеры.

•Рекурсивные сети Элмана, способные обрабатывать последовательности векторов.

•Вероятностные сети, аппроксимирующие Байесовские классификаторы с любой степенью точности.

Общие принципы, характерные для нейросетей

Согласно общепринятым представлениям наиболее общими принципами, характерными для современных нейросетей являются: коннекционизм, нелинейность активационной функции, локальность и параллелизм вычислений, обучение вместо программирования, оптимальность обучающих алгоритмов.

1. Коннекционизм – это особое течение в философской науке, предметом которого являются вопросы познания. В рамках этого течения предпринимаются попытки объяснить интеллектуальные способности человека, используя искусственные нейронные сети. Составленные из большого числа структурных единиц, аналогичных нейронам, с заданным для каждого элемента весом, определяющим силу связи с другими элементами, нейронные сети представляют собой упрощённые модели человеческого мозга. Такая весовая модель обладает эффектом синапсов, соединяющих каждый нейрон с остальными. Эксперименты с нейронными сетями подобного рода продемонстрировали их способность к обучению выполнения таких задач, как распознавание образов, чтение и определение простых грамматических структур. Философы начали проявлять интерес к коннекционизму, так как коннекционистский подход обещал обеспечить альтернативу классической теории разума и широко распространённой в рамках этой теории идеи, согласно которой механизмы работы разума имеют сходство с обработкой символического языка цифровым компьютером. То, как именно и в какой степени парадигма коннекционизма составляет альтернативу классическим представлениям о природе разума, является предметом жарких споров, ведущихся в последние годы.

Принцип коннекционизма означает, что каждый нейрон нейросети, как правило, связан со всеми нейронами предыдущего слоя обработки данных. Заметим, что наиболее последовательно этот принцип реализован в архитектуре многослойного персептрона.

Рисунок 2. Выделение областей сложной формы.

Отличительной чертой нейросетей является глобальность связей. Базовые элементы искусственных нейросетей - формальные нейроны - изначально нацелены на работу с широкополосной информацией. Каждый нейрон нейросети, как правило, связан со всеми нейронами предыдущего слоя обработки данных (см. Рисунок 1, иллюстрирующий наиболее широко распространенную в современных приложениях архитектуру многослойного персептрона). В этом основное отличие формальных нейронов от базовых элементов последовательных ЭВМ - логических вентилей, имеющих лишь два входа. В итоге, универсальные процессоры имеют сложную архитектуру, основанную на иерархии модулей, каждый из которых выполняет строго определенную функцию. Напротив, архитектура нейросетей проста и универсальна. Специализация связей возникает на этапе их обучения под влиянием конкретных данных.

Рисунок 3. Глобальность связей в искуственных нейросетях

Типичный формальный нейрон производит простейшую операцию - взвешивает значения своих входов со своими же локально хранимыми весами и производит над их суммой нелинейное преобразование:

--> ЧИТАТЬ ПОЛНОСТЬЮ <--