Многослойные нейронные сети 8 8 8. 3. Ассоциативная память и сети Хопфилда 6 2 8. 4. Соревновательные сети и самоорганизующиеся карты Кохонена 8 8 12. 5.

Санкт-Петербургский государственный политехнический университет




УТВЕРЖДАЮ

Декан факультета разработчика

_______________В.А. Лопота

"____" ________ 2009 г.



Вводится в действие с "____" ________ 2009 г.



РАБОЧАЯ ПРОГРАММА УЧЕБНОЙ ДИСЦИПЛИНЫ



НЕЙРОИНФОРМАТИКА







Составлена кафедрой “Телематика ”



для студентов специальности
230101.65 – Вычислительные машины, комплексы, системы и сети





Форма обучения - очная




Автор:




Доцент, к.т.н. ст.н.с
_______________
Подгурский Ю.Е.


"____" ________ 2009 г








Санкт-Петербург
2009 г.


Цели и задачи изучения дисциплины
В результате изучения дисциплины учащиеся получат:
знания об основных моделях нейронных сетей и принципах обработки информации нейронными структурами;
умение применять известные нейросетевые модели для решения практических задач управления, распознавания образов, оптимизации;
навыки разработки нейросетевых приложений и обоснования их применения.

Место дисциплины в учебном плане
Данная дисциплина входит в состав дисциплин по выбору естественно научного цикла (ЕН.В.01.01) и изучается в пятом семестре.
Предшествующие обеспечивающие дисциплины: математика, линейная алгебра, дифференциальное исчисление, теория вероятностей, системный анализ и принятие решений.

Распределение объема учебной дисциплины по видам учебных занятий и формы контроля
Форма обучения – очная.

Виды занятий и формы контроля
Объем по семестрам


5-й сем

Лекции, (Л), час.
51

Практические занятия, (ПЗ), час.
34

Самостоятельная работа, (СР), час.
51

Экзамены, (Э), шт.
0

Зачеты, (З), шт.
1

Общая трудоемкость дисциплины составляет по РПД 136 час.


4. Содержание дисциплины
4.1. Разделы дисциплины по ГОС ВПО, разделы дисциплины по РПД и объемы по видам занятий

Разделы дисциплины по ГОС
(дидактические единицы ГОС)
Раздел дисциплины по РПД
Объем занятий, час.
Приме-чание





Л
ПЗ
С


1
Элективная дисциплина естественно-научной компоненты, устанавливаемая вузом
Однослойные нейронные сети
8
4
9


2

Многослойные нейронные сети
8
8
8


3

Ассоциативная память и сети Хопфилда
6
2
8


4

Соревновательные сети и самоорганизующиеся карты Кохонена
8
8
12


5

Теория адаптивного резонанса и ART-сети,
гибридные нейронные сети
15
7
8


6

Рекуррентные нейронные сети
4
5
6


Итого
Общая трудоемкость по ГОС ВПО:
Общая трудоемкость по РПД: 136 ч.

51
34
51



4.2. Содержание разделов дисциплины
1. Однослойные нейронные сети
Искусственный интеллект и подходы к моделированию элементов мышления. Основные этапы развития теории искусственных нейронных сетей (НС), направления и школы. Биологический нейрон и нейронная организация мозга. Свойства центральной нервной системы и механизмы обучения, адаптации и самоорганизации. Формальный нейрон. Основные определения нейроинформатики. Особенности нейровычислений. Задачи, решаемые нейроинтеллектом. Классификация НС. Модели нейронов, структуры НС, алгоритмы функционирования и обучения, их параметры. Уравнения нейродинамики и мнемоуравнения. Глобальное и локальное обучение. Пороговый решающий элемент. Правило обучения Хебба. Геометрическая интерпретация действия порогового элемента. «Дельта»-правило обучения. Персептрон. Процедура обучения Розенблатта. Линейная сеть (ADALINE) и правило Уидроу-Хоффа. Выбор адаптивного шага обучения. Анализ линейных НС. Использование линейной НС для прогнозирования.
2. Многослойные нейронные сети
Алгоритмы функционирования многослойных НС. Обучение с учителем. Обобщенное «дельта»-правило для различных функций активации нейронов. Алгоритм обратного распространения ошибки и решение задачи минимизации. Выбор параметров алгоритма. Повышение скорости сходимости алгоритма и его разновидности. Линейные и нелинейные классификаторы: проблема выбор числа скрытых слоев и числа нейронов в скрытом слое. Распознавание букв алфавита с использованием НС прямого распространения сигнала. Алгоритм послойного обучения. НС прямого распространения сигнала с задержками. Применение НС с задержками для распознавания речи и для прогнозирования. Функционально связанные НС. Алгоритм динамического обратного распространения. Применение многослойных НС для задач идентификации и управления.
3. Ассоциативная память и сети Хопфилда
Принципы хранения информации в ассоциативной памяти. Структура НС Хопфилда и алгоритмы функционирования. Дискретные и непрерывные модели. Описание поведения НС с использованием функции энергии. Устойчивость динамических систем. Обучение НС Хопфилда. Информационная емкость и проблемы коррелированности хранимых образов. Сравнение применения НС Хопфилда и НС прямого распространения для задачи распознавания букв алфавита. Применение НС Хопфилда для решения задач комбинаторной оптимизации. Двунаправленная ассоциативная память. Машина Больцмана.
4. Соревновательные сети и самоорганизующиеся карты Кохонена
Структура соревновательного слоя, соревновательная динамика. Обучение без учителя. Свойства соревновательной сети и использование для решения задач кластеризации. Пример соревновательной сети для распознавания букв и слов. Решение проблемы «мертвых узлов». Принцип самоорганизации в НС Кохонена. Возможные преобразования входного пространства. Алгоритм обучения Кохонена. Функция окрестности и влияние параметров алгоритма обучения на качество обучения. Применение НС Кохонена для решения задач комбинаторной оптимизации.
5. Теория адаптивного резонанса и ART-сети
Дилемма стабильности-пластичности Гроссберга. Основы теории адаптивного резонанса. Структура сети ART1 и алгоритм обучения. ART динамика и свойства. Соответствие между обработкой информации ART моделями и принципами обработки информации биологическими системами.
6. Гибридные нейронные сети
Нейронная сеть Хэмминга. Структура, алгоритмы обучения и функционирования. Применение НС Хэмминга для распознавания букв алфавита. Сети радиальных базисных функций. Стохастические НС. Иерархическая сеть - неокогнитрон. Применение для распознавания рукописного текста. НС встречного распространения (рециркуляционные НС) и их применение для обработки изображений. Альтернативные типы узлов НС. Кубические нейроны и их обучение. Сигма-пи узлы и НС «высокого» порядка, применение в задачах распознавания. Обучение с критиком и обучение с поощрениями и штрафами.
7. Рекуррентные нейронные сети
Структура НС с обратным распространением сигнала. Обучение рекуррентных НС. Полносвязные рекуррентные НС и алгоритмы рекуррентного обучения в «реальном времени» и алгоритм рекуррентного обратного распространения ошибки с учетом времени.

5. Лабораторный практикум
Раздел 1. Моделирование работы однослойных НС с различными функциями активации и различными передаточными функциями нейронов.
Раздел 2. Сравнительный анализ работы различных модификаций алгоритма обратного распространения ошибки и влияния параметров алгоритма на качество обучения.
Раздел 3. Моделирование работы НС Хопфилда.
Раздел 4. Моделирование работы соревновательной НС и НС Кохонена.
Раздел 5. Разработка модели ART1 сети.
Раздел 6. Разработка модели НС Хэмминга. Моделирование работы НС радиальных базисных функций. Реализация алгоритма обучения НС с учетом времени.

6. Практические занятия
Не предусмотрено.

7. Курсовая работа
Не предусмотрено.

8. Учебно-методическое обеспечение дисциплины
8.1 Рекомендуемая литература

Основная
Головко В.А. Нейронные сети: обучение, организация и применение: Учеб. пособие по направлению подгот. бакалавров и магистров "Прикладная математика и физика"; Под общ. ред. А.И. Галушкина. Москва: Редакция журнала "Радиотехника", 2001 . 256 с.
Галушкин А.И. Теория нейронных сетей: Учеб. пособие по направлению подгот. бакалавров и магистров "Прикладная математика и физика" / Федеральная целевая программа "Гос. поддержка интеграции высш. образования и фундам. науки на 1997-2000 годы". М.: Ред. журнала "Радиотехника", 2000 . 415 с.

Дополнительная
Нейроматематика: Учеб. пособие для вузов по направл. "Прикладные математика и физика" / Д.А. Агеев, А.Н. Балухто, А.В. Бычков и др. ; Под ред. А.И. Галушкина . Москва : Редакция журнала "Радиотехника", 2002 . 447 с.
Нейроинформатика - 2004 : VI Всероссийская научно-техническая конференция: Лекции по нейроинформатике : по материалам Школы-семинара "Современные проблемы нейроинформатики" / Московский инженерно-физический институт (государственный университет); [ отв. ред. Ю. В. Тюменцев] . Москва : МИФИ, 2004 . Ч.1 . 2004 . 198 с.

8.2. Технические средства освоения дисциплины
Пакет МАТLAB, TOOLBOX NNET.

9. Материально-техническое обеспечение дисциплины
Класс персональных компьютеров.

10. Методические рекомендации по организации изучения дисциплины
Перед проведением лабораторных работ, предусматривающих собственные разработки моделей НС, рекомендуется провести детальное рассмотрение демонстрационных примеров, представленных в пакете NNET, и предварительные модификации-расширения демонстрационных примеров с требованием от студентов ведения дневника сессии, с тем, чтобы можно было обсудить наиболее трудные элементы и часто встречающиеся ошибки.




Заголовок 1 Заголовок 2 Заголовок 3 Заголовок 7 Заголовок 8%, Знак Знак Знак

Приложенные файлы

  • doc 4452596
    Размер файла: 75 kB Загрузок: 1

Добавить комментарий