КРАСНОЯРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОГО МОЕДЛИРОВАНИЯ СО РАН Миркес Е.М Учебное пособие по курсу НЕЙРОИНФОРМАТИКА Красноярск 2002 Введение Рабочая программа по курсу «Нейроинформатика» Лабораторная № 1 Лабораторная № 2 Лабораторная № 3 Лабораторная № 4 Лабораторная № 5 Лабораторная № 6 Лабораторная № 7 Вопросы к экзамену Лекция 1. Возможности нейронных сетей Лекции 2 и 3. Сети естественной классификации Содержательная постановка задачи Формальная постановка задачи Сеть Кохонена Обучение сети Кохонена Сеть Кохонена на сфере Метод динамических ядер Выбор начального приближения Примеры видов классификации Сферическая модель Пространственная модель Модель линейных зависимостей Определение числа классов Простой подбор Методы отжига Лекции 4, 5 и 6. Нейронные сети ассоциативной памяти, функционирующие в дискретном времени Описание задачи Формальная постановка задачи Сети Хопфилда Функционирование сети Ортогональные сети Тензорные сети Сети для инвариантной обработки изображений Конструирование сетей под задачу Численный эксперимент Доказательство теоремы Лекция 7.1. Двойственные сети Краткий обзор нейронных сетей Выделение компонентов Запросы компонентов нейрокомпьютера Запросы к задачнику Запрос к предобработчику Запрос к исполнителю Запросы к учителю Запрос к контрастеру Запрос к оценке Запрос к интерпретатору ответа Запросы к сети Лекция 7.2. Задачник и обучающее множество Структуры данных задачника Поля задачника Состав данных задачника Цвет примера и обучающая выборка Входные данные Комментарии Предобработанные данные Правильные ответы Полученные ответы Оценки Вес примера Достоверность ответа Уверенность в ответе Лекция 8. Предобработчик Нейрон Различимость входных данных Классификация компонентов входных данных Кодирование бинарных признаков Кодирование неупорядоченных качественных признаков Кодирование упорядоченных качественных признаков Числовые признаки Простейшая предобработка числовых признаков Оценка способности сети решить задачу Оценка константы Липшица сети Способ вычисления константы Липшица Синапс Умножитель Точка ветвления Сумматор Нелинейный Паде преобразователь Нелинейный сигмоидный преобразователь Адаптивный сумматор Константа Липшица сигмоидной сети Предобработка, облегчающая обучение Другие способы предобработки числовых признаков Модулярная предобработка Функциональная предобработка Позиционная предобработка Составной предобработчик Лекция 9. Описание нейронных сетей Конструирование нейронных сетей Элементы нейронной сети Составные элементы Функционирование сети Методы построения двойственных сетей Элементы самодвойственных сетей Правила остановки работы сети Архитектуры сетей Модификация синаптической карты (обучение) Контрастирование и нормализация сети Примеры сетей и алгоритмов их обучения Сети Хопфилда Сеть Кохонена Персептрон Розенблатта Лекция 10. Оценка и интерпретатор ответа Интерпретатор ответа Уровень уверенности Построение оценки по интерпретатору Глобальные и локальные оценки Составные интерпретатор ответа и оценка Лекция 11.1. Исполнитель Лекция 11.2, 12. Учитель Что можно обучать методом двойственности Задача обучения сети Описание алгоритмов обучения Краткий обзор макрокоманд учителя Неградиентные методы обучения Градиентные методы обучения Лекции 13, 14. Контрастер Задачи для контрастера Упрощение архитектуры нейронной сети Уменьшение числа входных сигналов Сведение параметров нейронной сети к выделенным значениям Снижение требований к точности входных сигналов Получение явных знаний из данных Множества повышенной надежности Формальная постановка задачи Классификация дублей Прямой дубль первого рода Косвенный дубль первого рода Прямой дубль второго рода Косвенный дубль второго рода Косвенный супердубль Процедура контрастирования Контрастирование на основе показателей значимости Контрастирование без ухудшения Гибридная процедура контрастирования Контрастирование при обучении Определение показателей значимости Определение показателей значимости через градиент Усреднение по обучающему множеству Накопление показателей значимости Лекции 15, 16. Персептрон Определение персептрона Обучение персептрона. Правило Хебба Целочисленность весов персептронов Двуслойность персептрона Приложение 1. Описание пакета программ CLAB (С.Е. Гилев) Описание пакета Общее описание Ptn— файл Задачник Создание нейросети Обучение нейросети Классификация объектов Дополнительные возможности нейросети Инструкции пользователю по работе с пакетом CLAB Инсталляция Обучение работе с пакетом clab на демонстрационной задаче Инструкции по созданию ptn-файла Инструкции по выбору файлов и директорий при работе с пакетом clab Инструкции по работе с программой editor Составление задачника без использования программы editor Инструкции по работе с программой netgener Инструкции по работе с программой teacher Инструкции по работе с программой tester Приложение 2. Описание программ пакета «Нейроучебник» Сервисные функции Главный индекс Основной режим Обучающее множество Нейронная сеть Параметры Обучение
Тест Приложение 3. Стандарт нейрокомпьютера Общий стандарт Стандарт типов данных Переменные типа цвет и операции с цветами Приведение и преобразование типов Операции Предопределенные константы Интерфейсные функции Строковые функции Описание языка описания компонентов Использование памяти Обработка ошибок Запросы, однотипные для всех компонентов Стандарт первого уровня компонента задачник Язык описания задачника Стандарт второго уровня компонента задачник Чтение и запись задачника Начало и конец сеанса Перемещение по примерам Определение, получение и изменение данных Окраска примеров Ошибки компонента задачника Стандарт первого уровня компонента предобработчик Неопределенные значения Стандартные предобработчики Язык описания предобработчика Стандарт второго уровня компонента предобработчик Запрос на предобработку Остальные запросы Ошибки компонента предобработчик Стандарт первого уровня компонента сеть Структура компонента Сигналы и параметры Обучаемые и не обучаемые параметры и сигналы Дополнительные переменные Стандарт языка описания сетей Стандарт второго уровня компонента сеть Запросы к компоненту сеть Запросы на функционирование Запросы на изменение параметров Запросы, работающие со структурой сети Стандарт первого уровня компонента интерпретатор ответа БНФ языка описания интерпретатора Описание языка описания интерпретаторов Пример описания интерпретатора Стандарт второго уровня компонента интерпретатор ответа Запрос на интерпретацию Остальные запросы Ошибки компонента интерпретатор ответа Стандарт первого уровня компонента оценка БНФ языка описания оценок Описание языка описания оценок Пример описания оценки Стандарт второго уровня компонента оценка Запрос на оценивание Остальные запросы Ошибки компонента оценка Стандарт второго уровня компонента исполнитель Позадачная обработка (TaskWork) Обработка обучающего множества (TaskSetWork) Ошибки компонента исполнитель Стандарт первого уровня компонента учитель Способ опознания сети для методов, привязанных к архитектуре сети Список стандартных функций Язык описания учителя Стандарт второго уровня компонента учитель Обучение сети Чтение/запись учителя Инициация редактора учителя Работа с параметрами учителя Обработка ошибок Стандарт первого уровня компонента контрастер Язык описания контрастера Стандарт второго уровня компонента контрастер Контрастирование сети Чтение/запись контрастера Инициация редактора контрастера Работа с параметрами контрастера Обработка ошибок ЛИТЕРАТУРА
Модель линейных зависимостей Это первая модель, которая может быть решена методом динамических ядер, но не может быть получена с помощью обучения сети Кохонена, поскольку ядра не являются точками в пространстве объектов. Ядрами в данной модели являются прямые, а мерой близости — квадрат расстояния от точки (объекта) до прямой. Прямая в n —мерном пространстве задается парой векторов: ai = (bi , ci ). Первый из векторов задает смещение прямой от начала координат, а второй является направляющим вектором прямой. Точки прямой задаются формулой x = b + tc , где t — параметр, пробегающий значения от минус бесконечности до плюс бесконечности. t имеет смысл длины проекции вектора x-b на вектор c . Сама проекция равна tc . При положительном значении вектор проекции сонаправлен с вектором c , при отрицательном — противоположно направлен. При условии, что длина вектора c равна единице, проекция вычисляется как скалярное произведение (x–b,c ). В противном случае скалярное произведение необходимо разделить на квадрат длины c . Мера близости вектора (точки) x определяется как квадрат длины разности вектора x и его проекции на прямую. При решении задачи (4) необходимо найти минимум следующей функции:
Продифференцируем целевую функцию по неизвестным tq , ci r , bi r и приравняем результаты к нулю.
Выразим из последнего уравнения в (10) bi r :
В качестве bi можно выбрать любую точку прямой. Отметим, что для любого набора векторов xij и любой прямой с ненулевым направляющим вектором ci на прямой найдется такая точка bi , что сумма проекций всех точек на прямую x = b + tc будет равна нулю. Выберем в качестве bi такую точку. Второе слагаемое в правой части (11) является r-й координатой суммы проекций всех точек на искомую прямую и, в силу выбора точки bi равно нулю. Тогда получаем формулу для определения bi :
Из первых двух уравнений (10) получаем формулы для определения остальных неизвестных:
Поиск решения задачи (4) для данного вида классификации осуществляется по следующему алгоритму:
1. Вычисляем bi по формуле (12).
2. Вычисляем t по первой формуле в (13).
3. Вычисляем ci по второй формуле в (13).
4. Если изменение значения ci превышает заданную точность, то переходим к шагу 2, в противном случае вычисления закончены.