Лекция: Этапы построения и обучения ИНС.

1. Поставленная задача формализуется д/ее решения с помощью ИНС. (Опред-ся входные и выходные переменные, формулируется сама постановка задачи).

2. Опред-ся тип и архитектура ИНС, количество и тип нейронов в сети, вид передаточных функций нейронов.

3. Сеть строится, выбирается алгоритм обучения сети.

4. Обучение (похоже на программирование) ИНС. шаги:

4.1. Если сеть обучается с «учителем», то из имеющейся выборки примеров решения задачи выбирается случайным образом какой-либо пример:

Х; У (Х – входные переменные, то, что известно, данное; У – выходные переменные, то, что получится, ответы)

Весовым коэф-там связи присваиваются нек начальные значения. Х-ы – подаются на входы сети (присвоение входным данным значений).

4.2. По полученным значениям У-ов определяется величина ошибки, которую допустила сеть ( дельта У — насколько У отклоняется от своего номинального значения).

4.3. По полученной ошибке выполняется «подстройка» весовых коэффициентов по ранее выбранному алгоритму. Д/ того, чтобы ошибка была мин. Если величина ошибки не превышает доп значения, то сеть можно считать обученной.

4.4. Процедура обучения повторяется, пока ошибка не станет меньше, либо равна допустимому значению ошибки.

В результате получаем ИНС, обученную решению задач определенного типа, например, аппроксимация функций и т.д.

Пример: Постановка задачи распознавания символов для ИНС. Распознаем буквы алфавита.

0 – отсутствие цвета;(квадрат – 100х100)(в квадрате изображение буквы)

1 – наличие цвета

Постановка задачи для ИНС.

Необходимо построить ИНС 10 000 входов и 33 выхода. Обучить надо так, что бы на входе двоичного вектора соответств оцифрованному изображению некоторой буквы алфавита, наибольшая величина цифрового сигнала на выходе, полученном этой буквой.

Наибольшие сложности при построении и обучении ИНС связаны с:

1. Выбором конкретной архитектуры сети;

2. С алгоритмом подстройки весовым коэффициентом, в зависимости от ошибки;

3. Необходимостью иметь обучающую выборку достаточного объема.

Сложность обучения ИНМ связаны с большим количеством переменных (параметров оптимизации ошибки). У (W) min

А так же с наличием локальных минимумов функции ошибки, среди которых нужно найти глобальный (минимальный минимум). Для обучения сетей используют такие алгоритмы оптимизации, как:

— градиентные методы;

— поисковые методы, имитирующие различные физические процессы (метод отжига – модель процесса, который происходит термическая обработка металла);

— генетические алгоритмы.

Если при обучении ИНС особенно сложной архитектуры достигается очень высокая точность решения на обучающей выборке, возможно переобучение сети, которое проявляется в том, что на реальных задачах сеть допускает слишком большие ошибки.

Пример переобучения сети (аппроксимация ф-ции):

Для борьбы с переобучением необходимо:

1. Рационально выбирать архитектуру ИНС, в соответствии с поставленными задачами;

2. Использование в процессе обучения две выборки примеров: обучающую и контрольную.

Если ошибка уменьшается на обеих выборках – обучение можно продолжать. Если на контрольной выборке ошибка стабилизировалась или начала возрастать, то возможно это свидетельствует о переобучении, тогда обучение следует либо прекратить, либо изменить алгоритм обучения или архитектуру сети.

Классификация ИНС:

1. По архитектуре межнейронных связей сети могут быть:

1.1. Полносвязными: В этом случае каждый нейрон передает сигнал всем и самому себе.

1.2. Неполносвязными (слабосвязными). Каждый нейрон передает сигнал отдельным нейронам сети.

1.3. Многослойными (каждый нейрон некоторого слоя передает сигнал всем нейронам след слоя). При этом нейроны одного слоя связи не имеют.

1 – входной слой;

3 — выходной слой;

2 – скрытый слой.

ИНС могут быть:

— с прямым распространением сигнала (от входа к выходу);

— с обратным распространением сигнала.