Реферат: L2-L1 закон

Outstar

Быстрое обучение

Предположим, что a2j(t) = 1 и решается для обучающего состояния веса (steady state weight?)

Колонка j из W2:1 сходятся к выходу слоя 1, который является комбинацией входного образца и предыдущим прототипом образца. Прототип образца модифицируется по включенному текущему входному образцу.

(Column j of W2:1 converges to the output of Layer 1, which is a combination of the input pattern and the previous prototype pattern. The prototype pattern is modified to incorporate the current input pattern.)

Adaptive Resonance Theory(ART)-адаптивная резонансная теория

АРТ-1-сеть адаптивной резонансной теории-1

Разработана Карпентером и Гроссбергом в 1986г.

Сеть АРТ-1 обучается без учителя. Она реализует алгоритм кластеризации. В соответствии с алгоритмом первый входной сигнал считается эталоном первого кластера. Следующий входной сигнал сравнивается с эталоном первого кластера. Говорят, что входной сигнал «следует за лидером» и принадлежит первому кластеру, если расстояние до эталона первого кластера меньше порога. В противном случае второй входной сигнал ставится эталоном второго кластера. Процесс повторяется для всех следующих входных сигналов. Т.о., число кластеров растет с течением времени и зависит как от значения порога, так и от меры сходства, использующейся для сравнения входных сигналов и эталонов классов. Основная часть сети АRТ-1 схожа с сетью Хэмминга, которая дополнена полносвязной сетью MAXNET.

Область применения – распознавание образов, кластерный анализ.

Недостатки – неограниченное увеличение числа нейронов в процессе функционирования сети.

ART1 алгоритм:

1. Все начальные элементы W2:1 матрицы становятся равными 1. Все начальные элементы W1:2 матрицы становятся равными z/(z+S1-1).

2. Входной образец представлен. Так как слой 2 не активен

3. Вход к Слою 2 вычислен, и нейрон с самым большим входом активизирован.

Otherwise-иначе

В случае связи нейрон с самым маленьким индексом — победитель.

4. ожидание L2-L1 вычислено.

35. Сеть Хопфилда. Модель. Функция Ляпунова. Графическое представление. Нахождение седловой точки.

Хопфилд обратил внимание на то, что динамический процесс, возникающий в замкнутой на саму себя рекуррентной сети может привести к некоторому устойчивому состоянию, отличающемуся от исходного. Другими словами, итерационный процесс рекуррентной сети может вывести на стационарный режим, при котором состояние сети перестанет меняться.

Наиболее известной сетью ассоциативной памяти является сеть Хопфилда [1]. В основе сети Хопфилда лежит следующая идея — запишем систему дифференциальных уравнений для градиентной минимизации «энергии» H (функции Ляпунова). Точки равновесия такой системы находятся в точках минимума энергии. Функцию энергии будем строить из следующих соображений:

Каждый эталон должен быть точкой минимума.

В точке минимума все координаты образа должны иметь значения .

Функция

не удовлетворяет этим требованиям строго, но можно предполагать, что первое слагаемое обеспечит притяжение к эталонам (для вектора x фиксированной длины максимум квадрата скалярного произведения достигается при x=xi ), а второе слагаемое — приблизит к единице абсолютные величины всех координат точки минимума. Величина характеризует соотношение между этими двумя требованиями и может меняться со временем.

Используя выражение для энергии, можно записать систему уравнений, описывающих функционирование сети Хопфилда:

. (1)

Сеть Хопфилда в виде (1) является сетью с непрерывным временем. Это, быть может, и удобно для некоторых вариантов аналоговой реализации, но для цифровых компьютеров лучше воспользоваться сетями, функционирующими в дискретном времени шаг за шагом.

Построим сеть Хопфилда с дискретным временем. Сеть должна осуществлять преобразование входного вектора так, чтобы выходной вектор был ближе к тому эталону, который является правильным ответом. Преобразование сети будем искать в следующем виде:

, (2)

где — вес -го эталона, характеризующий его близость к вектору, Sign — нелинейный оператор, переводящий вектор с координатами yi в вектор с координатами sign yi .

Функционирование сети. Сеть работает следующим образом:

1.На вход сети подается образ, а на выходе снимается образ .

2.Если, то полагаем и возвращаемся к шагу 1.

3.Полученный вектор является ответом.

Таким образом, ответ всегда является неподвижной точкой преобразования сети (2) и именно это условие (неизменность при обработке образа сетью) и является условием остановки.

Сеть Хопфилда в классическом варианте исполнения:

Считается, что она не имеет входных элементов, а входной вектор задает первоначальную активность нейронов, которая затем изменяется в ходе итерационного процесса, обусловленного наличием обратных связей.

Сеть работает следующим образом. Сначала входной вектор задает начальную активность yi(t) каждого нейрона. Затем выбранный случайным образом нейрон получает взвешенные сигналы от всех остальных нейронов и обновляет свое состояние. Выбирается следующий нейрон, и процесс повторяется до тех пор, пока нейроны, выбранные для обновления, не перестанут изменять свое состояние. Наступает стационарный режим.

Сеть Хопилда ведет себя подобно памяти, хранящей некоторый заданный заранее набор образов, которая пытается вспомнить один из них, если ей предъявляется какой-либо из этих образов, искаженный помехами. Образы предварительно кодируются в виде векторов с бинарными компонентами. Каждый из векторов перемножается сам на себя, образуя квадратную матрицу. Затем матрицы складываются, образуя новую квадратную матрицу, главная диагональ которой обнуляется. Это и есть матрица синаптических весов, хранящая информацию о всех заданных образах.

Уравнения операций:

ni — input voltage to the ith amplifier / вх.напряжение к И-усилителю

ai — output voltage of the ith amplifier /вых.напряжение и-усилителя

C — amplifier input capacitance / емкость вх.усилителя

Ii — fixed input current to the ith amplifier / установленный вх. поток к ith усилителю

Функция Ляпунова

Теоретическое решение проблемы устойчивости было дано А.М.

Ляпуновым в 1891г. Основную роль эдесь играет возможность

построения специальной скалярной функции векторного аргумента,

то есть скалярной функции на фазовом пространстве системы. Эта

функция называется функцией Ляпунова.

Идея Ляпунова очень проста. Рассмотрим двухмерный случай и