Реферат: Сети Хэмминга. Типичная сходимость (Кластеризация). Мертвый модуль

Сеть Хемминга. Другое название – нейросетевая модель ассоциативной памяти, основанная на вычислениях расстояния Хемминга.

История: Нейросетевые модели, основанные на вычислениях расстояния Хэмминга в задачах передачи двоичных сигналов фиксированной длины, введены Липпманом в 1987г.

Модель: расстояние Хэмминга между двумя бинарными векторами одинаковой длины – это число несовпадающих бит в этих векторах. Сеть Хэмминга — нейронная сеть, которая реализует параллельное вычисление расстояний Хэмминга от входного вектора до нескольких векторов-образцов.

Характеристики сети: Тип входных сигналов – бинарные векторы. Тип выходных – целые числа. Размерности входа и выхода ограничены при программной реализации только возможностями вычислительной системы, на которой моделируется нейронная сеть, при аппаратной реализации – технологическими возможностями. Тип передаточной функции – линейная с насыщением.

Область применения: распознавание образов, классификация, ассоциативная память, надежная передача сигналов в условиях помех

Преимущества: Сеть работает предельно быстро и простою Выходной сигнал формируется в результате прохода сигналов всего лишь через 1 слой нейронов. В модели использован один из самых простых алгоритмов формирования синаптических весов и смещений сети.

Типичная сходимость (Кластеризация). Typical Convergence (Clustering)

Перед обучением после обучения

Dead Units –мертвый модуль

Существует проблема с конкурентоспособным изучением – существует вероятность, что нейроны с начальными весами далекими от любого входного вектора никогда победят.

Решение: Добавление отрицательного уклона к каждому нейрону и увеличение

величины уклона, как только нейрон побеждает. Это сделает победу более тяжелой, если нейрон часто побеждал. Это называют «совестью».

29. Функция «Мексиканской шляпы». Карта функции. Сходимость.

Основы вейвлет-анализа были разработаны в середине 80-х годов Гроссманом и Морле как альтернатива преобразованию Фурье для исследования временных (пространственных) рядов с выраженной неоднородностью. В отличие от преобразования Фурье, локализующего частоты, но не дающего временного разрешения процесса, и от аппарата d-функций, локализующего моменты времени, но не имеющего частотного разрешения, вейвлет-преобразование, обладающее самонастраивающимся подвижным частотно-временным окном, одинаково хорошо выявляет как низко-частотные, так и высокочастотные характеристики сигнала на разных временных масштабах. По этой причине вейвлет-анализ часто сравнивают с «математическим микроскопом», вскрывающим внутреннюю структуру существенно неоднородных объектов.

В западной литературе за этой функцией закрепилось название «вейвлет», что означает «маленькая волна», в отечественной иногда ее называют «всплеском», отражая в этом названии и локализацию, и осцилляционный характер поведения.

Вейтвлеты Гауссовы:

второго порядка

или MHAT-вейвлет

«мексиканская

шляпа» – mexican hat)

Особенность данной формы функции вторичного торможения активностей нейронов очагом возбуждения заключается в том, что реакцию нейронов, как правило, можно описать следующим образом. Имеется небольшая окрестность вокруг точки возбуждения, в которой нейроны переходят в активное состояние. За пределами данной окрестности в более широком радиусе происходит торможение активностей нейронов. И, наконец, как правило, наблюдается очень слабая связь в активности между нейронами с места возбуждения и нейронами с удаленных участков.

Карта сходимости

Обновление Векторов веса по соседству с нейроном победителем.