Лекция: Практическое применение нейросетевых технологий.
В России сформировались три крупные научные школы в области нейротехнологий.
1. Центр нейрокомпьютеров РАН (А.И. Галушкин). Широкую известность он получил благодаря изданию 28-томной серии книг «Нейрокомпьютеры и их применение», а также регулярно проводимым Всероссийским конференциям с одноименным названием.
2. Научная школа нейротехнологий МГУ (А.В. Чечкин). Известность получили разработанные в ее рамках нейромодели сенсорных и языковых систем человека, относящиеся к бионическому направлению в нейрокомпьютинге.
3. Научная школа нейротехнологий в Красноярском государственном университете (А.Н. Горбань). Ученые этой школы развивают оригинальные алгоритмы обучения нейросетей и проводят международные конференции по нейрокомпьютингу.
Потенциальными сферами применения нейротехнологий являются все плохо формализуемые предметные области, в которых классические математические модели и алгоритмы оказываются мало эффективными по сравнению с человеком, демонстрирующим успешное решение задач. К областям использования нейротехнологий, в которых уже получены значимые практические результаты, относятся: обработка изображений, реализация ассоциативной памяти, системы управления реального времени, распознавание образов и речи, системы безопасности, выявление профилей интересов пользователей Internet, системы анализа финансового рынка и др. Сегодня можно уверенно говорить о том, что нейротехнологии становятся неотъемлемым компонентом нвых информационных технологий (НИТ).
Одной из характерных черт нейротехнологий является обучение нейросеmи на пpuмepax. Эта же «технология» служит основой развития ребенка, который в первые годы жизни проходит гигантский путь формирования интеллекта и языковой системы, обучаясь на примерах. Мозг состоит из различных типов клеток. Большинство нейрофизиологов считает, что объяснить феномены работы мозга можно, изучая функционирование объединенных в единую сеть клеток, называемых нейронами.
Мозг включает 1010-1011 нейронов. Количество связей между ними может достигать 1021. Поэтому отображающие и моделирующие возможности нейросети огромны.
Объем информации, хранящейся в мозге человека и других млекопитаюшихся, превышает объем генетической информации, закодированной в ДНК. Строение мозга отражает его эволюцию. Наиболее древние участки мозга, доставшиеся человеку от рыб и амфибий, ответственны за поддержание жизнедеятельности (гомеостазис) и размножение. Другие отделы мозга (рептильный комплекс) возникли несколько сот миллионов лет назад и обеспечивают ориентацию в пространстве. Третий слой – лимбическая система — сформировался около 150 млн. лет назад и отвечает за эмоциональную сферу. Наконец, кора больших полушарий, возникшая несколько миллионов лет назад, обеспечивает функции речи и логического мышления.
Обычно лишь 2...3 % нейронов мозга активны. Поэтому мозг обладает огромным запасом «прочности» и «пластичности», позволяющих ему работать даже при серьезных повреждениях и приспосабливаться к значительно меняющимся внешним условиям.
Нейрофизиологи в высшей нервной системе (ВНС) человека явно различают три типа нейронных структур: сенсорные, внутренние и эффекторные. Первые обеспечивают поступление в мозг информации из внешнего мира, поддерживая шесть чувств: зрение, слух, вкус, обоняние, осязание и чувство равновесия. Но если первые пять сенсорных систем «вынесены наружу», то вестибулярный аппарат изолирован и скрыт от непосредственного наблюдения. Внутренние нейроны воспринимают информацию от сенсорных систем, перерабатывают ее и передают на эффекторные нейроны. Последние управляют мышцами, внутренними органами, сосудами и пр.
Качественное различие компьютерной обработки символьной и образной информации заключается в малом числе разрядов цифрового представления символа. Поэтому для символов в принципе можно комбинаторно описать любой способ их обработки. Для образов (из-за комбинаторного взрыва) это в принципе невозможно за исключением ряда типовых преобразований, поддающихся формализации и реализуемых в графических ускорителях, пакетах обработки изображений и т. д. В общем случае операции с образами формализуемы не полностью, для их обработки применяются эвристические алгоритмы. Главный механизм обработки образов – обучение на множестве примеров (обучающем множестве).
С учетом сказанного парадигма нейрокомпьютингаформулируется следующим образом: алгоритмы, порождаемые данными в универсальном процессе обучения, специализированные для данного класса операций с образами, адаптированные под конкретные информационные задачи.
В отличие от памяти ЭВМ память человека адресуется по содержанию, является ассоциативной, распределенной, робастной (способность системы восстанавливаться при возникновении ошибок и сбоев) и активной. Полушария мозга человека имеют разное назначение. Левое полушарие отвечает за работу с абстрактными представлениями, математические вычисления и логический вывод, речь, письмо, восприятие времени. Эти процессы связаны с пошаговой обработкой информации. Правое полушарие оперирует с образами конкретных объектов. Все виденное нами в жизни хранится в правом полушарии, а все имена — в левом. Правое полушарие способно учиться узнавать предметы при их предъявлении, а не по описаниям, как левое. У правого полушария данные и метод составляют единое целое. Оно также отвечает за воображение и интуицию. Это более древние механизмы мозга по сравнению с логическим мышлением. Правое полушарие поддерживает параллельную обработку информации, оно же отвечает за творчество.
К феноменам мозга относят:
. кодирование (представление) информации о внешнем мире;
. кратковременное и долговременное запоминание, хранение и извлечение информации;
. ассоциативный поиск и самоорганизацию памяти;
. оперирование информацией в процессе решения мыслительных задач;
. симультанное (мгновенное) распознавание (например, узнавание человека, с которым не было встреч много лет);
. неожиданное творческое озарение (инсайт) и др.
Конструктивного научного объяснения этим феноменам до сих пор не найдено.
Структура работ в области нейрокибернетики приведена на рис. 8.
| Рис. 8. Структура работ в области нейрокибернетики | ||||||||||||||||
| Первое из выделенных направлений связано с построением и применением нейросетей из искусственных нейронов. Для их программной реализации создаются Нейропакеты, а для их физической реализации Нейрокомпьютеры. Исследования в области нейрофизиологии показывают, что в мозге имеются разные типы нейронов, выполняющих весьма сложные функции. В качестве примера назовем нейроны, ответственные за определение скорости и ускорения движущегося тела, выделение признаков замкнутости и разомкнутости кривой и др. Однако в ИНС, как правило, используются модели простых нейронов, реализующих элементарные нелинейные функции (функцию знака, сигмоидальные функции и т. д.). Горбань А.Н. сформулировал вывод, согласно которому, если для какого-то класса задач требуются сложные специализированные нейроны, их проще ввести в модель сразу, нежели строить из простых. Если же такая необходимость не очевидна, то целесообразно использовать универсальную сеть из простых нейронов. Она сама «вырастит» нужные структуры в ходе обучения. Заметим, что эти соображения лежат в основе декомпозиции НП на универсальные и специализированные. Сравнение основных характеристик традиционных компьютеров и нейрокомпьютеров приведено в табл. 8.1. | ||||||||||||||||
Таблица 8.1
| ||||||||||||||||
| Отметим следующие важные особенности ИНС. 1. ИНС содержит большое число (миллионы и миллиарды) параллельно работающих простых элементов — нейронов. Благодаря такой структуре обеспечивается высокое быстродействие при решении задач, традиционно требующих значительных вычислительных ресурсов. 2. Место программирования в ИНС занимает обучение. В связи с этим ожидается появление новых специальностей:. нейроконструктора, в задачи которого входят формирование универсальных компонентов — нейронных блоков — и конструирование из них НК (универсальных и специализированных);. учителя ИНС. 3. Выделяют два подхода к организации обучения ИНС:. обучение и самообучение на примерах;. обучение в процессе игры. Достижениями в области обучения ИНС считаются:. возможность управления процессом обучения в режиме двойственного функционирования ИНС, при котором НП (НК) самостоятельно оценивает ошибки и сообщает об этом учителю;. возможность восприятия и отражения на ИНС информации из внешней среды. Под обучением ИНС понимается процесс нахождения экстремума некоторой функции, отображающей взаимодействие типа вход-выход. Спецификой оптимизационных задач на ине является большая размерность, что обусловливает целесообразность применения алгоритмов оптимизации, которые допускают параллельное выполнение аналогично естественным нейросетям. Кроме методов оптимизации при обучении ИНС используют генетические алгоритмы. Базовыми поняmuями нейроmехнологий являются:. нейрон — базовый элемент сети, единственный ее нелинейный элемент;. синапс — элемент, обеспечивающий связь между нейронами; может обладать весом и «задержкой»;. сумматор, рассматриваемый как компонент нейрона или как специализированный нейрон;. обучающие примеры, представляющие наборы значений вход- предписанный выход и целевую функцию, определяющую штраф за отклонение реального выхода от предписанных значений при данных входах;. цвета и цветовые группы, ассоциируемые с нейронами (окрашен ные нейроны по разному участвуют в обучении);. алгоритмы обучения. В нейротехнологиях обучается не отдельный нейрон, а вся сеть в целом. В ходе ее обучения предъявляются примеры и их оценки. Для быстрого параллельного обучения в сеть вводятся элементы, оценивающие частные производные. В естественных нейросетях такие элементы также существуют. Выделяют три базовые подхода к представлению результатов обучения нейросетью:. коннекционизм — модифицируются веса синаптических связей, параметры нейронов не меняются;. гетерогенные ИНС — модифицируются параметры нейронов, связи не меняются;. комплексный подход, объединяющий первые два подхода. | ||||||||||||||||
| Применение нейросетевых технологий целесообразно при решении задач, имеющих следующие признаки: отсутствие алгоритмов решения задач при наличии достаточно большого числа примеров;. наличие большого объема входной информации, характеризующей исследуемую проблему;. зашумленность, частичная противоречивость, неполнота или избыточность исходных данных. Нейросетевые технологии нашли широкое применение в таких направлениях, как распознавание печатного текста, контроль качества продукции на производстве, идентификация событий в ускорителях частиц, разведка нефти, борьба с наркотиками, медицинские и военные приложения, управление и оптимизация, финансовый анализ, прогнозирование и др. В сфере экономики нейросетевые технологии могут использоваться для классификации и анализа временных рядов путем аппроксимации сложных нелинейных функций. Экспериментально установлено, что модели нейронных сетей обеспечивают большую точность при выявлении нелинейных закономерностей на фондовом рынке по сравнению с регрессионными моделями. Нейросетевые технологии активно используются в маркетинге для моделирования поведения клиентов и распределения долей рынка. Нейросетевые технологии позволяют отыскивать в маркетинговых базах данных скрытые закономерности. Моделирование поведения клиентов позволяет определить характеристики людей, которые будут нужным образом реагиро вать на рекламу и совершать покупки определенного товара или услуги. Сегментирование и моделирование рынков на основе нейросетевых технологий дает возможность построения гибких классификационных систем, способных осуществлять сегментирование рынков с учетом многообразия факторов и особенностей каждого клиента. Технологии ИНС имеют хорошие перспективы при решении задач имитации и предсказания поведенческих характеристик менеджеров и задач прогнозирования рисков при выдаче кредитов. Не менее актуально применение ИНС при выборе клиентов для ипотечного кредитования, предсказания банкротства клиентов банка, определения мошеннических сделок при использовании кредитных карточек, составления рейтингов клиентов при займах с фиксированными платежами и т.п. Следует помнить о том, что применение нейросетевых технологий не всегда возможно и сопряжено с определенными проблемами и недостатками. 1. Необходимо как минимум 50, а лучше 100 наблюдений для создания приемлемой модели. Это достаточно большое число данных, и они далеко не всегда доступны. Например, при производстве сезонного товара истории предыдущих сезонов недостаточно для прогноза на текущий сезон из-за изменения стиля продукта, политики продаж и т.д. Даже при прогнозировании спроса на достаточно стабильный продукт на основе информации о ежемесячных продажах трудно накопить исторические данные за период от 50 до 100 месяцев. Для сезонных товаров проблема еще более сложна, так как каждый сезон фактически представляет собой одно наблюдение. При дефиците информации модели ИНС строят в условиях неполных данных, а затем про водят их последовательное уточнение. 2. Построение нейронных сетей требует значительных затрат труда и времени для получения удовлетворительной модели. Необходимо учитывать, что излишне высокая точность, полученная на обучающей выборке, может обернуться неустойчивостью результатов на тестовой выборке — в этом случае происходит «переобучение» сети. Чем лучше система адаптирована к конкретным условиям, тем меньше она способна к обобщению и экстраполяции и тем скорее может оказаться неработоспособной при изменении этих условий. Расширение объема обучающей выборки позволяет добиться большей устойчивости, но за счет увеличения времени обучения. 3. При обучении нейронных сетей могут возникать «ловушки», связанные с попаданием в локальные минимумы. Детерминированный алгоритм обучения не в силах обнаружить глобальный экстремум или покинуть локальный минимум. Одним из приемов, который позволяет обходить ловушки, является расширение размерности пространства весов за счет увеличения числа нейронов скрытых слоёв. Некоторые возможности для решения этой проблемы открывают стохастические методы обучения. При модификации весов сети только на основе информации о направлении вектора градиента целевой функции в пространстве весов можно достичь локального минимума, но невозможно выйти из него, поскольку в точке экстремума«движущая сила> (градиент) обращается в нуль и причина движения исчезает. Чтобы покинуть локальный экстремум и перейти к поиску глобального, нужно создать дополнительную силу, которая будет зависеть не от градиента целевой функции, а от каких-то других факторов. Один из простейших методов состоит в том, чтобы просто создать случайную силу и добавить ее к детерминистической. 4. Сигмоидальный характер передаточной функции нейрона является причиной того, что если в процессе обучения несколько весовых коэффициентов стали слишком большими, то нейрон попадает на горизонтальный участок функции в область насыщения. При этом изменения других весов, даже достаточно большие, практически не сказываются на величине выходного сигнала такого нейрона, а значит, и на величине целевой функции. 5. Неудачный выбор диапазона входных переменных — достаточно элементарная, но часто совершаемая ошибка. Если Хiдвоичная переменная со значениями О и 1, то примерно в половине случаев она будет иметь нулевое значение: Хi= О. Поскольку Хiвходит в выражение для модификации веса в виде сомножителя, то эффект будет тот же, что и при насыщении: модификация соответствующих весов будет блокирована. Правильный диапазон для входных переменных должен быть симметричным, например от +l до -l. 6. Процесс решения задач нейронной сетью является «непрозрачным» для пользователя, что может вызывать с его стороны недоверие к прогнозирующим способностям сети. 7. Предсказывающая способность сети существенно снижается, если поступающие на вход факты (данные) имеют значительные отличия от примеров, на которых обучалась сеть. Этот недостаток ярко проявляется при решении задач экономического прогнозирования, в частности при определении тенденций котиpoвок ценных бумаг и стоимости валют на фондовых и финансовых рынках. 8. Отсутствуют теоретически обоснованные правила конструирования и эффективного обучения нейронных сетей. Этот недостаток приводит, в частности, к потере нейронными сетями способности обобщать данные предметной области в состояниях переобучения (перетренировки). |