Реферат: 1. Классификация моделей представления знаний

1.Классификация моделей представления знаний.


В настоящее время разработано множество моделей представления знаний. Имея обобщенное название, они различаются по идеям, лежащим в их основе, с точки зрения математической обоснованности. Типы моделей показаны на рисунке.





Первый подход, называемый эмпирическим, основан на изучении принципов организации человеческой памяти и моделировании механизмов решения задач человеком. На основе этого подхода в настоящее время разработаны и получили наибольшую известность следующие модели:

продукционные модели – модель основанная на правилах, позволяет представить знание в виде предложений типа: «ЕСЛИ условие, ТО действие». Продукционная модель обладает тем недостатком, что при накоплении достаточно большого числа (порядка нескольких сотен) продукций они начинают противоречить друг другу;

сетевые модели (или семантические сети) – в инженерии знаний под ней подразумевается граф, отображающий смысл целостного образа. Узлы графа соответствуют понятиям и объектам, а дуги – отношениям между объектами. Обладает тем недостатком, что однозначного определения семантической сети в настоящее время отсутствует;

фреймовая модель – основывается на таком понятии как фрейм (англ. frame – рамка, каркас). Фрейм – структура данных для представления некоторого концептуального объекта. Информация, относящаяся к фрейму, содержится в составляющих его слотах. Слоты могут быть терминальными либо являться сами фреймами, т.о. образуя целую иерархическую сеть.

Более подробно эти модели рассматриваются в соответствующих статьях. Условно в группу эмпирического подхода можно включить нейронные сети и генетические алгоритмы, относящиеся к бионическому (основано на предположении о том, что если в искусственной системе воспроизвести структуры и процессы человеческого мозга, то и результаты решения задач такой системой будут подобны результатам, получаемым человеком) направлению искусственного интеллекта. Особенностью моделей этого типа является широкое использование эвристик, что в каждом случае требует доказательства правильности получаемых решений.

Второй подход можно определить как теоретически обоснованный, гарантирующий правильность решений. Он в основном представлен моделями, основанными на формальной логике (исчисление высказываний, исчисление предикатов), формальных грамматиках, комбинаторными моделями, в частности моделями конечных проективных геометрий, теории графов, тензорными и алгебраическими моделями. В рамках этого подхода до настоящего времени удавалось решать только сравнительно простые задачи из узкой предметной области.





^ 28. Этапы развития научного направления “мягкие вычисления”.


Термин "мягкие вычисления" введен Лофти Заде в 1994 году. Это понятие объединяет такие области как: нечеткая логика, нейронные сети, вероятностные рассуждения, сети доверия и эволюционные алгоритмы; которые дополняют друг друга и используются в различных комбинациях или самостоятельно для создания гибридных интеллектуальных систем. Поэтому создание систем работающих с неопределенностью, надо понимать как составную часть "мягких" вычислений.

По существу в 1970 году Л.Заде был создан новый метод вычислительной математики, который был поддержан аппаратными средствами (нечеткими процессорами) который в ряде проблемных областей стал более эффективным, чем классические методы. Первоначально эти области входили в проблематику искусственного интеллекта. Постепенно круг этих областей существенно расширился и сформировалось направление "вычислительного интеллекта". В это направление в настоящее время входят:

нечеткая логика и теория множеств;

нечеткие экспертные системы;

системы приближенных вычислений;

теория хаоса;

фрактальный анализ;

нелинейные динамические системы;

гибридные системы (нейронечеткие или нейрологические, генетиконейронные, нечеткогенетические или логикогенетические системы);

системы, управляемые данными (нейронные сети, эволюционное вычисление).
^ Постановка задачи оптимизации, теорема Вейерштрасса, понятие минимума.
Пусть задана функция q(x), определенная во всех значениях x принадлежащих X. В общем случае x может быть вектором значений многопараметрической функции q(x).

Тогда, в общей задаче оптимизации требуется найти вектор x=(x1,x2,...,xn) из допустимой области X, который обращает в минимум целевую функцию q(x). Если необходимо найти максимум функции, то в качестве целевой берут обратную функцию -q(x).

Теорема Вейерштрасса. Непрерывная функция, определенная на непустом замкнутом ограниченном множестве, достигает своего минимума (максимума) по крайней мере в одной из точек этого множества.

В общем случае глобальный минимум в точке x' области определения X характеризуется:

q(x')<=q(x) для всех x принадлежащих X

Знак '<=' предполагает возможность существования нескольких минимумов. При таком определении глобальный минимум называют слабым.

Сильный глобальный минимум определяется:

q(x')
Минимум в точке x=x' называют локальным (относительным), если найдется такая окрестность O(x') точки x', что для всех x принадлежащих O(x') имеет место q(x')<=q(x)



^ 27. Язык CLIPS. Основные элементы и конструкцию.

CLIPS, (от англ. C Language Integrated Production System) — программная среда для разработки экспертных систем. Синтаксис и название предложены Чарльзом Форги (Charles Forgy) в OPS (Official Production System). Первые версии CLIPS разрабатывались с 1984 года в Космическом центре Джонсона (Johnson Space Center), NASA (как альтернатива существовавшей тогда системе ART*Inference), пока в начале 1990-х не было приостановлено финансирование, и NASA вынудили купить коммерческие продукты.

Вероятно, CLIPS является наиболее широко используемой инструментальной средой для разработки экспертных систем благодаря своей скорости, эффективности и бесплатности. Несмотря на то, что теперь она являетсяобщественным достоянием, она до сих пор обновляется и поддерживается своим изначальным автором, Гэри Райли (Gary Riley).

CLIPS включает полноценный объектно-ориентированный язык COOL для написания экспертных систем. Хотя она написана на языке Си, её интерфейс намного ближе к языку программирования LISP. Расширения можно создавать на языке Си, кроме того, можно интегрировать CLIPS в программы на языке Си. Как и другие экспертные системы, CLIPS имеет дело с правилами и фактами. Различные факты могут сделать правило применимым. Применимое правило затем допускается (assert). Факты и правила создаются предварительным объявлением, как показано в примере:

(deffacts trouble_shooting

(car_problem (name ignition_key) (status on))

(car_problem (name engine) (status wont_start))

(car_problem (name headlights) (status work))

)

(defrule rule1

(car_problem (name ignition_key) (status on))

(car_problem (name engine) (status wont_start))

=>

(assert (car_problem (name starter) (status faulty))

)

Потомками CLIPS являются языки программирования Jess (часть CLIPS, работающая с правилами и переписанная на Java, позже развившаяся в другом направлении), ECLiPSe, Haley Eclipse, FuzzyCLIPS (с добавлением концепции значимости relevancy в язык) и другие. Существует учебник для колледжей, Expert Systems: Principles and Programming (ISBN 0-534-95053-1) и книга по Jess, Jess in Action: Rule Based Systems in Java (ISBN 1-930110-89-8). Кроме того CLIPS содержит обширную документация прямо в поставке.Существующие верcии CLIPS для Windows (clipswin.exe) не поддерживают кириллицу (консольная версия CLIPS clipsdos.exe поддерживает только кириллицу в формате UTF-8). В сети Интернет можно найти русифицированную версию CLIPS для Windows, поддерживающую кириллицу в формате ANSI, но она распространяется без исходных кодов и имеет ряд проблем с отображением символов в Windows XP. Именно отсутствие полноценной поддержки кириллицы и является основной причиной слабого распространения CLIPS в России. При компиляции из исходников возможно пропатчить их, добавив поддержку koi8-r.


^ 26. Язык ПРОЛОГ. Основные элементы и конструкции.

Пролог (фр. Programmation en Logique) — язык и система логического программирования, основанные на языке предикатов математической логики дизъюнктов Хорна, представляющей собой подмножество логики предикатов первого порядка.

Основными понятиями в языке Пролог являются факты, правила логического вывода и запросы, позволяющие описывать базы знаний, процедуры логического вывода и принятия решений.

Факты в языке Пролог описываются логическими предикатами с конкретными значениями. Правила в Прологе записываются в форме правил логического вывода с логическими заключениями и списком логических условий.

Особую роль в интерпретаторе Пролога играют конкретные запросы к базам знаний, на которые система логического программирования генерирует ответы «истина» и «ложь». Для обобщённых запросов с переменными в качестве аргументов созданная система Пролог выводит конкретные данные в подтверждение истинности обобщённых сведений и правил вывода.

Факты в базах знаний на языке Пролог представляют конкретные сведения (знания). Обобщённые сведения и знания в языке Пролог задаются правилами логического вывода (определениями) и наборами таких правил вывода (определений) над конкретными фактами и обобщёнными сведениями.

Начало истории языка относится к 1970-м годам.[1] Будучи декларативным языком программирования, Пролог воспринимает в качестве программы некоторое описание задачи или баз знаний и сам производит логический вывод, а также поиск решения задач, пользуясь механизмом поиска с возвратом и унификацией.







23. Определение лингвистической переменной.


Лингвистическая переменная — в теории нечетких множеств, переменная, которая может принимать значения фраз из естественного или искусственного языка. Например, лингвистическая переменная «скорость» может иметь значения «высокая», «средняя», «очень низкая» и т. д. Фразы, значение которых принимает переменная, в свою очередь являются именами нечетких переменных и описываются нечетким множеством.

^ Математическое определение лингвистической переменной

Лингвистической переменной называется пятерка {x,T(x),X,G,M}, где x — имя переменной; T(x) — множество имен лингвистических значений переменной x, каждое из которых является нечеткой переменной на множестве X; G есть синтаксическое правило для образования имен значений x; M есть семантическое правило для ассоциирования каждой величины значения с ее понятием.

^ Пример: Рассмотрим лингвистическую переменную, описывающую возраст человека, тогда:

x: «возраст»; X: множество целых чисел из интервала [0, 120]; T(x): значения «молодой», «зрелый», «старый»; G: «очень», «не очень». Такие добавки позволяют образовывать новые значения: «очень молодой», «не очень старый» и пр. M: математическое правило, определяющее вид функции принадлежности для каждого значения из множества T.


^ 20. Сетевые модели представления знаний.


Сетевые модели

Способ представления знаний в сетевых моделях наиболее близок к тому, как они

представлены в текстах на естественном языке. В его основе лежит идея о том, что вся необ-

ходимая информация может быть описана как совокупность троек (arb), где a и b - объекты,

а r - бинарное отношение между ними.

Формально сетевые модели могут быть заданы в виде

H = <I, C1, ..., Cn, Г>,

где I - множество информационных единиц, C1,..., Cn - множество типов связей между эле-

ментами I, отображение Г задает между ИЕ, входящими в I, связи из заданного набора типов

связей {Ci}.




Если в сетевой модели допускаются связи различного типа, то ее называют семанти-

ческой сетью (СС).



^ Нечеткие множества и операции с ними.


Нечёткое  множество — понятие, введённое Лотфи Заде в 1965 г. в статье «Fuzzy Sets» (нечёткие множества) в журнале Information and Control [1]. Л. Заде расширил классическое канторовское понятие множества, допустив, что характеристическая функция (функция принадлежности элемента множеству) может принимать любые значения в интервале [0,1], а не только значения 0 или 1
^ Операции над нечёткими множествами
При 

Пересечением нечётких множеств A и B называется наибольшее нечёткое подмножество, содержащееся одновременно в A и B:



Произведением нечётких множеств A и B называется нечёткое подмножество с функцией принадлежности:



Объединением нечётких множеств A и B называется наименьшее нечёткое подмножество, содержащее одновременно A и B:



Суммой нечётких множеств A и B называется нечёткое подмножество с функцией принадлежности:



Отрицанием множества  называется множество  с функцией принадлежности:



для каждого .


^ 15. Данные и знания. Основные отличия.

Да́нные (калька от англ. data) — это представление фактов и идей в формализованном виде, пригодном для передачи и обработки в некотором информационном процессе.

Изначально — данные величины, то есть величины, заданные заранее, вместе с условием задачи. Противоположность — переменные величины.

В информатике Данные — это результат фиксации, отображения информации на каком-либо материальном носителе, то есть зарегистрированное на носителе представление сведений независимо от того, дошли ли эти сведения до какого-нибудь приёмника и интересуют ли они его [1].
Данные — это и текст книги или письма, и картина художника, и ДНК.
Данные, являющиеся результатом фиксации некоторой информации, сами могут выступать как источник информации. Информация, извлекаемая из данных, может подвергаться обработке, и результаты обработки фиксируются в виде новых данных.

Данные могут рассматриваться как записанные наблюдения, которые не используются, а пока хранятся.

Информация, отображаемая данными, может быть непонятна приемнику (шифрованный текст, текст на неизвестном языке и пр.).

Зна́ние — форма существования и систематизации результатов познавательной деятельности человека. Знание помогает людям рационально организовывать свою деятельность и решать различные проблемы, возникающие в её процессе.


Зна́ние — в теории искусственного интеллекта и экспертных систем — совокупность информации и правил вывода (у индивидуума, общества или системы ИИ) о мире, свойствах объектов, закономерностях процессов и явлений, а также правилах использования их для принятия решений. Главное отличие знаний от данных состоит в их структурности и активности, появление в базе новых фактов или установление новых связей может стать источником изменений в принятии решений.

3на́ния фиксируются в образах и знаках естественных и искусственных языков. Знание противоположно незнанию (отсутствию проверенной информации о чём-либо).

 Главное отличие знаний от данных состоит в их структурности и активности, появление в базе новых фактов или установление новых связей может стать источником изменений в принятии решений.


^ 51. Гибридные системы.


Под гибридной интеллектуальной системой принято понимать систему, в которой для решения задачи используется более одного метода имитации интеллектуальной деятельности человека. Таким образом ГИС — это совокупность:

аналитических моделей

экспертных систем

искусственных нейронных сетей

нечетких систем

генетических алгоритмов

имитационных статистических моделей

Междисциплинарное направление «гибридные интеллектуальные системы» объединяет ученых и специалистов, исследующих применимость не одного, а нескольких методов, как правило, из различных классов, к решению задач управления и проектирования.


^ 13. Фреймы и их применение в экспертных системах.

Фрейм — (англ. frame — «каркас» или «рамка») — способ представления знаний в искусственном интеллекте, представляющий собой схему действий в реальной ситуации. Первоначально термин «фрейм» ввёл Марвин Минский в 70-е годы XX века для обозначения структуры знаний для восприятия пространственных сцен. Фрейм — это модель абстрактного образа, минимально возможное описание сущности какого-либо объекта, явления, события, ситуации, процесса.

Фреймы используются в системах искусственного интеллекта (например, в экспертных системах) как одна из распространенных форм представления знаний.

Начиная с 1960-х годов, использовалось понятие фрейма знаний или просто фрейма. Каждый фрейм имеет своё собственное имя и набор атрибутов, или слотов которые содержат значения; например фрейм дом мог бы содержать слоты цвет, количество этажей и так далее.

Использование фреймов в экспертных системах является примером объектно-ориентированного программирования с наследованием свойства, которое описывается связью «is-a» («является»). Однако в использовании связи «is-a» существовало немало противоречий: Рональд Брахман написал работу, озаглавленную «Чем является и не является IS-A», в которой были найдены 29 различных семантик связи «is-a» в проектах, чьи схемы представления знаний включали связь «is-a». Другие связи включают, например, «has-part» («имеет своей частью»).

Фреймовые структуры хорошо подходят для представления знаний, представленных в виде схем и стереотипных когнитивных паттернов. Элементы подобных паттернов обладают разными весами, причем большие весы назначаются тем элементам, которые соответствуют текущей когнитивной схеме (schema). Паттерн активизируется при определённых условиях: если человек видит большую птицу, при условии что сейчас активна его «морская схема», а «земная схема» — нет, он классифицирует её скорее как морского орлана, а не сухопутного беркута.

Фреймовые представления объектно-центрированы в том же смысле, что и семантическая сеть: все факты и свойства, связанные с одной концепцией, размещаются в одном месте, поэтому не требуется тратить ресурсы на поиск по базе данных.

Скрипт — это тип фреймов, который описывает последовательность событий во времени; типичный пример — описание похода в ресторан. События здесь включают ожидание места, прочитать меню, сделать заказ, и так далее.

Различные решения в зависимости от их семантической выразительности могут быть организованы в так называемый семантический спектр (англ. Semantic spectrum).


^ 9. Система опровержений на основе резолюций.

Резолюция - это правило вывода, используемое для построения опровержений (refutation). Важным практическим применением метода резолюции, в частности при создании систем опровержения, является современное поколение интерпретаторов языка PROLOG .

Принцип резолюции (или разрешения), введенный в работе [Robinson, 1965], описывает способ обнаружения противоречий в базе данных дизъюнктивных выражений при минимальном использовании подстановок. Опровержение разрешения - это способ доказательства теоремы, основанный на формулировке обратного утверждения и добавлении отрицательного высказывания к множеству известных аксиом, которые по предположению считаются истинными. Затем правило резолюции используется для доказательства того, что такое предположение ведет к противоречию (доказательство от обратного). Поскольку в процессе доказательства теоремы показывается, что обратное утверждение несовместимо с существующим набором аксиом, исходное утверждение должно быть истинным. В этом и состоит доказательство теорем. Процесс доказательства от обратного состоит из следующих этапов.ь Предположения или аксиомы приводятся к дизъюнктивной форме (clause form)

К набору аксиом добавляется отрицание доказываемого утверждения в дизъюнктивной форме.

Выполняется совместное разрешение этих дизъюнктов, в результате чего получаются новые основанные на них дизъюнктивные выражения .

Генерируется пустое выражение, означающее противоречие.

Подстановки, использованные для получения пустого выражения, свидетельствуют

о том, что отрицание отрицания - истинно.


^ 5. Предикаты первого порядка. Основные определения и понятия.

Предикатом называют предложение, принимающее только два значения: истина или ложь. Для обозначения предикатов применяются логические связки между высказываниями: ¬ не, или, и, если, а также квантор существования и квантор всеобщности.

Допустимые выражения в исчислении предикатов называются правильно построенными формулами (ППФ), состоящими из атомных формул. Атомные формулы состоят из предикатов и термов, разделяемых круглыми, квадратными и фигурными скобками.

Предикатные символы представляются в основном глагольной формой, например: ПИСАТЬ, УЧИТЬ, ПЕРЕДАТЬ, но не только глагольной формой, а формами существительных и прилагательных, например: КРАСНЫЙ, ЗНАЧЕНИЕ, ЖЕЛТЫЙ.

^ Логика первого порядка (исчисление предикатов) — формальное исчисление, допускающее высказывания относительно переменных, фиксированных функций и предикатов. Расширяет логику высказываний. В свою очередь является частным случаем логики высшего порядка.


^ 4. Методы структурирования и формализации знаний.

При формализации качественных знаний может быть использована теория нечетких множеств [Заде, 1974], особенно те ее аспекты, которые связаны с лингенетической неопределенностью, наиболее часто возникающей при работе с экспертами на естественном языке. Под лингвистической неопределенностью подразумевается не полиморфизм слов естественного языка, который может быть преодолен на уровне понимания смысла высказываний в рамках байесовской модели [Налимов, 1974], а качественные оценки естественного языка для длины, времени, интенсивности, для целей логического вывода, принятия решений, планирования.

Лингвистическая неопределенность в системах представления знаний задается с помощью лингвистических моделей основанных на теории лингвистических переменных и теории приближенных рассуждении [Kikerf 1978]. Эти теории опираются на понятие нечеткого множества, систему операций над нечеткими множествами и методы построения функций принадлежности.

Одним из основных понятий, используемых в лингвистических моделях, является понятие лингвистической переменной. Значениями лингвистических переменных являются не числа, а слова или предложения некоторого искусственного либо естественного языка. Например, числовая переменная "возраст" принимает дискретные значения между нулем и сотней, а целое число является значением переменной. Лингвистическая переменная "возраст" может принимать значения: молодой, старый, довольно старый, очень молодой и т. д. Эти термы-лингвистические значения переменной. На это множество (как и на числа) также налагаются ограничения. Множество допустимых значений лингвистической переменной называется терм-множеством.

При вводе в ЭВМ информации о лингвистических переменных и терм-множестве ее необходимо представить в форме, пригодной для работы на ЭВМ. Лингвистическая переменная задается набором из пяти компонентов: <Л,Т(А), U, <7, Af>, где Л-имя лингвистической переменной; Г (Л)-ее терм-множество;

^ U- область, на которой определены значения лингвистической переменной; 6 описывает операции по порождению производных значений лингвистической переменной на основе тех значений, которые входят в терм-множество. С помощью правил из О можно расширить число значений лингвистической переменной, т. е. расширить ее терм-множество. Каждому значению а лингвистической переменной Л соответствует нечеткое множествоХа, являющееся подмножеством V. По аналогии с формальными системами правила из G часто называют синтаксическими Наконец, компонент М образует набор семантических правил. С их помощью происходит отображение значений лингвистической переменной а в нечеткие множества Ха и выполняются обратные преобразования. Именно эти правила обеспечивают формализацию качественных утверждений экспертов при формировании проблемной области в памяти ИС.

Одним из перспективных методов структурирования знаний является  так называемый объектно  ориентированный анализ. Общая методология ООА и  основные принципы  с точки зрения философии могут быть представлены как сплав всех трех направлений  - Структурализма, Семиотики и Синергетики, с концентрированные на языке логико-математических абстракций.


^ 29. Генетические алгоритмы.

Генети́ческий алгори́тм (англ. genetic algorithm) — это эвристический алгоритм поиска, используемый для решения задач оптимизации и моделирования путём случайного подбора, комбинирования и вариации искомых параметров с использованием механизмов, напоминающих биологическую эволюцию. Является разновидностью эволюционных вычислений. Отличительной особенностью генетического алгоритма является акцент на использование оператора «скрещивания», который производит операцию рекомбинации решений-кандидатов, роль которой аналогична роли скрещивания в живой природе.
^ Применение генетических алгоритмов
Генетические алгоритмы применяются для решения следующих задач:

Оптимизация функций

Оптимизация запросов в базах данных

Разнообразные задачи на графах (задача коммивояжера, раскраска, нахождение паросочетаний)

Настройка и обучение искусственной нейронной сети

Задачи компоновки

Составление расписаний

Игровые стратегии

Теория приближений

Искусственная жизнь

Биоинформатика (фолдинг белков)



^ 6. Модели представления знаний. Историческая справка.


Модели представления знании делятся на детерминированные (жесткие) и мягкие.

Детерминированные модели включают в себя фреймы, логико-алгебраические модели, семантические сети и продукционные модели. Мягкие модели включают в себя нечеткие системы, нейронные сети, эво-люционные модели, гибридные системы.

Одним из основателей теории искусственного интеллекта считается известный английский ученый Алан Тьюринг, который в 1950 году опубликовал статью «Вычислительные машины и разум»

. А. Ньюэлл, Дж. Шоу и Г. Саймон создали программу для игры в шахматы на основе метода, предложенного в 1950 году К. Шенноном, формализованного А. Тьюрингом и промоделированного им же вручную.В 1960 год была написана программа GPS универсальный решатель задач.

Первые нейросети появились в конце 50-х годов.Первая международная конференция по искусственному интеллек-ту (IJCAI) состоялась в 1969 году в Вашингтоне. 1973 году был создан язык логического программирования Prolog. Первая экспертная система была создана Э. Фейгенбаумом в 1965 году.


^ 33. Искусственные нейронные сети: алгоритмы обучения (алгоритм обучения по дельта правилу)

tml> 


где

- количество обработанных НС примеров;

- реальный выход НС;

- желаемый (идеальный) выход НС;

Процедура обучения НС сводится к процедуре коррекции весов связей HC. Целью процедуры коррекции весов есть минимизация функции ошибки .

Общая схема обучения с учителем выглядит так :

1.      Перед началом обучения весовые коэффициенты НС устанавливаются некоторым образом, на пример - случайно.

2.      На первом этапе на вход НС в определенном порядке подаются учебные примеры. На каждой итерации вычисляется ошибка для учебного примера (ошибка обучения) и по определенному алгоритму производится коррекция весов НС. Целью процедуры коррекции весов есть минимизация ошибки .

3.      На втором этапе обучения производится проверка правильности работы НС. На вход НС в определенном порядке подаются контрольные примеры. На каждой итерации вычисляется ошибка для контрольного примера (ошибка обобщения). Если результат неудовлетворительный то, производится модификация множества учебных примеров1 и повторение цикла обучения НС.

Если после нескольких итераций алгоритма обучения ошибка обучения падает почти до нуля, в то время как ошибка обобщения в начале спадает а затем начинает расти, то это признак эффекта переобучения. В этом случае обучение необходимо прекратить.

В случае однослойной сети алгоритм обучения с учителем - прост. Желаемые выходные значения нейронов единственного слоя заведомо известны, и подстройка весов синаптических связей идет в направлении, минимизирующем ошибку на выходе сети.

По этому принципу строится алгоритм обучения однослойного персептрона [1].
^


2 Метод Розенблатта
Данный метод был предложен Ф.Розенблаттом в 1959 г. для НС, названной персептрон (perceptron) [^ 1]. Персептрон имеет пороговую функцию активации2; его схема представлена на рис.1.



Рисунок: однослойный персептрон

Процедуру обучения Розенблатта для однослойного персептрона можно представить так [4] :



(1)



где

- -тый вход НС

- желаемый (идеальный) -тый выход НС

- коэффициент (скорость обучения) 

Весовые коэффициенты меняются только в том случае, если реальное выходное значение не совпадает идеальным выходным значением.

Полный алгоритм обучения Розенблатта строится следующим образом:

весовые коэффициенты НС инициализируются малыми случайными значениями.

подать на вход НС очередной учебный пример.

если выход НС не совпадает с идеальным выходом 
то происходит модификация весов по (1)

цикл с п.2 
пока 
не 
или 
весовые коэф. перестанут меняться
^ 3 Метод Видроу-Хоффа
Персептрон Розенблатта ограничивается бинарными выходами. Видроу и Хофф изменили модель Розенблатта. Их первая модель - ADALINE (Adaptive Linear Element) имела один выходной нейрон3 и непрерывную линейную функцию активации нейронов[3].

 



(2)



Метод обучения Видроу-Хоффа известен еще как дельта-правило (delta-rule). Этот метод ставит своей целью минимизацию функции ошибки в пространстве весовых коэффициентов.

 



(3)



где

- количество обработанных НС примеров

- ошибка для -го примера

- реальный выход НС для -го примера

- желаемый (идеальный) выход НС для -го примера

Минимизация осуществляется методом градиентного спуска




где




Таким образом весовые коэффициенты изменяются по правилу



(4)



Полный алгоритм обучения методом Видроу-Хоффа строится следующим образом:

задать скорость обучения () 
задать минимальную ошибку сети ; 
весовые коэффициенты НС инициализируются малыми случайными значениями.

подать на вход НС очередной учебный пример 
рассчитать выход НС

скорректировать веса по (4)

цикл с п.2 пока 
(где - суммарная среднеквадратичная ошибка НС)



38. Продукционные модели представления знаний.

Продукционная модель знания — модель основанная на правилах, позволяет представить знание в виде предложений типа «Если (условие), то (действие)».

Продукционная модель — фрагменты Семантической сети, основанные на временных отношениях между состояниями объектов.

Продукционная модель обладает тем недостатком, что при накоплении достаточно большого числа (порядка нескольких сотен) продукций они начинают противоречить друг другу.

В общем случае продукционную модель можно представить в следующем виде:

, где:

  — описание класса ситуаций;

  — условие, при котором продукция активизируется;

  — ядро продукции;

  — постусловие продукционного правила.
[править]Модификации продукционной модели
Продукционная модель часто дополняется определённым порядком, вводимым на множестве продукций, что упрощает механизм логического вывода. Порядок может выражаться в том, что отдельная следующая по порядку продукция может применяться только после попыток применения предшествующих ей продукций. Примерно похожее влияние на продукционную модель может оказать использование приоритетов продукций, означающее, что в первую очередь должна применяться продукция, имеющая наивысший приоритет.

Рост противоречивости продукционной модели может быть ограничен путём введения механизмов исключений и возвратов. ^ Механизм исключений означает, что вводятся специальные правила-исключения. Их отличает большая конкретность в сравнении с обобщёнными правилами. При наличии исключения основное правило не применяется. Механизм возвратов же означает, что логический вывод может продолжаться в том случае, если на каком-то этапе вывод привёл к противоречию. Просто необходимо отказаться от одного из принятых ранее утверждений и осуществить возврат к предыдущему состоянию.

Противоречия в базах знаний на языке Пролог выявляются автоматически за счет использования автоматического доказательства теорем со встроенным в систему Пролог механизмами перебора с возвратами, организующего поиск информации в базах знаний и выводом найденной информации в качестве результатов информационного поиска.


^ 48. и 47. Практические методы извлечения знаний.

Извлечение информации (англ. information extraction) — в области обработки естественного языка, это разновидность информационного поиска, при которой из неструктурированного машинно-читаемого текста (то естьэлектронных документов) выделяется некая структурированная информация, то есть категоризированные, семантически значимые данные по какой-либо проблеме или вопросу. Примером извлечения информации может послужить выискивание случаев деловых визитов — формально это записывается так: НанеслиВизит(Компания-Кто, Компания-Кому, ДатаВизита), — из новостных лент, таких как: «Вчера, 1 апреля 2007 года, представители корпорации Пепелац Интернэшнл посетили офис компании Гравицап Продакшнз». Главная цель такого преобразования — возможность анализа изначально «хаотичной» информации с помощью стандартных методов обработки данных.[1] Более узкой целью может служить, например, задача выявить логические закономерности в описанных в тексте событиях.[2]

В современных информационных технологиях роль такой процедуры, как извлечение информации, всё больше возрастает — из-за стремительного увеличения количества неструктурированной (без метаданных) информации, в частности, в Интернете. Эта информация может быть сделана более структурированной посредством преобразования в реляционную форму или добавлением XML разметки.[3] При мониторинге новостных лент с помощьюинтеллектуальных агентов как раз и потребуются методы извлечения информации и преобразования её в такую форму, с которой будет удобнее работать позже.

Типичная задача извлечения информации: просканировать набор документов, написанных на естественном языке, и наполнить базу данных выделенной полезной информацией. Современные подходы извлечения информации используют методы обработки естественного языка, направленные лишь на очень ограниченный набор тем (вопросов, проблем) — часто только на одну тему. Например, «Конференция по Пониманию сообщений» (en:Message Understanding Conference, MUC) — это конференция соревновательного характера и в прошлом она фокусировалась на таких вопросах:

MUC-1 (1987), MUC-2 (1989): Военно-морские операции.

MUC-3 (1991), MUC-4 (1992): Терроризм в латиноамериканских странах.

MUC-5 (1993): Венчурные операции в области микроэлектроники.

MUC-6 (1995): Новостные статьи об изменениях в управляющих процессах.

MUC-7 (1998): Отчёты о запусках спутников.

Тексты на естественном языке могут потребовать некоего предварительного упрощения, для создания текста, который будет лучше «пониматься» компьютером.

Типичные подзадачи извлечения информации:

Распознавание именованных элементов: распознавание имён людей, названий организаций, мест, временны́х обозначений и некоторых типов численных выражений.

Ссылки: выделение словесных оборотов, ссылающихся на один и тот же объект. Типичный случай таких ссылок — анафора и использование местоимений.

Выделение терминологии: нахождение для данного текста ключевых слов.



43. Основные напреавления современного генетического моделирования.

Эволюционное моделирование это уже доста