Реферат: Вавіленкова Анастасія Ігорівна асистент кафедри Комп’ютеризованих систем управління Факультету комп’ютерних систем Національного авіаційного університету реферат

МІНІСТЕРСТВО ОСВІТИ І НАУКИ,

МОЛОДІ ТА СПОРТУ УКРАЇНИ

НАЦІОНАЛЬНИЙ АВІАЦІЙНИЙ УНІВЕРСИТЕТ


МЕТОД АВТОМАТИЗОВАНОГО ФОРМУВАННЯ ЛОГІКО-ЛІНГВІСТИЧНИХ МОДЕЛЕЙ ТЕКСТОВОЇ ІНФОРМАЦІЇ


Вавіленкова Анастасія Ігорівна – асистент кафедри Комп’ютеризованих систем управління Факультету комп’ютерних систем Національного авіаційного університету


реферат


Київ – 2011

Актуальність роботи. Задачі обробки текстової інформації виникли практично одразу після появи обчислювальної техніки. Проте, незважаючи на півстолітню історію досліджень у цій галузі штучного інтелекту (це роботи таких радянських, вітчизняних та зарубіжних вчених, як Попов Е.В., Поспєлов Д.А., Мельников Г.П., Гладкий А.В., Рубашкін В.Л., Грязнухіна Т.О., Дарчук Н.П., Кригін М.Ю., Ланде Д.В., Шабанов-Кушнаренко Ю.П., Широков В.А., Осуга С., Уено Х., Ісідзука М., Хомський Н.), розвиток інформаційних технологій та суміжних дисциплін, задовільного розв’язання більшості практичних задач аналітичної обро­бки текстової інформації поки що не існує. При опрацюванні цих задач виявилося, що комп’ютер не може вирішувати їх повністю, оскільки поки що не створено адекватних формалізованих моделей природномовних об’єктів, а розв’язання відповідних завдань містить неформальні, творчі елементи, властиві лише людині.

Існуючі на сьогодні засоби автоматичної обробки тексту для багатьох мов світу спроможні виконувати певні операції: здійснювати морфологічне маркування, виділяти частини мови, відмічати граматичні зв’язки, наприклад, дієслівні групи, певні синтаксичні відношення та ін. Більш глибока лінгвістична обробка ґрунтується на розв’язанні проблеми усунення лінгвістичних неоднозначностей, що зустрічаються в текстах. Подібні інструменти розглядаються як компоненти загальної системи розуміння природної мови. З їх допомогою тексти конвертуються в джерела інформації, доступні для опрацювання комп’ютером, що відкриває можливість для подальшої машинної обробки. Наприклад, ті з сучасних інформаційно-пошукових систем, які використовують ключові слова, надають релевантні – тією чи іншою мірою – документи. Проте, зазвичай, потрібні відповіді на запитання, а не документи, з яких тільки потенційно можна отримати відповіді.

Зокрема, не вирішена проблема порівняльного аналізу електронних текстів, яка виникає щоразу, коли з’являється потреба у визначенні збігів або виявленні логічних протиріч у текстових документах. З проблемою визначення збігів у текстах людство зіштовхується у тих сферах своєї діяльності, де кінцевим результатом є текстовий документ. Це, в першу чергу, освіта, наука, законотворчість, патентування, інноваційна та інша діяльність, пов’язана з захистом інтелектуальної власності. Друга проблема – виявлення логічних протиріч у текстових документах – лежить, головним чином, у площині професійних інтересів різних юридичних та інформаційно-аналітичних організацій і підрозділів. Особливу актуальність останнім часом вона набула у зв’язку з перспективою вступу України до Європейського співтовариства, що вимагає гармонізації українського законодавства та забезпечення його адекватності відносно загальноєвропейських нормативних актів. Один із підходів до вирішення проблеми виявлення логічних протиріч у текстових документах є підхід заснований на побудові логіко-лінгвістичної моделі тексту, що підлягає перевірці на логічну суперечливість відносно інших текстів. Основною проблемою на цьому шляху є автоматизація процесу побудови такої моделі.

Отже, актуальність теми наукової роботи визначається необхідністю створення сучасних засобів автоматичної екстракції знань з природномовних текстів на основі побудови формальних моделей та алгоритмічної бази формалізованого опису структур природної мови.

^ Мета і завдання дослідження. Метою наукової роботи є створення логіко-лінгвістичних моделей текстової інформації, представленої у вигляді речень природної мови, та розробка алгоритмів автоматизованого формування таких моделей на основі використання механізмів синтаксичного й семантичного парсингу.

Досягнення поставленої мети передбачає розв’язання таких завдань:

створення уніфікованої форми логіко-лінгвістичної моделі речення;

формування речень тексту у вигляді формальної системи;

розробка методу автоматизованого формування логіко-лінгвістичних моделей на базі автоматизованого синтаксичного аналізу речень;

верифікація розробленого методу шляхом створення на його основі інтелектуальної системи автоматизованого формування логіко-лінгвістичних моделей.

^ Об'єктом дослідження є текстова інформація, представлена у вигляді речень природної мови.

Предметом дослідження є автоматизація процесу побудови логіко-лінгвістичних моделей текстової інформації.
^ Наукова новизна одержаних результатів.
Вперше:

запропоновано уніфіковану форму логіко-лінгвістичних моделей, яка, на відміну від існуючих моделей представлення знань, охоплює всі можливі концептуальні відношення і здатна відображати синтаксичну структуру довільного речення природної мови, що створює теоретичну основу для автоматизованого вилучення знань з текстової інформації;

створено систему продукцій, яка відображає правила формування словосполучень, визначення синтаксичних ролей та типів речень природної мови, що дозволяє автоматизувати процес встановлювання характеристик структурних одиниць тексту;

розроблено метод автоматизованого формування логіко-лінгвістичних моделей текстової інформації, в основу якого покладено відповідність між формулами логіки предикатів та концептами реального світу.

Удосконалено синтаксичний аналізатор шляхом введення до його складу бази знань, побудованої на основі продукційної моделі визначення характеристик структурних одиниць природної мови, що дало змогу автоматизувати формування концептуальних зв’язків між елементами формальної системи незалежно від предметної області, що розглядається.

Дістала подальшого розвитку комп’ютерна технологія порівняльного аналізу електронних текстів за рахунок автоматизованого формування та використання логіко-лінгвістичних моделей документів, що аналізуються з метою виявлення змістовних збігів та логічних протиріч.
^ Практичне значення одержаних результатів. Результати, отримані в процесі виконання роботи, носять як теоретичний, так і прикладний характер:
1) загальна форма логіко-лінгвістичної моделі текстової інформації створює методологічну основу для побудови бази знань експертних систем порівняльного аналізу текстів, екстракції знань, класифікації та пошуку релевантної інформації різних документів;

2) застосування методу автоматизованого перетворення речень у логіко-лінгвістичну модель при проектуванні інтелектуальних систем дозволяє обирати для досліджень будь-яку предметну область;

3) представлення текстової інформації у вигляді алгебраїчних форм зменшує час написання програм, дозволяє здійснити автоматизований порівняльний аналіз текстів за змістом, добування знань з великих об’ємів текстів.

Отримані результати дослідження призначені для використання в галузі комп’ютерної лінгвістики, системах обробки текстової інформації та інших лінгвістичних технологіях.

Верифікацією методу автоматизованого перетворення речення природної мови в логіко-лінгвістичну модель є українськомовна аналітична система екстракції знань з електронних текстів.

Основні дослідження за темою наукової роботи проводились у Національному авіаційному університеті в рамках виконання науково-дослідної роботи «Комп’ютерна технологія порівняльного аналізу електронних текстів» (№ 589-ДБ09, № ДР 0109U001771).

Також алгоритми автоматизованої побудови логіко-лінгвістичних моделей текстової інформації впроваджено:

у навчальний процес Національного авіаційного університету, зокрема, в дисципліну «Функціональне та логічне програмування» для спеціальності 7.091502 «Системне програмування»;

у науково-дослідну роботу Українського мовно-інформаційного фонду НАН України;

у систему роботи з базою даних Закритого акціонерного товариства «Інком».

Публікації. За результатами виконаних досліджень опубліковано 19 наукових робіт, серед яких 8 наукових статей, 6 з них надруковано у фахових спеціалізованих наукових виданнях і збірниках наукових праць згідно з переліком ВАК України, та 11 тез доповідей на науково-технічних конференціях.

У науковій роботі проведено дослідження моделей представлення знань та здійснено їх порівняльну характеристику. Виявлено, що всі розглянуті моделі представлення знань та системи, розроблені на їх основі, працюють з предметною галуззю, яка є конкретною сферою життєдіяльності людини. При цьому окремі речення (й ситуації, з яких необхідно екстрагувати знання для подальшої обробки системою) повинні подаватися на вхід системи у певному впорядкованому вигляді. Більшість інтелектуальних систем працюють із заздалегідь заданими шаблонами або зразками, а на основі введеного слова (або декількох слів), виводять наперед заданий шаблон з підстановкою в нього конкретних слів із запиту. Отже, всі існуючі системи не є універсальними по відношенню до речення довільного типу.

Для формалізації текстової інформації обрано логіко-лінгвістичні моделі як засіб відображення змісту речень природної мови та збереження в них всіх смислових зв’язків.

Огляд стану проблем і досліджень за темою наукової роботи, зокрема аналіз існуючих систем обробки текстової інформації, принципів їх функціонування, механізмів побудови та виявлення їх недоліків, обумовив необхідність вирішення наступних задач: проаналізувати існуючі методи інтелектуальної обробки текстової інформації, розробити єдиний принцип формування логіко-лінгвістичних моделей для речень природної мови; визначити загальну форму запису логіко-лінгвістичних моделей; розробити метод автоматизованого перетворення текстової інформації в логіко-лінгвістичну модель; створити аналітичну систему на базі вище вказаного методу, інструментом для створення якої буде синтаксичний аналізатор (так як саме синтаксичні зв’язки в реченні є ключем до вилучення змісту).

У науковій роботі запропоновано уніфіковану форму запису логіко-лінгвістичної моделі текстової інформації, яка охоплює концептуальні відношення, що можуть зустрітися в тексті, і є відображенням синтаксичної структури будь-якого речення природної мови.

Просте речення у формалізмі логіки предикатів – це атомарний предикат; складному реченню зіставляється складне логічне висловлювання, яке є сукупністю атомарних предикатів, поєднаних логічними зв’язками.

Нехай кожне речення складається з множини слів та множини простих речень . Тоді загальна форма логіко-лінгвістичної моделі набуває вигляду


, (1)


де і - складні логічні висловлювання, які описують частину складного речення, що складається з p-тої кількості простих речень, , і може набувати вигляду (1), якщо множина простих речень містить більше двох елементів. Якщо містить два елементи, то вирази і представляють собою атомарні предикати;

- просте логічне висловлювання, яке описує просте речення, для нього ;

- складний логічний вираз, в якому логічна зв’язка кон’юнкції означає, що складові виразу і рівноправні за змістом;

- складний логічний вираз, в якому логічна зв’язка імплікації означає, що залежна частина речення може уточнювати час, місце, причину, спосіб, про який йдеться в головній частині складнопідрядного речення ;

- складний логічний вираз, в якому логічна зв’язка диз’юнкції означає, що складові виразу і протиставляються або зіставляються;

- складний логічний вираз, в якому логічна зв’язка еквівалентності означає, що складові виразу і рівнозначні за змістом, тотожні.

Таким чином, логіко-лінгвістична модель (1) охоплює концептуальні відношення, які можуть зустрітися в текстовій інформації, і є відображенням синтаксичної структури будь-якого речення природної мови.

Якщо логічні висловлювання , і являють собою атомарні предикати, їх можна представити за допомогою логічної формули, побудованої відповідно до функціональних відношень між об’єктами реального світу:


, (2)


де - предикат, що відображає зміст речення;

- предикатна змінна (суб’єкт), знаходиться у предикативному відношенні з ;

- предикатна константа, що вказує на ознаку суб’єкта;

- номер предикатної константи, що вказує на ознаку суб’єкта;

- множина предикатних констант суб’єкта ;

- предикатна змінна (аргумент);

- номер предикатної змінної (аргументу), початкове значення якого ;

- множина предикатних змінних (аргументів)

- предикатна константа, що вказує на ознаку q-тої предикатної змінної (аргументу або об’єкта);

- номер предикатної константи, що вказує на ознаку предикатної змінної (аргументу);

- множина предикатних констант предикатної змінної ;

- множина предикатних змінних, які виконують у реченні рівнозначну роль, ;

- номер предикатної змінної із множини ; якщо речення не має ієрархічної будови або в ньому не зустрічаються аргументи, рівносильні за своєю роллю, то .

Логічна формула (2) є інтерпретацією синтаксичної структури тексту з урахуванням семантичних зв’язків, що є формальним засобом відображення змісту текстової інформації.

Сформовано основні принципи побудови логіко-лінгвістичних моделей, що базуються на синтаксичному парсингу речення, тобто визначенні зв’язків між усіма елементами формальної системи та встановлення їх синтаксичних ролей, що дає змогу зрозуміти зміст текстової інформації.

Принцип побудови логіко-лінгвістичної моделі (1)-(2) полягає в наступному:

визначити тип речення , що розглядається, та множину простих речень , що входять до його складу;

проаналізувати множину простих речень та концептуальні зв’язки між ними, що дає змогу визначити тип логічної зв’язки та кількість атомарних предикатів у формулі (1);

замість простих висловлювань у модель (1) підставити формулу (2);

встановити предикат , що відображає зміст речення , означає дію, стан або властивість суб’єкта і граматично йому підпорядкований;

встановити предикатну змінну (суб’єкт) ;

зафіксувати множину предикатних констант для суб’єкта ;

визначити множину предикатних змінних (аргументів) ;

визначити множину предикатних змінних , що виконують у реченні рівносильну роль; число елементів цієї множини визначає кількість місць предиката ;

зафіксувати множину предикатних констант для всіх аргументів з множини .

Розроблено метод автоматизованого формування логіко-лінгвістичних моделей, який включає в себе декілька етапів, кожен з яких представляє собою складний механізм роботи формальної системи (рис. 1), а її елементи відіграють важливу роль для вилучення знань із текстової інформації. В основу методу покладено відповідність між формулами логіки предикатів та концептами, що належать до реального світу.

Основними етапами алгоритму є такі:

Ідентифікація вхідного тексту – розбиття вхідної текстової інформації на словоформи і представлення речення (об’єкта управління) у вигляді складної системи, що складається з n простих та m складних взаємодіючих елементів . Тобто на етапі ідентифікації вхідна текстова інформація, яка представляє собою сукупність синтаксичних одиниць природної мови, ототожнюється з формальною системою .

Концептуалізація (визначення характеристик елементів формальної системи) – відбувається експліціювання ключових понять, відношень та зв’язків

між елементами, про які йшлося на етапі ідентифікації, а також визначення характеристик елементів, необхідних для опису подальшого процесу розв’язку поставленої задачі. Кожен простий елемент системи описується вектором значень характеристик , де r - кількість граматичних характеристик i-го елемента системи, . Процес визначення характеристик кожного елемента формальної системи представляє собою концептуальну схему, що задає множину можливих способів роботи на теоретичному рівні, припущень про природу і властивості елементів, які досліджуються.

3. Синтаксичний аналізатор, визначення ролей – на вхід аналізатора надходить масив простих елементів формальної системи та їх граматичних характеристик . Кожен елемент цього масиву по черзі заноситься до робочої пам’яті бази знань, де за допомогою механізму логічного виводу зіставляється зі зразками бази правил. Робота синтаксичного аналізатора здійснюється за допомогою використання продукційної моделі як бази знань. Завдяки цьому стає можливим створення бази правил формування зв’язків та їх типів між елементами формальної системи незалежно від предметної галузі. Саме це забезпечує особливість методу автоматизованого формування логіко-лінгвістичних моделей і здійснює зв’язок методологічної бази лінгвістичних досліджень та принципів формування автоматизованих систем управління. База знань формальної системи описується у формі конкретних фактів та правил логічного виводу над базами даних та процедурами обробки інформації (зокрема, за допомогою правила «модус поненс»), що представляють собою відомості про синтаксичну будову речень природної мови в логічній формі.

Формалізація процесу побудови логіко-лінгвістичної моделі – відбувається безпосереднє формування логіко-лінгвістичної моделі (1)-(2), яка подається у вигляді сукупності одновимірних масивів елементів формальної системи, впорядкованих за певними правилами. При побудові моделі використовуються правила побудови складних елементів системи, а також правила визначення концептуальних зв’язків між атомарними предикатами моделі (1).

Верифікацією методу автоматизованого формування логіко-лінгвістичних моделей текстової інформації є україномовна аналітична система вилучення знань з електронних текстів, її впровадження в систему порівняльного аналізу електронних текстів забезпечує підвищення відсотку відшукання збігів з врахуванням змісту на 10%.



Рис. 1. Алгоритм автоматизованого формування логіко-лінгвістичних моделей

З табл. 1 видно, що всі отримані моделі побудовані за одним і тим самим принципом, вони відображають зміст поданих на вхід системи речень і кожен елемент формальної системи займає в моделі місце у відповідності до того, яку синтаксичну роль він виконує.

^ Таблиця 1

Приклади роботи САФЛЛМ для різних типів речень природної мови

Речення природної мови

Тип речення

Логіко-лінгвістична модель

Кабінетом міністрів затверджено закон про те, що навчальні заклади закриваються на карантин

Складно-підрядне





Така організація управління дозволяє вирішувати неформалізовані задачі

Просте, особове





Для подолання труднощів, викликаних змінами проблемної області, використовуються методи пошуку в динамічному просторі

Просте, особове, ускладнене дієприк-метниковим зворотом



Вчені знайшли вихід із ситуації: необхідно збільшити тиск, зменшивши температуру

Складне, безсполуч- никове




Отримані результати наукової роботи призначені для використання в галузі комп’ютерної лінгвістики та системах обробки текстової інформації. Подальші дослідження, визначені запропонованим в науковій роботі напрямком, передбачають можливість застосування побудованих схем для формалізації задач перетворення інформації, пов’язаної з побудовою комп’ютерного та програмного забезпечення систем різних класів. Вони створюють новий інструмент дослідження цих складних проблем, зокрема логіко-лінгвістичні моделі можуть використовуватися як база знань для експертних систем в будь-якій предметній області.


Автор роботи: Вавіленкова Анастасія Ігорівна