Реферат: Національна академія наук україни

НАЦІОНАЛЬНА АКАДЕМІЯ НАУК УКРАЇНИ

Український мовно-інформаційний фонд НАН України


Наукова робота

на здобуття щорічної премії Президента України для молодих вчених


СИСТЕМОТЕХНІЧНІ ЗАСАДИ ТА ІНСТРУМЕНТАЛЬНО-ПРОГРАМНІ ЗАСОБИ СТВОРЕННЯ ТА ПІДТРИМКИ ЦИФРОВИХ СЛОВНИКІВ


СИДОРЧУК Надія Миколаївна – кандидат технічних наук, старший науковий співробітник Українського мовно-інформа­цій­но­го фонду НАН України


РЕФЕРАТ


Київ - 2012


Необхідність підвищення технологічного статусу української мови вимагає розробки сучасних програмних засобів, спроможних ефективно опрацьовувати природномовну інформацію. Впровадження такого роду програмних систем та сервісів до складу засобів комп’ютерної обробки даних і знань неможливе без належної лексикографічної підтримки, яка забезпечується лише за наявності цифрових словників з широкою функціональністю. Зокрема, в контексті сучасних глобалізаційних процесів набуває актуальності питання створення багато­мов­них цифрових словників, адаптованих до інтегрування в контури автомати­зованої обробки текстів. Особливо актуальним це завдання є для української мови, яка в попередній історичний період у цифровому варіанті практично не розвивалася. Зазначимо, що викладене відображає загальносвітову тенденцію в лінгвістичній технології і зумовлює необхідність проведення інтенсивних досліджень в цьому напрямку. Потреба у розробці теоретичних засад створення словникових систем різного типу та практичне втілення цих основ у програмно-інструментальних засобах зумовлена необхідністю забезпечення інформа­ційних систем лінгвістичними функціями перекладу, порівняння, синхронізації, мовної локалізації тощо.

Прикладом світової практики застосування цифрових словників є різноманітні перекладні системи, паралельні лінгвістичні корпуси, системи підтримки багатомовних інтерфейсів. Але необхідно відзначити, що такі інструментальні засоби не враховують особливостей української мови, що погіршує якість та ефективність лінгвістичних функцій, які надаються. Необхідність підтримки загальносвітової тенденції розвитку лінгвотехнології та прагнення до інтеграції вітчизняних досліджень зі світовими здобутками в галузі теоретичних засад створення цифрових словників обґрунтовує актуальність теми роботи.

^ Основна мета роботи полягає у побудові системотехнічних засад та розробці програмно-інструментальних засобів створення та ведення багатомовних цифрових словників. Робота передбачає вироблення загальних принципів їх функціонування та реалізацію конкретних програмно-лінгвістичних комплексів на базі одержаних результатів: отримання сучасних програмних засобів для створення та використання цифрового словника. За функціональним призначенням ці програмні комплекси можна розділити на чотири групи: інструментальні засоби створення та ведення словника (автоматизовані робочі місця лексикографів, редакторів, адміністраторів), допоміжні засоби для укладання та аналізу лексикографічного матеріалу (лінгвістичний корпус з репрезентативною джерельною базою), онлайновий варіант для користувачів Інтернету та CD-версія кінцевого варіанту словникової системи.

Необхідні конструктиви для концептуального моделювання інформаційних систем у широкому діапазоні застосувань містить теорія лексикографічних систем, яка розроблена членом-кореспондентом НАН України В.А. Широковим та розвинена його науковою школою. В межах даної теорії надається узагальнене інформаційне представлення мовних феноменів, які знаходять своє відображення в словниках. Попри те, що фунда­мента­льні засади теорії лексикографічних систем вже розроблені, чимало питань ще залишаються відкритими для нових наукових досліджень.

Для реалізації поставленої мети необхідно було вирішити такі завдання:

- конкретизація теорії лексикографічних систем на випадок їх функціонування в мережевому середовищі (глобальному та локальному);

створення лексикографічних баз даних для моделей ряду цифрових словників;

узагальнення структури для багатомовного словника з урахуванням можливості зміни кількості вхідних мов;

вироблення методики та реалізація інструментарію розробки цифрових словників у вигляді віртуальної лексикографічної лабораторії, що дозволяє створювати та редагувати лексикографічну інформацію у локальному та мережевому режимі, виконувати редакторську роботу та готувати словниковий масив від моменту створення початкової бази до фінальної версії словника;

розроблення лінгвістичного корпусу як допоміжного засобу для створення цифрового словника (основне джерело реєстрової та ілюстративної бази, інструмент для верифікації семантики лексичних одиниць);

створення онлайнової версії цифрових словників та реалізація
CD-версій, орієнтованих на кінцевого користувача.

^ Методи дослідження ґрунтуються на комп’ютерному моделюванні мовно-інформаційних процесів у мережевих комп’ютерних середовищах. Використовується те­о­рія лек­си­ко­гра­фіч­них сис­тем, теорія моделей та баз даних, фор­малізована інтерпретація мов­ного матеріалу, архітектури відкритих систем і лексикографічних систем, сучасні методи та інструментальні засоби програмування.

^ Наукова новизна отриманих результатів полягає в тому, що уперше сформульовано системо­технічні засади розробки цифрових словників та баз даних, які забезпечують принципи платформонезалежності, масштабованості, безпеки, практичності та продуктивності. Зазначені засади широко апробовано на реальних, промислово діючих системах розробки цифрових словників.


^ Основний зміст роботи

Для реалізації зазначених завдань було вивчено особливості цифрових словників у контексті теорії лексикографічних систем та досліджено лексикографічні ефекти, що лежать в їх основі. Проведено уніфікацію та узгоджено основні поняття та абстракції, які є загальноприйнятими в засобах створення словників. Визначено критерії якості для засобів, що використовуються при розробці цифрових словників: масштабованість, надійність, безпека, практичність та продуктивність.

Визначено архітектуру програмного забезпечення для систем подібного типу. Це багаторівнева архітектура, вико­ристан­ня якої уможливлює логічне розмежування функцій систе­ми, що, в свою чергу, надає можливості розподілення роботи між різними розробниками та розробки різних рівнів і модулів систем незалежно один від одного, перенесення на інші сервери та програмні платформи в залежності від вимог масштабованості. Зосередження логіки застосування на проміжному рівні дозволяє модифікувати її, не змінюючи клієнтські системи та інформаційні масиви. І навпаки, з’являється можливість роз­робки різних клієнтських програм, що використовують один і той же рівень логіки застосуванння.

Необхідним етапом роботи стало визначення особливостей архітектури для створення програмних модулів системи з метою досягнення ви­сокого ступеня незалежності програмних інтерфейсів та ефективності розроблених засобів. Багаторівнева архітектура для програмного забезпечення систем подібного типу є, як правило, базовою, проте особливості предметної галузі вимагають застосування архітектурних особливостей, що надають ширші можливості для повноцінного функціонування цифрових словників, підвищення рівня їх доступності для кінцевого користувача, найбільш зручного використання. Саме для систем створення цифрових словників як мережевих розпо­діле­них застосувань, з огляду на проведене дослідження, сервіс-орієнтована архітектура (Service-Oriented Architecture, SOA) виявляється найбільш доцільною. Концепція проекту­вання програмного забезпечення як сервісу, незалежного від інтерфейсу кори­сту­вача, стала базовою для інструментальних систем розробки та ведення цифрових словників. Веб-сервіс як одна з логічних абстракцій сервіс-орієнтованої архітектури забезпечує пошук, опис та ініціювання засобів його роботи простими та прозорими для клієнта методами.

Проведено аналіз програмних засобів та вибір оптимального варіанту, необхідного для реалізації укладання цифрових словників, та визначено оптимальний комплекс для їхньої реалізації з урахуванням складності та особливості розробки систем подібного типу. Досліджене питання можливості інтеграції з іншими лінгвістичними засобами та визначені базові інтеграційні механізми як на рівні локального використання, так і у розподілених середовищах.

Базуючись на розробленій системотехніці, ми отримали низку теоретичних та практичних результатів.

Проведені дослідження в галузі корпусної лінгвістики дозволили виконати концептуальне моделювання лінгвістичного корпусу як лінгвотехнологічного засобу, розробити інформаційну та архітектурну моделі відповідно до технічних вимог та виконати його реалізацію як повнофункціональної програмної системи промислового масштабу. В загальному розумінні лінгвістичний корпус – це комплекс універсальних програмних засобів для пошуку різноманітної лінгвістичної інформації. При укладанні словників лінгвістичний корпус є важливим допоміжним інструментом, адже він забезпечує можливість пошуку ілюстративного матеріалу, розширення реєстрового масиву, проведення верифікації словникових статей. Обсяги мовного матеріалу, який залучається до мовознавчого дослідження, комплексність, оперативність опрацювання зазначеного матеріалу та можливість прямого доступу до великого числа лінгвістичних фактів – це ті переваги, які надає лінгвістичний корпус досліднику.

В системі лінгвістичного корпусу розроблено дві підсистеми: бібліографічну та повнотекстову. Бібліографічна частина являє собою електронну бібліотеку, що слугує інструментом для збору, збереження, моделювання і використання природномовної інформації в цифровому вигляді.

До основних функцій цієї підсистеми належать: формування короткого бібліографічного опису за правилами бібліографування на основі занесених в базу даних елементів метаданих об’єкта збереження; формування розгорнутого бібліографічного опису об’єкта збереження; редагування множини метаданих бібліографічного опису у відповідності до змін, внесених бібліографом; проведення аналізу внесених змін до бібліографічного запису; робота з об’єктами файлової системи; редагування, вставка, вилучення профілів, характеристик та їх елементів.

Система лінгвістичного корпусу володіє потужним пошуковим апаратом. Пошук за бібліографічними реквізитами дозволяє формувати підмасиви об'єктів зберігання, об'єднаних між собою низкою бібліографічних характеристик. Пошукове поле користувач обирає самостійно з полів, що увійшли до пошукового профілю. Кожен з об'єктів зберігання, які входять до результату виконання пошукового запита, представляється бібліографічним описом. Користувач володіє доступом до повного списку його реквізитів, перегляду ресурсу (повного тексту), а також можливістю формування власних підкорпусів для проведення певних лінгвістичних досліджень.

При використанні іншого пошукового механізму – повнотекстового пошуку – користувач задає пошукову фразу, максимальну відстань між пошуковими словами та визначає цілий ряд додаткових параметрів, що дозволяють проводити дуже точні пошукові операції: урахування порядку слів; пошук у певній підмножині об’єктів; застосування процедури лематизації (зведення кожного пошукового слова до вихідної форми); використання синонімічної лексикографічної бази даних та ін.

Додатково до бібліографічного опису, на відміну від пошуку за бібліографією, користувач отримує прямий доступ до кожної локалізації пошукової фрази в тексті.

Таким чином, було створено перший в Україні (і досі, практично, єдиний) Український національний лінгвістичний корпус, який функціонує у складі Національної словникової бази України і на даний момент налічує понад 110 мільйонів слововживань.

Реалізовані засоби розробки та ведення дво- та багатомовних перекладних систем.

Для виконання завдання створення дво- та багатомовних систем було досліджено принципи інтеграції лексикографічних систем, розроблено відповідні узагальнені структури даних, моделі баз даних, визначено архітектурні особливості систем такого типу. Результатом стали програмні засоби, що функціонують в режимі віртуальної лексикографічної лабораторії, що уможливлює опрацювання словникових структур у віддаленому режимі. Формування словникових статей проводиться автоматично у відповідності до формату, визначеного в системі. Стаття відображається у вигляді дерева з прямим доступом до будь-якого структурного елементу. Такий підхід до редагування дозволяє здійснювати контроль за вхідною інформацією, своєчасно запобігати порушенню структури.

Розгортання систем віртуальної лексикографічної лабораторії здійснюється через інтернет-браузер з використанням технології ClickOnce. Високотехнологічні засоби забезпечення функціонування розподілених систем, що входять до складу інфраструктури WCF (Windows Communication Foundation), дозволяють на базі ідентифікаційних даних проводити аутентифікацію та авторизацію користувачів та надавати у віддаленому режимі повний обсяг функцій, які реалізовані і в локальному варіанті. Причому здійснюється контроль за версією клієнтської програми і у випадку її застарівання відбувається автоматичне оновлення.

Проводиться документування всіх дій користувачів на внутрішньому рівні програмної системи, що надає можливість відстеження реальної картини розвитку лексикографічного продукту, обсяги виконаних робіт та авторизовані факти зміни лексикографічних даних.

Вихідними умовами при розробці структури словникової статті три- та багатомовних систем стали: можливість довільного порядку перекладу; незалежність будови статті від мови вихідного слова; можливість збільшення кількості мов перекладу.

Виходячи зі структури словникових статей, представлених в паперовому варіанті та вимог до репрезентації багатомовних словників, було розроблено внутрішню форму представлення інформації в цифровому середовищі. Згідно отриманої структури було побудовано лексикографічну базу даних, що складається з ряду таблиць, поєднаних мережею логічних зв’язків.

Розробка програмних модулів для створення онлайнових цифрових словників.

Стрімкий розвиток світової системи комп’ютерних комунікацій, та зростання кількості користувачів мережі Інтернет зумовили необхідність створення онлайнових модифікацій цифрових словників. Було проведено узгодження внутрішнього й зовнішнього рівнів архітектури лексикографічних систем в інтерпретації ANSI/X3/SPARK з сеансовим, відображення та прикладним рівнями архітектури відкритих систем(OSI). Створена технологія була апробована при реалізації онлайнової лексикографічної системи «Словники України он-лайн», яка відтворює у мережевому сере­довищі інтегро­ваний повномасштабний лексикографічний комплекс „Словники України”, де на реєстрі близько 260 тисяч реєстрових одиниць реалізовано функції словозміни, синонімії, антонімії та фразеології. За свідченням фахівців система «Словники України» належить до числа найбільших лексикографічних об’єктів у світі.

Технологічне ядро системи «Словники України» зосереджене у спеціальному програмному комплексі, який функціонує в локаль­ній мережі Українського мовно-інформаційного фонду НАН України, що потребувало вирішення завдання підготовки даних для наповнення бази онлайнової лексикографічної системи. Так само, як і в локальній версії, множина входів до системи не обмежується реєстровим рядом, а охоплює і праві частини слов­никових статей. Кожне слово правої частини є активним – воно проіндексо­ване і стає додатковою точкою входу до відповідної словникової одиниці. Це відрізняє систему «Словники України» від більшості цифрових словників подібного класу і свідчить про густу мережу зв’язків у системі, що відкриває практично невичерпні функціональні можливості при досить простому й прозорому інтерфейсному відображенні та забезпечує високий ступінь інтерактивності. Іншим прикладом, що свідчить про ефективність технології, розробленої автором, є онлайновий варіант українсько-російсько-англійського словника зі зварювання. Його особливістю є його інтеграція з сервісами граматичних систем, що дозволяє здійснювати вихід зі словникової статті на парадигматичну таблицю обраної лексичної одиниці, яка візуалізує повну словозміну будь-якого обраного користувачем українського або російського слова.

Створення CD-варіантів фінальних версій словників. Завдяки тому, що для укладання словників використовуються принципово нові програмні засоби, що базуються на теорії лексикографічних систем та розробленій в роботі системотехніці, створення таких клієнтських застосувань стає досить простим і технологічно прозорим завданням. Ключовим моментом створення CD-версій цифрових словників є розробка програмних модулів, що дозволяють здійснювати керування масивами лексикографічних даних без використання будь-якої системи управління базами даних, а саме здійснювати швидкий пошук за реєстровими списками та отримувати необхідну інформацію для побудови словникової статті. Автором роботи створено програмний комплекс CD-версії «Словники України в. 4.1» та «Українсько-російсько-англійського словника зі зварювання».

^ Практичне значення отриманих результатів.

Створено віртуальну лексикографічну лабораторію "Перекладні словники" (http://lcorp.ulif.org.ua/bilingualDict/), до складу якої увійшло 30 двомовних віртуальних лабораторій (будь-які пари із множини мов: болгарська, польська, словацька, словенська, російська, українська). Застосування зазначених систем дозволяє забезпечити творчу взаємодію лексикографів з різних країн, які працюють над спільними словниковими проектами у віддаленому режимі.

Розроблено CD-версію "Словники України" (ISBN 978-966-507-275-1), "Українсько-російсько-англійський словник зі зварювання" (ISBN 978-966-507-276-8).

Створено низку онлайнових користувацьких систем, які широко використовуються відвідувачами з десятків країн світу. Зокрема, "Словник російської словозміни" (http://lcorp.ulif.org.ua/dictRus), "Українсько-російсько-англійський словник зі зварювання" (http://lcorp.ulif.org.ua/ElWelding), "Словник української мови" (Том 1) (http://lcorp.ulif.org.ua/explvol1).

Розроблено системотехніку Українського національного лінгвістичного корпусу з розширеними лінгвістичними функціями (обсягом понад 110 мільонів слововживань), адаптовану до роботи у мережевому середовищі та промислово впроваджено програмний комплекс в експлуатацію в Українському мовно-інформаційному фонді та ряді інших наукових установах.

Робота пов’язана з виконанням низки науково-дослідних проектів, які пройшли державну реєстрацію і виконувалися в Українському мовно-інформаційному фонді НАН України. Тема роботи висвітлена в 17 публікаціях, з них 2 монографії написані у співавторстві, 8 статей, 2 авторські свідоцтва на програмні системи та тези конференцій. У публікаціях, написаних у співавторстві, автору належать всі системотехнічні та програмні реалізації.

Наукові й практичні результати роботи доповідалися та обговорювалися на міжнародних конференціях: «Корпусна лінгвістика 2004» (Санкт-Петербург, 2004 р.), «Інформаційні системи та технології» в рамках 2-го Міжнародного радіоелектронного форуму «Прикладна радіоелектроніка» (Харків, 2005), «Інформація для всіх: культура та технології Інформаційного суспільства» (Москва, 2005), "Інтелектуальні інформаційні технології у бібліотечній справі" (Київ, 2005), «Горизонти прикладної лінгвістики та лінгвістичних технологій» (Крим, Партеніт, 2006, 2007, 2010), XIII щорічна міжнародна конференція «EVA-2011 Москва», “SlaviCorp 2011: Корпуси слов’янських мов” (Дубровник, Хорватія, 2011), Читання до 90-річчя професора Лариси Григорівни Скрипник «Актуальні проблеми лексикографії» (Київ, 2011) та численних семі­нарах Україн­сь­кого мовно-інфор­маційного фонду НАН України.