Лекция: Лингвистические проблемы...

При поиске нужных документов с использованием каталогов мы ориентируемся не на полные тексты документов, а на их сокращенные названия, позволяющие судить о содержании документов. Эти сокращенные описания могут быть индексами УДК или какой-либо другой классификации, перечнем авторов документа, тематическими рубриками и т.д. При переходе от документа к такому сокращенному его описанию с целью использования этого описания для последующего поиска, мы как бы переводим документы на ИПЯ. По определению А.И. Михайлова, А.И. Черного, Р.С. Гиляревского, информационно-поисковый язык – это специализированный искусственный язык, предназначенный для выражения основного смыслового содержания документов или информационных запросов с целью отыскания в некотором множестве документов таких, которые отвечают на поставленный информационный запрос.

Описание содержания документа с помощью ИПЯ представляет собой поисковый образ документа (ПОД), а описание содержания запроса – поисковый образ запроса (ПОЗ). Правила составления поисковых образов документов и запросов являются правилами перевода текстов с естественного языка на ИПЯ.

При наличии массива документов и соответствующих им ПОД поиск отвечающего на запрос документа сводится к сопоставлению поисковых образов документов и запросов. Для того чтобы оценить степень их соответствия, необходимо сформулировать критерий смыслового соответствия – формальное правило, по которому поисковые образы документа и запроса считаются совпадающими или несовпадающими. При формальном совпадении ПОД и ПОЗ документы считаются отвечающими на запрос. Однако такое совпадение не означает содержательного соответствия выданного документа запросу. Документ, смысловое содержание которого соответствует информационному запросу, называется релевантным этому запросу. Но если ИПЯ неточно выражает смысл документов и запросов, то может оказаться, что близкие по смыслу документы и запросы обладают разными поисковыми образами и, наоборот, у далеких по смыслу друг от друга документов поисковые образы оказываются сходными. В этом случае не все документы, формально соответствующие запросу, соответствуют ему в действительности, т.е. релевантны. Явление, при котором в ответ на запрос система выдает документы, не соответствующие запросу, называется поисковым шумом. По тем же причинам может оказаться, что часть документов, релевантных запросу, все же оказалась невыданной, тогда говорят о потерях информации. Информационный шум и потери информации могут быть выражены количественно с помощью коэффициентов полноты и точности поиска, являющихся показателями технической эффективности ИПС.

Коэффициент полноты поиска R определяется отношением числа выданных в результате поиска релевантных документов к общему числу релевантных документов, как выданных, так и оставшихся невыданными;

R = a / (a + c).

Коэффициент точности поиска P представляет собой отношение количества выданных релевантных документов к общему числу документов в выдаче: P = a / (a + b), где a – число релевантных документов в выдаче; c – число релевантных документов, оставшихся невыданными (потери информации); b – число выданных нерелевантных документов (поисковый шум).

В результате сказанного возникает вопрос: возможен ли такой ИПЯ, который бы точно передавал смысл документа, т.е. ИПЯ, обеспечивающий максимальные точность и полноту поиска? Ответ на этот вопрос очень важен для понимания специфики документальных ИПС. Компьютер может мгновенно распечатать содержание накладной №201375, хранящейся в его памяти, или из сотен фамилий работников предприятия безошибочно отыскать и начислить Сидорову Ивану Петровичу месячную заработную плату. Поиск такого рода широко используется в АСУ. В этом случае поиск производится по внешним признакам объектов: номеру накладной, фамилии и т.д. Если применить этот же принцип к поиску научных документов, то по формату и количеству страниц ЭВМ укажет адрес в хранилище всех книг и журналов конкретного формата (если, конечно, они введены в память ЭВМ).

Совершенно иначе обстоит дело с поиском документов по их содержанию. Информация, содержащаяся в научных документах, объективно подчиняется закону рассеяния. Это значит, что в одном случае в ответ на запрос ИПС может выдать несколько профильных публикаций, точно отвечающих на него, не выдав релевантную информацию, рассеянную среди большого количества других источников, в другом – может выдать и релевантную информацию. Полнота поиска возрастет. Однако в этом случае будет иметь место больший поисковый шум. Исходя из этого можно сделать вывод о принципиальной невозможности одновременного достижения стопроцентной полноты и такой же точности при поиске научных документов. Увеличивая полноту поиска, мы неизбежно уменьшаем его точность и наоборот, увеличивая точность поиска, уменьшаем его полноту.

Точному переводу содержания документа на ИПЯ – индексированию – препятствует субъективное восприятие содержания выполняющим перевод. В результате одни и те же документы могут быть проиндексированы по-разному. Неточность описания содержания документов при помощи любого ИПЯ не может не сказаться при их поиске.

Отсюда следует, что для документальных ИПС не может быть разработан ИПЯ, который обеспечивал бы стопроцентную полноту и точность выдачи документов. Однако это не значит, что не следует стремиться к максимально точной передаче содержания документов при переводе их на ИПЯ. Именно от этого во многом зависит качество работы всей ИПС. Поэтому при разработке автоматизированных ИПС большое внимание необходимо уделять выбору ИПЯ.

В настоящее время разработано большое количество информационно-поисковых языков, различных по назначению и принципам построения. Существуют, например, информационно-поисковые языки, основанные на различных классификациях, так называемые ИПЯ классификационного типа. Работа ИПС с таким ИПЯ схематично может быть представлена следующим образом.

Каталог крупной библиотеки, организованный, например, по УДК, записывается на машинный носитель информации. Запросы, поступающие от потребителей информации, также индексируются по УДК. Машина выполняет процесс сравнения ПОЗа и ПОДа, выраженных на одном и том же ИПЯ – УДК. При совпадении индексов документов с индексом запроса машина выдает ответ на запрос. Если необходимо увеличить полноту выдачи документов, то мы можем потребовать не полного, а частичного совпадения индексов УДК ПОДов и ПОЗов, изменяя таким образом критерий смыслового соответствия. Таким путем мы можем управлять процессом поиска, добиваясь нужных его характеристик.

Информационно-поисковые языки классификационного типа широко используются в автоматизированных ИПС промышленного назначения, применяемых, например, при поиске аналогов проектируемых деталей с целью заимствования технологического процесса для их обработки. Однако применение ИПЯ, основанных на той или иной классификации, в автоматизированных документальных ИПС ограничивается тем, что введение новых сложных многоаспектных понятий требует бесконечного расширения классификации, что, конечно, невозможно.

Поэтому в последнее время в автоматизированных ИПС предпочтение отдается так называемым ИПЯ дескрипторного типа. Дескрипторы – это термины естественного языка, выражающие определенные понятия. Словарь дескрипторов с указанными между ними смысловыми отношениями, охватывающий определенную область знания, называется информационно-поисковым тезаурусом (ИПТ). Идея применения ИПТ для информационного поиска документов состоит в описании содержания документов и запросов с помощью дескрипторов, входящих в его состав. На практике эта идея реализуется следующим образом. Текст документа, вводимого в ИПС, уменьшается до объема реферата, в котором выделяются слова, несущие основную смысловую нагрузку, так называемые ключевые слова. При помощи ключевых слов достаточно точно передается содержание документа. После этого каждое слово заменяется близким ему по смыслу дескриптором информационно-поискового тезауруса.

Совокупность терминов тезауруса-дескрипторов, заменивших ключевые слова, образует поисковый образ документа. Точно так же на язык дескрипторов переводится и запрос. Поиск документов после этого уже можно поручить машине. ЭВМ с присущей ей быстротой просматривает массивы ПОДов и сравнивает их с ПОЗом. Цель такого сравнения – выявить дескрипторы, принадлежащие одновременно ПОДу и ПОЗу, т.е. найти пересечение множеств дескрипторов ПОДа и ПОЗа. Чем больше зона пересечения, тем точнее соответствие документа запросу. Минимальная величина зоны пересечения оговаривается принятым критерием смыслового соответствия. Изменяя его, можно варьировать точность и полноту поиска в зависимости от нужд потребителей информации.

Таковы принципы работы ИПС с ИПЯ дескрипторного типа. Качество их работы во многом зависит от совершенства применяемого информационно-поискового тезауруса. Поэтому требования к ИПТ очень высоки. В нем не должно быть, например, терминов, выражающих одно и то же понятие, т.е. синонимов – это привело бы к потерям информации при поиске. Кроме этого, должны быть зафиксированы некоторые отношения между терминами (род – вид, часть – целое и другие), служащие целям повышения точности и полноты поиска.

Обычно информационно-поисковые тезаурусы оформляются в виде книг. Лексику тезаурусов составляют не только дескрипторы, но и их синонимы, которые не являются дескрипторами. Присутствие в тезаурусе синонимов имеет большое значение. Поясним это на примере.

Пусть имеется два термина: «Абразивы порошкообразные» и «Порошки абразивные». Ясно, что они выражают одно и то же понятие. Но одно понятие не может быть представлено в тезаурусе двумя различными терминами! Это значило бы, что при поиске документов на запрос, содержащий термин «Абразивы порошкообразные», поисковая система не выдала бы документы, содержащие в поисковом образе термин «Порошки абразивные», хотя они подлежат выдаче, так как соответствуют запросу.

Использование синонимичных терминов приводит к потерям информации. Чтобы предотвратить это, из двух (в данном случае) синонимов в качестве дескриптора выбирают один – термин «Абразивы порошкообразные», – а другой снабжают отсылкой к первому (пометкой): см. «Порошки абразивные». Такая пометка означает, что вместо одного термина при составлении поисковых образов документов или запросов следует использовать другой, являющийся дескриптором. Именно так ликвидируется в тезаурусах синонимия.

Если из нескольких синонимов один выбран в качестве дескриптора, то остальные (в нашем случае это термин «Порошки абразивные») при этом получают название ключевых слов. Наличие в тезаурусе ключевых слов с отсылками к соответствующим дескрипторам облегчает индексирование документов, обеспечивает быстрый поиск нужного термина, способствует повышению качества функционирования ИПС.

Тезаурус является необходимым лингвистическим пособием любой механизированной или автоматизированной информационно-поисковой системы, использующей ИПЯ дескрипторного типа.

Первые тезаурусы, удовлетворяющие специфическим задачам информационного поиска, были разработаны в начале 60-х годов нашего века.

В соответствии с тематическим профилем различают многоотраслевые, отраслевые и узкотематические тезаурусы. Наиболее известны из информационно-поисковых тезаурусов следующие:

• тезаурус АСТИА (Агентство службы технической информации США) – 1-е издание в декабре 1962 г.;
• тезаурус технических и научных терминов, наиболее крупный из существующих тезаурусов (23364 слова, из которых 17810 слов выступают в качестве дескрипторов). Этот труд, вышедший в свет в декабре 1967 г., представляет собой совместное издание Документального центра Министерства обороны США и Объединенного совета инженеров;
• тезаурус научно-технических терминов под общей редакцией Ю.И. Шемакина (М., Воениздат, 1972 г.). Этот тезаурус, включающий 19000 терминов, из которых 15000 являются дескрипторами, может служить примером отечественного многоотраслевого тезауруса.

К многоотраслевым тезаурусам можно отнести также тезаурусы международных информационных служб по атомной энергии. Тезаурус Евратома, изданный в 1966 и 1967 гг. и Тезаурус Международного агентства по атомной энергии в Вене («ИНИС»-Тезаурус), 6-е издание которого вышло в свет в 1974 г.

Примерами тезаурусов отраслевого масштаба могут служить: словарь дескрипторов по химии и химической промышленности, изданный НИИТЭХИМ в 1973 г. (1033 дескриптора, 5373 ключевых слова), тезаурус дескрипторов по образованию, используемый в автоматизированной системе Информационного центра в области народного образования США (1967 г.).

Даже этот небольшой перечень может дать представление о том, насколько велика роль информационно-поисковых тезаурусов в поиске информации. В настоящее время во всем мире ведется интенсивная работа по построению ИПТ различного назначения.

Для соединения «слов» тезаурусов в «фразы» применяются грамматические средства ИПЯ – правила составления поисковых образов с помощью дескрипторов ИПТ. Грамматики, применяемые в ИПЯ, бывают самыми различными. Одни регламентируют порядок дескрипторов в ПОДах и ПОЗах, другие – приписывают каждому дескриптору числа, характеризующие их значимость для поискового образа, третьи – указывают на роль каждого дескриптора при помощи специальных указателей и т.д. Применение грамматических средств в некоторых случаях позволяет более точно передавать содержание документов и тем самым улучшать поисковые характеры ИПС.

Подробное освещение классификационных и дескрипторных ИПЯ, информационно-поисковых тезаурусов и лингвистических (т.е. языковых) аспектов автоматизированных ИПС объясняется тем, что они оказывают решающее влияние на функционирование ИПС. Какой бы мощной и современной ЭВМ мы ни располагали, без правильно выбранного поискового языка вся система будет работать неэффективно.

Совершенствование ИПЯ во многой зависит от достижении в области теории семантической информации и направлений лингвистики. Поэтому появление автоматизированных ИПС послужило толчком к интенсивным исследованиям в области этих наук. Очень заманчиво, например, поручить вычислительной машине такую трудоемкую операцию, как реферирование документов. Одним из способов реализации этой идеи является выделение машиной в тексте таких предложений, которые содержат наиболее значимые для данной области знаний термины (а таковыми являются дескрипторы тезауруса этой области знаний, который хранится в памяти машины). Из этих предложений формируется реферат документа.

Другой, более сложный путь состоит в синтезе самих предложений после выделения в тексте наиболее значимых терминов. Все это требует от ЭВМ обширных «познаний» в области лингвистики. Решение все новых и новых проблем теоретической и прикладной лингвистики имеет конечной целью улучшение «взаимопонимания» между человеком и ЭВМ, а следовательно, и более полное использование возможностей вычислительной техники.

В последнее время в информатике прочно утвердился термин «лингвистическое обеспечение», который обобщает все те проблемы лингвистического характера, которые необходимо решить для обеспечения деятельности автоматизированных информационно-поисковых систем. Лингвистическое обеспечение – необходимый и очень важный элемент любой автоматизированной ИПС.