Реферат: Эконометрические методы проведения экспертных исследований и анализа оценок экспертов
РЕФЕРАТ
По эконометрике
Эконометрические методы проведения
экспертных исследований и анализа оценок экспертов
СОДЕРЖАНИЕ
Примерыпроцедур экспертных оценок. 3
Основныестадии экспертного опроса. 8
Подборэкспертов. 11
Оразработке регламента проведения сбора и анализа экспертных мнений 14
Методысредних баллов. 24
Математическиеметоды анализа экспертных оценок. 36
Литература… 46
Примеры процедур экспертных оценок
Бесспорно совершенно, что для принятия обоснованных решенийнеобходимо опираться на опыт, знания и интуицию специалистов. После второймировой войны в рамках научного движения, включающего в себя эконометрику,кибернетику, теорию управления, менеджмент и исследование операций сталаразвиваться самостоятельная дисциплина — теория и практика экспертных оценок.
Методы экспертных оценок — это методы организации работы соспециалистами-экспертами и анализа мнений экспертов. Эти мнения обычно выраженычастично в количественной, частично в качественной форме. Экспертныеисследования проводят с целью подготовки информации для принятия решений ЛПР(лицом, принимающим решения). Для проведения работы по методу экспертных оценоксоздают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПРдеятельность экспертов, объединенных (формально или по существу) в экспертнуюкомиссию (ЭК).
Экспертные оценки бывают индивидуальные и коллективные.Индивидуальные оценки — это оценки одного специалиста. Например, преподавательединолично ставит отметку студенту, а врач — диагноз больному. Но в сложныхслучаях заболевания или угрозе отчисления студента за плохую учебу обращаются кколлективному мнению — симпозиуму врачей или комиссии преподавателей.Аналогичная ситуация — в армии. Обычно командующий принимает решениеединолично. Но в сложных и ответственных ситуациях проводят военный совет. Одиниз наиболее известных примеров такого рода — военный совет 1812 г. в Филях, накотором под председательством М.И. Кутузова решался вопрос: «Давать или недавать французам сражение под Москвой? „
Другой простейший пример экспертных оценок — оценкаисполненных командами номеров в КВН. Каждый из членов жюри поднимают фанерку сосвоей оценкой, а технический работник вычисляет среднюю арифметическую оценку,которая и объявляется как коллективное мнение жюри (отметим, что такой подходнекорректен с точки зрения теории измерений).
В фигурном катании процедура усложняется — перед усреднениемотбрасываются самая большая и самая маленькая оценки. Это делается для того,чтобы у судьи не было соблазна завысить оценку одной спортсменке (например,соотечественнице) или занизить другой. Такие резко выделяющиеся из общего рядаоценки будут сразу отброшены.
Экспертные оценки часто используются при выборе — одноговарианта технических устройств из нескольких, группы космонавтов из многихпретендентов, набора проектов научно-исследовательских работ для финансированияиз массы заявок, получателей кредитов из многих желающих, при выбореинвестиционных проектов для реализации среди представленных, при проведениитендера (выбора исполнителей заказа из многих желающих) и т.д.
Существует масса методов получения экспертных оценок. Водних с каждым экспертом работают отдельно, он даже не знает, кто еще являетсяэкспертом, а потому высказывает свое мнение независимо от авторитетов. В другихэкспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждаютпроблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. Водних методах число экспертов фиксировано и таково, чтобы статистические методыпроверки согласованности мнений и затем их усреднения позволяли приниматьобоснованные решения. В других — число экспертов растет в процессе проведенияэкспертизы, например, при использовании метода “снежного кома» (о нем- дальше).
Не меньше существует и методов обработки ответов экспертов,в том числе весьма насыщенных математикой и компьютеризированных. Многие из нихоснованы на достижениях статистики объектов нечисловой природы и другихсовременных методах эконометрики и прикладной статистики.
Один из наиболее известных методов экспертных оценок — этометод «Дельфи». Название дано по ассоциации с древним обычаем дляполучения советов и поддержки при принятии решений обращаться в Дельфийскийхрам. Он был расположен у выхода ядовитых вулканических газов. Жрицы храма,надышавшись отравы, начинали пророчествовать, произнося непонятные слова.Специальные «переводчики» — жрецы храма толковали эти слова иотмечали на вопросы пришедших со своими проблемами паломников. По традицииговорят, что Дельфийский храм находился в Греции. Но там нет вулканов. Видимо,он был в Италии — у Везувия или Этны, а сами описанные предсказания происходилив XII-XIV вв. Эти места и даты вытекают из высшего достижения современной историческойнауки — новой статистической хронологии.
В США в 1960-х годах методом Дельфи назвали экспертнуюпроцедуру прогнозирования научно-технического развития. В первом туре экспертыназывали вероятные даты тех или иных будущих научно-технических свершений. Вовтором туре каждый эксперт знакомился с прогнозами всех остальных (без указанияфамилий авторов прогнозов). Если его прогноз сильно отличался от прогнозовосновной массы, его просили пояснить свою позицию, и эксперт довольно частоизменял свои оценки, приближаясь к средним значениям. Эти средние значения ивыдавались заказчику как групповое мнение. Надо сказать, что реальные результатыпрогностического исследования оказались довольно скромными — хотя дата высадкиамериканцев на Луну была предсказана с точностью до месяца, все остальныепрогнозы провалились — холодного термоядерного синтеза и средства от рака в ХХв. человечество не дождалось. Однако сама методика оказалась популярной — запоследующие годы она использовалась не менее 40 тыс. раз. Средняя стоимостьэкспертного исследования по методу Дельфи — 5 тыс. долларов США, но в рядеслучаев приходилось расходовать и более крупные суммы — до 130 тыс. долларов.
Несколько в стороне от основного русла экспертных оценоклежит метод сценариев, применяемый прежде всего для экспертногопрогнозирования. Рассмотрим основные идеи технологии сценарных экспертныхпрогнозов. Социально-экономическое или экологическое прогнозирование, как илюбое прогнозирование вообще, может быть успешным лишь при некоторойстабильности условий. Однако решения органов власти, отдельных лиц, иныесобытия, например, землетрясения, меняют условия, в которых живет население итекут экономические процессы, и события развиваются по-иному, чем ранее предполагалось.Например, вполне очевидно, что после первого тура президентских выборов 1996 г.о дальнейшем развитии событий можно было говорить лишь в терминах сценариев: еслипобедит Б.Н. Ельцин, то будет то-то и то-то, а если победит Г.А. Зюганов, то событияпойдут так-то и так-то.
Метод сценариев необходим не только в экологической илисоциально-экономической области. Например, при разработке методологического,программного и информационного обеспечения анализа риска химико-технологическихпроектов необходимо составить детальный каталог сценариев аварий, связанных сутечками токсических химических веществ. Каждый из таких сценариев описываетаварию своего типа, со своим индивидуальным происхождением, развитием,последствиями, возможностями предупреждения.
Таким образом, метод сценариев — это метод декомпозициизадачи прогнозирования, предусматривающий выделение набора отдельных вариантовразвития событий (сценариев), в совокупности охватывающих все возможныеварианты развития. При этом каждый отдельный сценарий должен допускатьвозможность достаточно точного прогнозирования, а общее число сценариев должнобыть обозримо.
Возможность подобной декомпозиции не очевидна. При примененииметода сценариев необходимо осуществить два этапа исследования:
— построение исчерпывающего, но обозримого набора сценариев;
— прогнозирование в рамках каждого конкретного сценария сцелью получения ответов на интересующие исследователя вопросы.
Каждый из этих этапов лишь частично формализуем.Существенная часть рассуждений проводится на качественном уровне, как этопринято в общественно-экономических и гуманитарных науках. Одна из причинзаключается в том, что стремление к излишней формализации и математизацииприводит к искусственному внесению определенности там, где ее нет по существу,либо к использованию громоздкого математического аппарата. Так, рассуждения насловесном уровне считаются доказательными в большинстве ситуаций, в то времякак попытка уточнить смысл используемых слов с помощью, например, теориинечетких множеств приводит к весьма громоздким математическим моделям.
Набор сценариев должен быть обозрим. Приходится исключатьразличные маловероятные события — прилет инопланетян, падение астероида,массовые эпидемии ранее неизвестных болезней, и т.д. Само по себе созданиенабора сценариев — предмет экспертного исследования. Кроме того, эксперты могутоценить вероятности реализации того или иного сценария.
Прогнозирование в рамках каждого конкретного сценария сцелью получения ответов на интересующие исследователя вопросы такжеосуществляется в соответствии с описанной выше методологией прогнозирования.При стабильных условиях могут быть применены статистические методыпрогнозирования временных рядов. Однако этому предшествует анализ с помощьюэкспертов, причем зачастую прогнозирование на словесном уровне являетсядостаточным (для получения интересующих исследователя и ЛПР выводов) и нетребующим количественного уточнения.
Как известно, при принятии решений на основе анализаситуации, в том числе результатов прогнозных исследований, можно исходить изразличных критериев. Так, можно ориентироваться на то, что ситуация сложитсянаихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можнопопытаться наметить мероприятия, обеспечивающие минимально допустимые полезныерезультаты при любом варианте развития ситуации, и т.д.
Еще один вариант экспертного оценивания — мозговой штурм.Организуется он как собрание экспертов, на выступления которых наложено одно,но очень существенное ограничение — нельзя критиковать предложения других.Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходезаседания эксперты, «заражаясь» друг от друга, высказывают все болееэкстравагантные соображения. Часа через два записанное на магнитофон иливидеокамеру заседание заканчивается, и начинается второй этап мозгового штурма- анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшейпроработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3оказываются в итоге приносящими полезный эффект — прибыль, повышение технологическойили экологической безопасности и т.п. При этом интерпретация идей — творческийпроцесс. Например, при обсуждении возможностей защиты кораблей от торпеднойатаки была высказана идея: «Выстроить матросов вдоль борта и дуть наторпеду, чтобы изменить ее курс». После проработки эта идея привела ксозданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.
Более подробно рассмотрим отдельные этапы экспертногоисследования.
Основные стадии экспертного опросаКак показывает опыт проведения экспертных исследований, сточки зрения менеджера — организатора такого исследования целесообразно выделятьследующие стадии проведения экспертного опроса.
1) Принятие решения о необходимости проведения экспертногоопроса и формулировка Лицом, Принимающим Решения (ЛПР) его цели. Таким образом,инициатива должна исходить от руководства, что в дальнейшем обеспечит успешноерешение организационных и финансовых проблем. Очевидно, что исходный толчокможет быть дан докладной запиской одного из сотрудников или дискуссией насовещании, но реальное начало работы — решение ЛПР.
2) Подбор и назначение ЛПР основного состава Рабочей группы,сокращенно РГ (обычно — научного руководителя и секретаря). При этом научныйруководитель отвечает за организацию и проведение экспертного исследования вцелом, а также за анализ собранных материалов и формулировку заключения экспертнойкомиссии. Он участвует в формировании коллектива экспертов и выдаче заданиякаждому (вместе с ЛПР или его представителем). Дело секретаря — ведениедокументации экспертного опроса, решение организационных задач.
3) Разработка РГ (точнее, ее основным составом, прежде всегонаучным руководителем и секретарем) и утверждение у ЛПР технического задания напроведение экспертного опроса. На этой стадия решение о проведении экспертногоопроса приобретает четкость во времени, финансовом, кадровом, материальном иорганизационном обеспечении. В частности, в РГ выделяются различные группыспециалистов — аналитическая, эконометрическая (специалисты по методам),компьютерная, по работе с экспертами (например, интервьюеров), организационная.Очень важно для успеха, чтобы все эти позиции были утверждены ЛПР.
4) Разработка аналитической группой РГ подробного сценария(т.е. регламента) проведения сбора и анализа экспертных мнений (оценок).Сценарий включает в себя прежде всего конкретный вид информации, которая будетполучена от экспертов (например, слова, условные градации, числа, ранжировки,разбиения или иные виды объектов нечисловой природы). Например, довольно частоэкспертов просят высказаться в свободной форме, ответив при этом на некоторыеколичество заранее сформулированных вопросов. Кроме того, их просят заполнитьформальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарийдолжен содержать и конкретные методы анализа собранной информации. Например,вычисление медианы Кемени, статистический анализ люсианов, применение иныхметодов статистики объектов нечисловой природы и других разделов прикладнойстатистики (о некоторых из названных методов речь пойдет ниже). Эта работаложится на эконометрическую и компьютерную группу РГ. Традиционная ошибка — сначала собрать информацию, а потом думать, что с ней делать. В результатеинформация используется на 1-2%.
5) Подбор экспертов в соответствии с их компетентностью. Наэтой стадии РГ составляет список возможных экспертов.
6) Формирование экспертной комиссии. На этой стадии РГпроводит переговоры с экспертами, получает их согласие на работу в экспертнойкомиссии (сокращенно ЭК), возможно, часть намеченных РГ экспертов отказываетсяпо тем или иным причинам. ЛПР утверждает состав экспертной комиссии, возможно,вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключениедоговоров с экспертами об условиях их работы и ее оплаты.
7) Проведение сбора экспертной информации. Часто перед этимпроводится набор и обучение интервьюеров — одной из групп, входящих в РГ.
8) Компьютерный анализ экспертной информации с помощьювключенных в сценарий методов. Ему обычно предшествует введение информации вкомпьютеры.
9) При применении согласно сценарию экспертной процедуры изнескольких туров — повторение двух предыдущих этапов.
10) Итоговый анализ экспертных мнений, интерпретацияполученных результатов аналитической группой РГ и подготовка заключительногодокумента ЭК для ЛПР.
11) Официальное окончание деятельности РГ, в том числеутверждение ЛПР заключительного документа ЭК, подготовка и утверждение научногои финансового отчетов РГ о проведении экспертного исследования, оплата трудаэкспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК иРГ.
Разберем подробнее отдельные стадии экспертногоисследования. Начнем с подбора экспертов: кадры решают все! Каковы эксперты — таково и качество заключения экспертной комиссии.
Подбор экспертовПроблема подбора экспертов является одной из наиболеесложных в теории и практике экспертных исследований. Очевидно, в качествеэкспертов необходимо использовать тех людей, чьи суждения наиболее помогутпринятию адекватного решения. Но как выделить, найти, подобрать таких людей?Надо прямо сказать, что в настоящее время и в обозримом будущем не будетметодов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мыне будем возвращаться к обсуждению проблемы существования различных«партий» среди экспертов и обратим внимание на иные стороны процедурподбора экспертов.
В проблеме подбора экспертов можно выделить две составляющие- 1) составление списка возможных экспертов и 2) выбор из них экспертнойкомиссии в соответствии с компетентностью кандидатов.
Составление списка возможных экспертов облегчается тогда,когда рассматриваемый вид экспертизы проводится многократно. В таких ситуацияхобычно ведется реестр возможных экспертов, например, в области государственнойэкологической экспертизы или судейства фигурного катания. Из обширного реестраможно выбирать по различным критериям или с помощью датчика псевдослучайныхчисел.
Как быть, если экспертиза проводится впервые, а потомуустоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае укаждого конкретного специалиста есть некоторое представление о том, чтотребуется от эксперта в подобной ситуации. Для формирования списка естьполезный метод «снежного кома», при котором от каждого специалиста,привлекаемого в качестве эксперта, получают несколько (например, пять) фамилийтех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторыеиз этих фамилий встречались ранее и зафиксированы в списках РГ, а некоторые — новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширениясписка останавливается, когда список экспертов расширяется до нужных размеровили когда новые фамилии практически перестают встречаться. В результатеполучается достаточно обширный список возможных экспертов. Метод «снежногокома» имеет и недостатки. Число туров до остановки процесса наращивания«снежного кома» нельзя заранее предсказать, а потому нельзяпредварительно установить продолжительность и стоимость этой работы. Крометого, ясно, что если на первом этапе все эксперты были из одного«клана», придерживались в чем-то близких взглядов или занималисьсходной деятельностью, то и метод «снежного кома» даст, скорее всего,прежде всего лиц из этого «клана». Мнения и аргументы других«кланов» будут упущены.
Вопрос об оценке компетентности экспертов не менее сложен.Успешность участия в предыдущих экспертизах — хороший критерий для деятельностидегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов,которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболееинтересны и важны уникальные экспертизы больших проектов, не имеющих аналогов.Использование формальных показателей экспертов (должность, ученые степень извание, стаж, число публикаций, награды,. .), очевидно, в современных условияхможет носить лишь вспомогательный характер, хотя подобные показатели проще всегоприменять при формировании экспертной комиссии.
Часто предлагают использовать методы самооценки ивзаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки,при котором эксперт сам дает информацию о том, в каких областях он компетентен,а в каких — нет. С одной стороны, кто лучше может знать возможности эксперта,чем он сам? С другой стороны, при самооценке компетентности скорее оцениваетсястепень самоуверенности эксперта, чем его реальная компетентность. Тем более,что само понятие «компетентность» строго не определено. Можно егоуточнять, выделяя составляющие, но при этом усложняется предварительная частьдеятельности экспертной комиссии. Достаточно часто эксперт преувеличивает своюреальную компетентность. Например, большинство людей считают, что они хорошо разбираютсяв политике, экономике, проблемах образования и воспитания, семьи и медицины. Насамом деле экспертов (и даже знающих людей) в этих областях не так уж много,особено в сравнении с претензиями профанов. Бывают уклонения и в другуюсторону, излишне критичное отношение к своим возможностям. При этом специалиствполне сознательно искусственно сужает зону своей компетенции. Так, научныйработник может заявить, что он компетентен только в том, чему посвящены егопоследние публикации.
При использовании метода взаимооценки, помимо возможностипроявления личностных и групповых симпатий и антипатий, играет роль малаяосведомленность экспертов о возможностях друг друга. В современных условияхдостаточно хорошее знакомство с работами и возможностями друг друга может бытьлишь у специалистов, много лет (не менее 3-4) работающих совместно, в однойкомнате, над одной темой. Именно про такие пары можно сказать, что они«пуд соли вместе съели». Однако привлечение таких пар специалистов неочень-то целесообразно, поскольку их взгляды из-за схожести жизненного путислишком похожи друг на друга. Малая осведомленность экспертов о возможностяхдруг друга приводит к взаимооценкам на основе недостаточных, а иногда и невполне достоверных сведений, или на базе ранее описанных формальныхпоказателей.
Если процедура экспертного опроса предполагаетнепосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств.Большое значение имеют их личностные (социально-психологические) качества. Так,один-единственный «говорун» может парализовать деятельность всейкомиссии на совместном заседании. К срыву могут привести и неприязненныеотношения членов комиссии, и сильно различающийся научный и должностной статусчленов комиссии. В подобных случаях важно соблюдение регламента работы,разработанного РГ.
Необходимо подчеркнуть, что подбор экспертов в конечномсчете — функция Рабочей группы, и никакие методики подбора не снимают с нееответственности. Другими словами, именно на Рабочей группе лежит ответственностьза компетентность экспертов, за их принципиальную способность решитьпоставленную задачу. Важным является требование к ЛПР об утверждении спискаэкспертов. При этом ЛПР может как добавить в комиссию отдельных экспертов, таки вычеркнуть некоторых из них — по собственным соображениям, с которыми членамРГ и ЭК знакомиться нет необходимости.
Существует ряд нормативных документов, регулирующихдеятельность экспертных комиссий в тех или иных областях. Примером являетсяЗакон Российской Федерации «Об экологической экспертизе» от 23 ноября1995 г., в котором регламентируется процедура экспертизы «намечаемойхозяйственной или иной деятельности» с целью выявления возможного вреда,который может нанести рассматриваемая деятельность окружающей природной среде.
О разработке регламента проведения сбора и анализаэкспертных мненийКак уже отмечалось, существует масса методов полученияэкспертных оценок. В одних с каждым экспертом работают отдельно, он даже незнает, кто еще является экспертом, а потому высказывает свое мнение независимоот авторитетов, «кланов» и отдельных коллег. В других экспертовсобирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждаютпроблему друг с другом, принимают или отвергают аргументы друг друга, учатсядруг у друга, и неверные или недостаточно обоснованные мнения отбрасываются. Водних методах число экспертов фиксировано и таково, чтобы статистические методыпроверки согласованности мнений и затем (в случае достаточно хорошей согласованностимнений) их усреднения позволяли принимать обоснованные решения с точки зренияэконометрики. В других — число экспертов растет в процессе проведенияэкспертизы, например, при использовании метода «снежного кома» дляформирования команды экспертов.
В настоящее время не существует общепринятой научнообоснованной классификации методов экспертных оценок и тем более — однозначныхрекомендаций по их применению. Попытка силой (приняв какой-либонормативно-правовой документ) утвердить одну из возможных точек зрения можетпринести лишь вред.
Однако для рассказа о многообразии экспертных оценокнеобходима какая-либо рабочая классификация методов. Одну из таких возможныхклассификаций мы даем ниже, перечисляя основания, по которым мы делимэкспертные оценки.
Какова цель работы комиссии? Один из основных вопросов — чтоименно должна представить экспертная комиссия в результате своей работы — информацию для принятия решения ЛПР или проект самого решения? От ответа наэтот методологический вопрос зависит организация работы экспертной комиссии, ион служит первым основанием для разбиения методов на группы с целью ихклассификации.
Цель — сбор информации для ЛПР. Тогда Рабочая группа должнасобрать возможно больше относящейся к делу информации, аргументов «за»и «против» определенных вариантов решений. Полезен следующий методпостепенного увеличения числа экспертов. Сначала первый эксперт приводит своисоображения по рассматриваемому вопросу. Составленный им материал передаетсявторому эксперту, который добавляет свои аргументы. Накопленный материалпоступает к следующему — третьему — эксперту… Процедура заканчивается, когдаиссякает поток новых соображений.
Отметим, что эксперты в рассматриваемом методе толькопоставляют информацию, аргументы «за» и «против», но невырабатывают согласованного проекта решения. Нет никакой необходимостистремиться к тому, чтобы экспертные мнения были согласованы между собой. Болеетого, наибольшую пользу приносят эксперты с мышлением, отклоняющимся отмассового. Таких обычно называют диссидентами (т.е. инакомыслящими). Именно отних следует ожидать наиболее оригинальных аргументов.
Цель — подготовка проекта решения для ЛПР. Эконометрическиеметоды в экспертных оценках применяются обычно именно для решения задач,связанных с подготовкой проекта решения, основанного на итоговом коллективноммнении комиссии экспертов. При этом зачастую некритически принимают догмысогласованности и одномерности. Эти догмы «кочуют» из однойпубликации в другую, поэтому целесообразно их обсудить.
Догма согласованности. Часто без всяких оснований считается,что решение может быть принято лишь на основе согласованных мнений экспертов.Поэтому исключают из экспертной группы тех, чье мнение отличается от мнениябольшинства. (В лучшем случае им разрешает составить документ под названием:«Особое мнение») При этом отсеиваются как неквалифицированные лица,попавшие в состав экспертной комиссии по недоразумению или по соображениям, неимеющим отношения к их компетентности и профессиональному уровню, так и наиболееоригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовалобы выяснить их аргументы, предоставить им возможность для обоснования их точекзрения. Вместо этого их мнением пренебрегают.
Бывает и так, что эксперты делятся на две или более групп,имеющих единые групповые точки зрения. Так, хорошо известны примеры деленияспециалистов при оценке результатов научно-исследовательских работ (НИР) на двегруппы: «теоретиков», явно предпочитающих НИР, в которых полученытеоретические результаты, и «практиков», выбирающих те НИР, которыепозволяют получать непосредственные прикладные результаты (речь идет, например,об истории конкурсов НИР в академическом Институте проблем управления(автоматики и телемеханики)).
Иногда заявляют, что в случае обнаружения двух илинескольких групп экспертов (вместо одной согласованной во мнениях) опрос недостиг цели. Это не так! Цель достигнута — установлено, что единого мнения нет.Это весьма важно. И ЛПР при принятии решений должен это учитывать. Стремлениеобеспечить согласованность мнений экспертов любой целой может приводить ксознательному одностороннему подбору экспертов, игнорированию всех точекзрения, кроме одной, наиболее полюбившейся Рабочей группе (или даже«подсказанной» ЛПР).
Часто не учитывают еще одного чисто эконометрическогообстоятельства. Поскольку число экспертов обычно не превышает 20-30, тоформальная статистическая согласованность мнений экспертов (установленная спомощью тех или иных критериев проверки статистических гипотез) можетсочетаться с реально имеющимся разделением экспертов на группы, что делаетдальнейшие расчеты не имеющими отношения к действительности, а потому неимеющими практического смысла. Для примера обратимся к конкретным методамрасчетов с помощью коэффициентов конкордации на основе коэффициентов ранговойкорреляции Кендалла или Спирмена. Необходимо напомнить, что согласно эконометрическойтеории положительный результат проверки согласованности таким способом означаетни больше, ни меньше, как отклонение конкретной статистической гипотезы, аименно, гипотезы о независимости и равномерной распределенности мненийэкспертов на множестве всех ранжировок. Таким образом, проверяется нулеваягипотеза, согласно которой ранжировки, описывающие мнения экспертов, являются независимымислучайными бинарными отношениями, равномерно распределенными на множестве всехранжировок [1]. Отклонение этой нулевой гипотезы толкуется как принятиеальтернативной гипотезы согласованности ответов экспертов. Другими словами, мыпадаем жертвой заблуждений, вытекающих из различного толкования одних и тех жеслов в не вполне связанных друг с другом научных дисциплинах: принятиестатистической гипотезы согласованности в указанном математико-статистическомсмысле вовсе не является обоснованием согласованности мнений экспертов в смыслепрактики экспертных оценок. (Именно ущербность рассматриваемыхматематико-статистических методов анализа ранжировок привела группуспециалистов к разработке нового эконометрического аппарата для проверкисогласованности — непараметрических методов, основанных на т. н. люсианах ивходящих в современный раздел эконометрики — статистику нечисловых данных).Группы экспертов с близкими взглядами можно выделить эконометрическими методамикластер-анализа.
Мнения диссидентов. С целью искусственно добитьсясогласованности стараются уменьшить влияние мнений экспертов-диссидентов, т.е.инакомыслящих по сравнению с большинством. Жесткий способ борьбы с диссидентамисостоит в игнорировании их мнений, т.е. фактически в их исключении из составаэкспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихсярезультатов наблюдений (выбросов), приводит к процедурам, имеющим плохие илинеизвестные статистические свойства. Так, известна крайняя неустойчивостьклассических методов отбраковки выбросов по отношению к отклонениям отпредпосылок модели.
Мягкий способ борьбы с диссидентами состоит в примененииробастных (устойчивых) статистических процедур. Простейший пример: если ответэксперта — действительное число, то резко выделяющееся мнение диссидента сильновлияет на среднее арифметическое ответов экспертов и не влияет на их медиану.Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однакопри этом игнорируются (не достигают ЛПР) аргументы диссидентов.
В любом из двух способов борьбы с диссидентами ЛПР лишаетсяинформации, идущей от диссидентов, а потому может принять необоснованноерешение, которое впоследствии приведет к отрицательным последствиям. С другойстороны, представление ЛПР всего набора мнений снимает часть ответственности итруда по подготовке окончательного решения с комиссии экспертов и рабочейгруппы по проведению экспертного опроса и перекладывает эти ответственность итруд на плечи ЛПР.
Догма одномерности. Среди менеджеров и инженеровраспространен довольно примитивный подход так называемой«квалиметрии», согласно которому объект экспертизы всегда можнооценить одним числом. Странная идея! Оценивать человека одним числом приходилов голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристырассматривают книгу или картину как эквивалент числа — ее «рыночнойстоимости».
Вместе с тем нельзя полностью отрицать саму идею поискаобобщенных показателей качества, технического уровня и аналогичных им. Так,каждый объект можно оценивать по многим показателям качества. Например,легковой автомобиль можно оценивать по таким показателям:
· расход бензина на 100 км пути (в среднем);
· надежность (средняя стоимость ремонта за год);
· экологическая безопасность, оцениваемая по содержанию вредныхвеществ в выхлопных газах;
· маневренность;
· быстрота набора скорости 100 км/час после начала движения;максимальная достигаемая скорость;
· длительность сохранения в салоне положительной температуры принизкой наружной температуре (-50 градусов по Цельсию) и выключенном двигателе;
· дизайн (привлекательность и «модность» внешнего вида иотделки салона);
· представительность;
· вес;
· срок службы;
· эксплуатационные расходы (за год);
· цена;
· приведенная к сопоставимым ценам стоимость 1 км пробега, и т.д.
Можно ли свести оценки по этим показателям вместе?Определяющей является конкретная ситуация, для которой выбирается автомашина.Максимально достигаемая скорость важна для гонщика, но, как нам представляется,не имеет большого практического значения для водителя рядовой частной машины,особенно в большом городе с суровым ограничением на максимальную скорость. Длятакого водителя важнее расход бензина, маневренность и надежность. Для машинразличных служб государственного управления, видимо, надежность важнее, чем длячастника, а расход бензина — наоборот. Представительность важна для высшихменеджеров и чиновников, занимающих высокие посты. Для районов Крайнего Севераважна теплоизоляция салона, а для южных районов — нет. И т.д.
Таким образом, важна конкретная (узкая) постановка задачиперед экспертами. Но такой постановки зачастую нет. А тогда «игры» поразработке обобщенного показателя качества — например, в виде линейной функцииот перечисленных переменных — могут не дать объективных выводов. Альтернативойединственному обобщенному показателю является математический аппарат типамногокритериальной оптимизации — множества Парето и т.д.
В некоторых случаях все-таки можно глобально сравнитьобъекты — например, с помощью тех же экспертов получить упорядочениерассматриваемых объектов — изделий или проектов. Тогда можно ПОДОБРАТЬкоэффициенты при отдельных показателях так, чтобы упорядочение с помощьюлинейной функции возможно точнее соответствовало глобальному упорядочению(например, найти эти коэффициенты методом наименьших квадратов). Наоборот, вподобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты непосредственно спомощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельныхсоставителей методик по проведению экспертных опросов и анализу их результатов.Они упорно стараются заставить экспертов делать то, что они выполнить не всостоянии — указывать веса, с которыми отдельные показатели качества должнывходить в итоговый обобщенный показатель.
Эксперты обычно могут сравнить объекты или проекты в целом,но не могут вычленить вклад отдельных факторов. Раз организаторы опросаспрашивают, эксперты отвечают, но эти ответы не несут в себе надежнойинформации о реальности…
Отметим, что есть экспертные процедуры, в которых весаотдельных факторов вычисляются в результате тщательного анализа иерархическойсистемы показателей. Для таких процедур приведенные выше критические замечанияпо поводу экспертного определения весов факторов не имеют силы.
Второе основание классификации экспертных процедур — числотуров. Экспертизы могут включать один тур, некоторое фиксированное число туров(два, три,…) или неопределенное число туров. Чем больше туров, тем болеетщательным является анализ ситуации, поскольку эксперты при этом обычно многораз возвращаются к рассмотрению предмета экспертизы. Но одновременноувеличивается общее время на экспертизу и возрастает ее стоимость. Можноуменьшить расходы, вводя в экспертизу не всех экспертов сразу, а постепенно.Так, например, если цель состоит в сборе аргументов «за» и «против»,то первоначальный перечень аргументов может быть составлен одним экспертом.Второй добавит к нему свои аргументы. Суммарный материал поступит к первому итретьему, которые внесут свои аргументы и контраргументы. И так далее — добавляется по одному эксперту на каждый новый тур.
Наибольшие сложности вызывают процедуры с заранеенеопределенным числом туров, например, «снежный ком». Часто задаютмаксимально возможное число туров, и тогда неопределенность сводится к тому,придется ли проводить это максимальное число туров или удастся ограничитьсяменьшим числом.
Третье основание классификации экспертных процедур — организация общения экспертов. Рассмотрим достоинства и недостатки каждого изэлементов следующей шкалы: отсутствие общения — заочное анонимное общение — заочное общение без анонимности — очное общение с ограничениями — очное общениебез ограничений.
При отсутствии общения эксперт высказывает свое мнение,ничего не зная о других экспертах и об их мнениях. Он полностью независим, чтои хорошо, и плохо. Хорошо — потому что он полностью независим, защищен отлюбого давления. Плохо — он не знает соображений других экспертов, а потомуопирается лишь на собственную информационную базу. Обычно такая ситуациясоответствует однотуровой экспертизе.
Заочное анонимное общение, например, как в методе Дельфи,означает, что эксперт знакомится с мнениями и аргументами других экспертов, ноне знает, кто именно высказал то или иное положение. Следовательно, вэкспертизе должно быть предусмотрено хотя бы два тура, чтобы эксперт смогскорректировать свое мнение, познакомившись с мнениями других.
Заочное общение без анонимности соответствует, например,общению по Интернету. Экспертные опросы на основе информационных технологий — весьма перспективное направление развития в области организации экспертиз.
Все варианты заочной экспертизы хороши тем, что нетнеобходимости собирать экспертов вместе, следовательно, находить для этогоудобное для всех экспертов время и место.
При очных экспертизах эксперты говорят, а не пишут, как призаочных, и потому успевают за то же время сказать существенно больше. Очнаяэкспертиза с ограничениями весьма распространена. Это — собрание, идущее пофиксированному регламенту. Примером является военный совет в императорскойрусской армии, когда эксперты (офицеры и генералы) высказывались в порядке отмладшего (по чину и должности) к старшему. Подробно такой совет описан вповести А.С. Пушкина «Капитанская дочка». Другой пример — «мозговой штурм», при котором запрещается критиковать чужиевысказывания.
Наконец, очная экспертиза без ограничений — это свободнаядискуссия. Все очные экспертизы имеют недостатки, связанные с возможностямиотрицательного влияния на их проведение социально-психологических свойств иклановых (партийных) пристрастий участников, а также неравенства ихпрофессионального, должностного, научного статусов. Представьте себе, чтособерутся вместе 5 лейтенантов и 3 генерала. Независимо от того, какаяинформация имеется у того или иного участника встречи, ход ее предсказатьнетрудно: генералы будут говорить, а лейтенанты — помалкивать. Хотя опытгенералов несравним с лейтенантским, но в процессе недавнего обучениялейтенанты познакомились с последними научными достижениями, которые почтинаверняка прошли мимо внимания генералов. Разумеется, этот пример можнообсудить не для совещания военных, а для собрания управленцев (менеджеров),врачей или преподавателей.
Необходимо обратить внимание на психологические особенностиэкспертов. Один начнет громко говорить на разные темы, как только ему этоудастся, и словесный понос может продолжаться часами. От попыток прервать его исказать свое такой деятель легко отбивается, в частности, за счет высокойскорости произнесения слов. Поведение другого эксперта противоположно. Онпредпочитает помалкивать, пока ему не предоставлено слово, не тратить сил напопытки вклиниться в словесный понос «говоруна». Из сказанного ясно,что очная экспертиза без ограничений, т.е. свободная дискуссия — это недостижимыйидеал, реально роль и возможности председателя заседания (зафиксированные в регламентеработы ЭК) должны быть достаточны велики.
Комбинация различных видов экспертизы. Реальные экспертизычасто представляют собой комбинации различных описанных выше типов экспертиз. Вкачестве примера рассмотрим систему экспертиз при подготовке и защите студентомдипломного проекта. Сначала идет многотуровая очная экспертиза, проводимаянаучным руководителем и консультантами, в результате учета результатов этой экспертизыстудент подготавливает проект к защите. Затем два эксперта работают заочно — это автор отзыва сторонней организации и заведующий кафедрой, допускающийработу к защите. Обратите внимание на различие задач этих экспертов и объемоввыполняемой ими работы — один пишет подробный отзыв и дает оценку проекту,второй росписью на титульном листе проекта разрешает его защиту. Наконец — очная экспертиза без ограничений (для членов государственной аттестационнойкомиссии). Дипломный проект оценивается коллегиально, по большинству голосов,при этом лишь один из экспертов (научный руководитель) знает работу подробно, аостальные — в основном лишь по докладу студента. Таким образом, имеем сочетаниемноготуровой и однотуровой, заочных и очных экспертиз. Подобные сочетанияхарактерны для многих реально проводящихся экспертиз.
Методы средних балловВ настоящее время распространены экспертные, маркетинговые,квалиметрические, социологические и иные опросы, в которых опрашиваемых просятвыставить баллы объектам, изделиям, технологическим процессам, предприятиям,проектам, заявкам на выполнение научно-исследовательских работ, идеям,проблемам, программам, политикам и т.п., а затем рассчитывают средние баллы ирассматривают их как интегральные оценки, выставленные коллективом опрошенных.
Какими формулами пользоваться для вычисления среднихвеличин? Ведь разных видов средних величин, как мы знаем, очень много (см.главу 3). Обычно в старых или устаревших литературных источниках рекомендуютприменять среднее арифметическое. Однако эта устоявшаяся рекомендацияпротиворечит теории измерений. Однако уже более 25 лет известно, что такойспособ некорректен, поскольку баллы обычно измерены в порядковой шкале.Обоснованным является использование медиан в качестве средних баллов. Этовытекает из теорем эконометрики, приведенных в главе 3.
Однако полностью игнорировать средние арифметическиенерационально из-за их привычности и распространенности. Поэтому целесообразноиспользовать одновременно оба метода — и метод средних арифметических рангов(баллов), и методов медианных рангов. Эта рекомендация находится в согласии сконцепцией устойчивости, согласно которой следует использовать различные методыдля обработки одних и тех же данных с целью выделить выводы, получаемыеодновременно при всех методах. Такие выводы, видимо, соответствуют реальнойдействительности, в то время как заключения, меняющиеся от метода к методу,зависят от субъективизма исследователя, выбирающего метод обработки исходныхданных, например, экспертных оценок.
Пример сравнения восьми проектов. Рассмотрим конкретныйпример применения только что сформулированного подхода.
По заданию руководства фирмы анализировались восемьпроектов, предлагаемых для включения в план стратегического развития фирмы. Онибыли обозначены следующим образом: Д, Л, М-К, Б, Г-Б, Сол, Стеф, К (по фамилиямменеджеров, предложивших их для рассмотрения). Все проекты были направлены 12экспертам, назначенным Советом директоров фирмы. В приведенной ниже табл.1приведены ранги восьми проектов, присвоенные им каждым из 12 экспертов всоответствии с представлением экспертов о целесообразности включения проекта встратегический план фирмы. При этом эксперт присваивает ранг 1 самому лучшемупроекту, который обязательно надо реализовать. Ранг 2 получает от экспертавторой по привлекательности проект,..., наконец, ранг 8 — наиболее сомнительныйпроект, который реализовывать стоит лишь в последнюю очередь).
Анализируя результаты работы экспертов (т.е. упомянутуютаблицу), члены Правления фирмы были вынуждены констатировать, что полногосогласия между экспертами нет, а потому данные, приведенные в табл.1, следуетподвергнуть более тщательному математическому анализу.
Метод средних арифметических рангов. Сначала был примененметод средних арифметических рангов. Для этого прежде всего была подсчитанасумма рангов, присвоенных проектам (см. табл.1). Затем эта сумма была разделенана число экспертов, в результате рассчитан средний арифметический ранг (именноэта операция дала название методу). По средним рангам строится итоговаяранжировка (в другой терминологии — упорядочение), исходя из принципа — чемменьше средний ранг, чем лучше проект.
Табл.1. Ранги 8 проектов по степени привлекательности длявключения в план стратегического развития фирмы
№ эксперта Д Л М-К Б Г-Б Сол Стеф К 1 5 3 1 2 8 4 6 7 2 5 4 3 1 8 2 6 7 3 1 7 5 4 8 2 3 6 4 6 4 2,5 2,5 8 1 7 5 5 8 2 4 6 3 5 1 7 6 5 6 4 3 2 1 7 8 7 6 1 2 3 5 4 8 7 8 5 1 3 2 7 4 6 8 9 6 1 3 2 5 4 7 8 10 5 3 2 1 8 4 6 7 11 7 1 3 2 6 4 5 8 12 1 6 5 3 8 4 2 7Примечание. Эксперт № 4 считает, что проекты М-К и Бравноценны, но уступают лишь одному проекту — проекту Сол. Поэтому проекты М-Ки Б должны были бы стоять на втором и третьем местах и получить баллы 2 и 3.Поскольку они равноценны, то получают средний балл (2+3) / 2 = 5/ 2 = 2,5.
Наименьший средний ранг, равный 2,625, у проекта Б, — следовательно, в итоговой ранжировке он получает ранг 1. Следующая по величинесумма, равная 3,125, у проекта М-К. И он получает итоговый ранг 2. Проекты Л иСол имеют одинаковые суммы (равные 3,25), значит, с точки зрения экспертов ониравноценны (при рассматриваемом способе сведения вместе мнений экспертов сцелью получения итоговой ранжировки), а потому они должны бы стоять на 3 и 4местах и получают средний балл (3+4) /2 = 3,5. Дальнейшие результаты приведеныв табл.2 ниже.
Итак, ранжировка по суммам рангов (или, что то же самое, посредним арифметическим рангам) имеет вид:
Б < М-К < {Л, Сол} < Д < Стеф < Г-Б < К.(1)
Здесь запись типа «А<Б» означает, что проект Апредшествует проекту Б (т.е. проект А лучше проекта Б). Поскольку проекты Л иСол получили одинаковую сумму баллов, то по рассматриваемому методу ониэквивалентны, а потому объединены в группу — класс эквивалентности (в фигурныхскобках). В терминологии математической статистики ранжировка (1) имеет однусвязь.
Метод медиан рангов. Значит, наука сказала свое слово, итограсчетов — ранжировка (1), и на ее основе предстоит принимать решение? Но тутнаиболее знакомый с современной эконометрикой член Совета директоров вспомнилто, о чем говорилось в главе 3, посвященной теории измерений. Он вспомнил, чтоответы экспертов измерены в порядковой шкале, а потому для них неправомернопроводить усреднение методом средних арифметических. Надо использовать методмедиан.
Что это значит? Напомним, что надо взять ответы экспертов,соответствующие одному из проектов, например, проекту Д. Это ранги 5, 5, 1, 6,8, 5, 6, 5, 6, 5, 7, 1. Затем их надо расположить в порядке неубывания (прощебыло бы сказать — «в порядке возрастания», но поскольку некоторыеответы совпадают, то приходится использовать непривычный термин«неубывание»). Получим последовательность: 1, 1, 5, 5, 5, 5, 5, 6, 6,6, 7, 8. На центральных местах — шестом и седьмом — стоят 5 и 5. Следовательно,медиана равна 5.
Табл.2. Результаты расчетов по методу средних арифметическихи методу медиан для данных, приведенных в табл.1.
Д Л М-К Б Г-Б Сол Стеф К Сумма рангов 60 39 37,5 31.5 76 39 64 85 Среднее арифметическое рангов 5 3,25 3,125 2,625 6,333 3,25 5,333 7,083 Итоговый ранг по среднему арифметическому 5 3,5 2 1 7 3,5 6 8 Медианы рангов 5 3 3 2,25 7,5 4 6 7 Итоговый ранг по медианам 5 2,5 2,5 1 8 4 6 7Медианы совокупностей из 12 рангов, соответствующихопределенным проектам, приведены в предпоследней строке табл.2. (При этоммедианы вычислены по обычным правилам статистики — как среднее арифметическоецентральных членов вариационного ряда) Итоговое упорядочение по методу медианприведено в последней строке табл.2. Ранжировка (т.е. упорядочение — итоговоемнение комиссии экспертов) по медианам имеет вид:
Б < {М-К, Л} < Сол < Д < Стеф < К <Г-Б.(2)
Поскольку проекты Л и М-К имеют одинаковые медианы баллов,то по рассматриваемому методу ранжирования они эквивалентны, а потому объединеныв группу (кластер), т.е. с точки зрения математической статистики ранжировка(2) имеет одну связь.
Сравнение ранжировок по методу средних арифметических иметоду медиан. Сравнение ранжировок (1) и (2) показывает их близость(похожесть). Можно принять, что проекты М-К, Л, Сол упорядочены как М-К < Л< Сол, но из-за погрешностей экспертных оценок в одном методе признаныравноценными проекты Л и Сол (ранжировка (1)), а в другом — проекты М-К и Л(ранжировка (2)). Существенным является только расхождение, касающеесяупорядочения проектов К и Г-Б: в ранжировке (1) Г-Б<К, а в ранжировке (2),наоборот, К<Г-Б. Однако эти проекты — наименее привлекательные из восьмирассматриваемых, и при выборе наиболее привлекательных проектов для дальнейшегообсуждения и использования на указанное расхождение можно не обращать внимания.
Рассмотренный пример демонстрирует сходство и различиеранжировок, полученных по методу средних арифметических рангов и по методумедиан, а также пользу от их совместного применения. Однако нельзя не отметить,что только что проведенное сравнение ранжировок (1) и (2) осуществлено невполне строго. Ясно, что в эконометрическом инструментарии специалиста попроведению экспертных исследований должен быть алгоритм согласованияранжировок, полученных различными методами.
Метод согласования кластеризованных ранжировок
Рассматриваемая здесь проблема состоит в выделении общегонестрогого порядка из набора кластеризованных ранжировок (на статистическомязыке — ранжировок со связями). Этот набор может отражать мнения несколькихэкспертов или быть получен при обработке мнений экспертов различными методами.Рассматривается метод согласования кластеризованных ранжировок, позволяющий«загнать» противоречия внутрь специальным образом построенныхкластеров (групп), в то время как упорядочение кластеров соответствует всемисходным упорядочениям.
В различных прикладных областях возникает необходимостьанализа нескольких кластеризованных ранжировок объектов. К таким областямотносятся прежде всего инженерный бизнес, менеджмент, экономика, социология,прогнозирование, экология, научные и технические исследования и т.д., особенноте их разделы, что связаны с экспертными оценками. В качестве объектов могутвыступать образцы продукции, технологии, математические модели, проекты,кандидаты на должность и др. Кластеризованные ранжировки могут быть полученыкак с помощью экспертов, так и объективным путем, например, при сопоставленииматематических моделей с экспериментальными данными с помощью того или иногокритерия качества. Первоначально описанный ниже метод был разработан в связи спроблемами химической безопасности биосферы и экологического страхования.
Повторим более подробно постановку проблемы. В настоящемпункте учебного пособия рассматривается метод построения кластеризованнойранжировки, согласованной (в раскрытом ниже смысле) со всеми рассматриваемымикластеризованными ранжировками. При этом противоречия между отдельнымиисходными ранжировками оказываются заключенными внутри кластеров согласованнойранжировки. В результате упорядоченность кластеров отражает общее мнениеэкспертов, точнее, то общее, что содержится в исходных ранжировках. В кластерызаключены объекты, по поводу которых некоторые из исходных ранжировокпротиворечат друг другу. Для их упорядочения необходимо провести новыеисследования. Эти исследования могут быть как формально-математическими(например, вычисление медианы Кемени, упорядочения по средним рангам или помедианам и т.п.), так и требовать привлечения новой информации из соответствующейприкладной области, возможно, проведения дополнительных научных или прикладныхработ.
Введем необходимые понятия, затем сформулируем алгоритмсогласования кластеризованных ранжировок в общем виде и рассмотрим егосвойства.
Пусть имеется конечное число объектов, которые мы дляпростоты изложения будем изображать натуральными числами 1,2,3,...,k и называть«носителем». Под кластеризованной ранжировкой, определенной назаданном носителе, понимаем следующую математическую конструкцию. Пусть объектыразбиты на группы, которые будем называть кластерами. В кластере может быть иодин элемент. Входящие в один кластер объекты будем заключать в фигурныескобки. Например, объекты 1,2,3,...,10 могут быть разбиты на 7 кластеров: {1},{2,3}, {4}, {5,6,7}, {8}, {9}, {10}. В этом разбиении один кластер {5,6,7}содержит три элемента, другой — {2,3} — два, остальные пять — по одномуэлементу. Кластеры не имеют общих элементов, а объединение их (как множеств)есть все рассматриваемое множество объектов.
Вторая составляющая кластеризованной ранжировки — этострогий линейный порядок между кластерами. Задано, какой из них первый, какойвторой, и т.д. Будем изображать упорядоченность с помощью знака <. При этомкластеры, состоящие из одного элемента, будем для простоты изображать безфигурных скобок. Тогда кластеризованную ранжировку (одну из возможных) наоснове введенных выше кластеров можно изобразить так:
А = [1 < {2,3} < 4 < {5,6,7} < 8 < 9 <10].
Конкретные кластеризованные ранжировки будем заключать вквадратные скобки. Если для простоты речи термин «кластер» применятьтолько к кластеру не менее чем из 2-х элементов, то можно сказать, что вкластеризованную ранжировку А входят два кластера {2,3} и {5,6,7} и 5 отдельныхэлементов.
Введенная описанным образом кластеризованная ранжировкаявляется бинарным отношением на множестве {1,2,3,...,10}. Его структура такова.Задано отношение эквивалентности с 7-ю классами эквивалентности, а именно,{2,3}, {5,6,7}, а остальные состоят из оставшихся 5 отдельных элементов. Затемвведен строгий линейный порядок между классами эквивалентности.
Введенный математический объект известен в литературе как«ранжировка со связями» (М. Холлендер, Д. Вулф),«упорядочение» (Дж. Кемени, Дж. Снелл), «квазисерия» (Б.Г.Миркин), «совершенный квазипорядок» (Ю.А. Шрейдер [2, с.127, 130]).Учитывая разнобой в терминологии, мы сочли полезным ввести собственный термин«кластеризованная ранжировка», поскольку в нем явным образом названыосновные элементы изучаемого математического объекта — кластеры, рассматриваемыена этапе согласования ранжировок как классы эквивалентности, и ранжировка — строгий совершенный порядок между ними (в терминологии Ю.А. Шрейдера [2, гл.IV]).
Следующее важное понятие — противоречивость. Оноопределяется для четверки — две кластеризованные ранжировки на одном и том женосителе и два различных объекта — элементы того же носителя. При этом дваэлемента из одного кластера будем связывать символом равенства =, какэквивалентные.
Определение 1. Пусть А и В — две кластеризованные ранжировки.Пару объектов (a,b) назовем «противоречивой» относительно А и В, еслиэти два элемента по-разному упорядочены в А и В, т.е. a < b в А и a > b вВ (первый вариант противоречивости) либо a >b в А и a < b в В (второйвариант противоречивости).
Отметим, что в соответствии с этим определением параобъектов (a,b), эквивалентная хотя бы в одной кластеризованной ранжировке, неможет быть противоречивой: эквивалентность a = b не образует«противоречия» ни с a < b, ни с a > b.
Определение 2. Совокупность противоречивых пар объектов длядвух кластеризованных ранжировок А и В назовем «ядром противоречий» иобозначим S(A,B).
В качестве примера рассмотрим две кластеризованныеранжировки
В = [{1,2} < { 3,4, 5} < 6 < 7 < 9 < {8,10}],
C = [3 < {1, 4} < 2 < 6 < {5, 7, 8} < {9,10}].
Для трех кластеризованных ранжировок А, В и С, определенныхна одном и том же носителе {1, 2, 3,..., 10}, имеем
S(A,B) = [(8, 9)], S(A,C) = [(1, 3),(2,4)],
S(B,C) = [(1, 3), (2, 3), (2, 4), (5, 6),(8,9)].
Как при ручном, так и при программном нахождении ядра можнов поисках противоречивых пар просматривать пары (1,2), (1,3), (1.,4),… ., (1,k), затем (2,3), (2,4),..., (2, k), потом (3,4),..., (3, k), и т.д., вплоть до(k-1, k).
Пользуясь понятиями дискретной математики, «ядро противоречий»можно изобразить графом с вершинами в точках носителя. При этом противоречивыепары задают ребра этого графа. Граф для S(A,B) имеет только одно ребро(следовательно, у него одна связная компонента более чем из одной точки), дляS(A,C) — 2 ребра (у этого графа две связные компоненты более чем из однойточки), для S(B,C) — 5 ребер (здесь три связные компоненты более чем из однойточки, а именно, {1, 2, 3, 4}, {5, 6} и {8, 9}).
Каждую кластеризованную ранжировку, как и любое бинарноеотношение, можно задать матрицей || x(a, b) || из 0 и 1 порядка k x k. При этомx(a, b) = 1 тогда и только тогда, когда a < b либо a = b. В первом случаеx(b, a) = 0, а во втором x(b, a) = 1. При этом хотя бы одно из чисел x(a, b) иx(b, a) равно
1. Из определения противоречивости пары (a, b) вытекает, чтодля нахождения всех таких пар достаточно поэлементно перемножить две матрицы||x(a,b) || и ||y(a, b) ||, соответствующие двум кластеризованным ранжировкам,и отобрать те и только те пары, для которых x(a,b) y(a,b) =x(b,a) y(b,a) =0.
Кроме ядер противоречий, представляют интерес пары объектов,эквивалентных во всех исходных кластеризованных ранжировках.
Определение 3. Ядром всеобщей эквивалентности называетсясовокупность пар объектов, в которых оба объекта эквивалентны во всех исходныхкластеризованных ранжировках.
Рассматриваемый алгоритм согласования некоторого числакластеризованных ранжировок состоят из трех этапов.
На первом выделяются противоречивые пары объектов во всехпарах кластеризованных ранжировок и формируются (попарные) ядра противоречий.
На втором формируются кластеры итоговой кластеризованнойранжировки (т.е. классы эквивалентности — связные компоненты графа,соответствующего объединению попарных ядер противоречий и ядра всеобщейэквивалентности).
На третьем этапе эти кластеры (классы эквивалентности)упорядочиваются. Для установления порядка между кластерами произвольновыбирается один объект из первого кластера и второй — из второго, порядок междукластерами устанавливается такой же, какой имеет быть между выбраннымиобъектами в любой из рассматриваемых кластеризованных ранжировок. Отметим, чтов некоторых из исходных кластеризованных ранжировок выбранные объекты могутбыть эквивалентны (т.е. находиться в одном кластере)). В таком случае надорассмотреть упорядоченность этих объектов в какой-либо другой из исходныхкластеризованных ранжировок. Если же они эквивалентны во всех исходныхранжировках, то входят в ядро всеобщей эквивалентности и будут эквивалентны и витоговой кластеризованной ранжировке, что обеспечивается выполнением процедурвторого этапа.
Корректность подобного упорядочивания, т.е. егонезависимость от выбора той или иной пары объектов, вытекает из соответствующихтеорем, доказанных в статье [3].
Определение 4. Результат применения алгоритма согласования ксовокупности исходных кластеризованных ранжировок называется кластеризованнойранжировкой, согласованной с исходными (в другой формулировке — согласующейисходные ранжировки).
Результат согласования кластеризованных ранжировок А, В,С,… обозначим f(А, В, С,. .). Ядра противоречий выписаны выше. Ядро всеобщейэквивалентности возникает лишь при рассмотрении ранжировок А и С. Оно состоитиз пары (5,7), поскольку объекты 5 и 7 (и только они) эквивалентны и в А, и вС. Тогда
f(А, В) = [1<2<3<4<5<6<7<{8, 9}<10],
f(А, С) = [{1,3}<{2, 4}<6<{5,7}<8<9<10],
f(В, С) = [{1,2,3,4}<{5,6}<7<{8,9}<10],
f(А, В, С) = f(В, С) = [{1,2,3,4} <{5,6}<7<{8,9}<10].
В случае f(А, В) дополнительного изучения с цельюупорядочения требуют только объекты 8 и 9. В случае f(В, С) объекты 1,2,3,4объединились в один кластер, т.е. кластеризованные ранжировки оказалисьнастолько противоречивыми, что процедура согласования не позволила провестидостаточно полную декомпозицию задачи нахождения итогового мнения экспертов.
Рассмотрим некоторые свойства алгоритмов согласования.
1. Пусть D = f(А, В, C,. .). Если a<b в согласующейкластеризованной ранжировке D, то a<b или a=b в каждой из исходныхранжировок А, В, C,…
2. Построение согласующих кластеризованных ранжировок можетосуществляться поэтапно. В частности, f(A, B, C) = f(f(A, B),f(A, C), f(B, C)). Ясно, что ядро противоречий для наборакластеризованных ранжировок является объединением таких ядер для всех паррассматриваемых ранжировок, а ядро всеобщей эквивалентности — пересечениемтаких ядер для всех пар рассматриваемых ранжировок.
3. Построение согласующих кластеризованных ранжировокнацелено на выделение общего упорядочения в исходных кластеризованныхранжировках. Однако при этом некоторые общие свойства исходных кластеризованныхранжировок могут теряться. Так, при согласовании ранжировок В и С,рассмотренных выше, противоречия в упорядочении элементов 1 и 2 не было — вранжировке В эти объекты входили в один кластер, т.е.1 = 2, в то время как1<2 в кластеризованной ранжировке С. Значит, при их отдельном рассмотренииможно принять упорядочение 1 < 2. Однако в f(В,C) они попали в один кластер,т.е. возможность их упорядочения исчезла. Это связано с поведением объекта 3, который«перескочил» в С на первое место и «увлек с собой впротиворечие» пару (1, 2), образовав противоречивые пары и с 1, и с
2. Другими словами, связнаякомпонента графа, соответствующего ядру противоречий, сама по себе не всегдаявляется полным графом. Недостающие ребра при этом соответствуют парам типа (1,2), которые сами по себе не являются противоречивыми, но «увлекаются впротиворечие» другими парами.
4. Необходимость согласования кластеризованных ранжировоквозникает, в частности, при разработке методики применения экспертных оценок взадачах экологического страхования и химической безопасности биосферы. Поясним,как возникает эта необходимость. Как уже говорилось, популярным является методупорядочения по средним рангам, в котором итоговая ранжировка строится наоснове средних арифметических рангов, выставленных отдельными экспертами.Однако из теории измерений известно (см. выше главу 3), что более обоснованнымявляется использование не средних арифметических, а медиан. Вместе с тем методсредних рангов весьма известен и широко применяется, так что просто отброситьего нецелесообразно. Поэтому было принято решение об одновременном примененииобеих методов. Реализация этого решения потребовала разработки методикисогласования двух указанных кластеризованных ранжировок.
5. Область применения рассматриваемого метода неограничивается экспертными оценками. Он может быть использован, например, дляпостроения банка знаний с целью использования в задачах экологическогострахования требовалось разработать методику сравнения эконометрических, экономико-математическихмоделей и математических моделей в смежных областях. В частности, для расчетаэкономического ущерба от аварий использовались математические модели процессаиспарения жидкости. Как сравнивать качество таких моделей? Имелись данные экспериментови результаты расчетов по 8 математическим моделям. Сравнивать модели можно поразличным критериям качества. Например, по сумме модулей относительныхотклонений расчетных и экспериментальных значений. Можно и по другому — вкаждой экспериментальной точке упорядочить модели по качеству, а потом получатьединую оценку методами средних рангов и медиан. Использовались и иные методы.Затем применялись методы согласования полученных кластеризованных ранжировок. Врезультате оказалось возможным упорядочить модели по качеству и использоватьэто упорядочение при разработке банка математических моделей, используемого взадачах химической безопасности биосферы.
6. Рассматриваемый метод согласования кластеризованныхранжировок построен в соответствии с методологией теории устойчивости, согласнокоторой результат обработки данных, инвариантный относительно метода обработки,соответствует реальности, а результат расчетов, зависящий от метода обработки,отражает субъективизм исследователя, а не объективные соотношения.
Математические методы анализа экспертных оценокПри анализе мнений экспертов можно применять самыеразнообразные статистические методы, описывать их — значит описывать всюприкладную статистику. Тем не менее можно выделить основные широко используемыев настоящее время методы математической обработки экспертных оценок — этопроверка согласованности мнений экспертов (или классификация экспертов, еслинет согласованности) и усреднение мнений экспертов внутри согласованной группы.
Поскольку ответы экспертов во многих процедурах экспертногоопроса — не числа, а такие объекты нечисловой природы, как градациикачественных признаков, ранжировки, разбиения, результаты парных сравнений,нечеткие предпочтения и т.д., то для их анализа оказываются полезными методыстатистики объектов нечисловой природы.
Почему ответы экспертов часто носят нечисловой характер?Наиболее общий ответ состоит в том, что люди не мыслят числами. В мышлениичеловека используются образы, слова, но не числа. Поэтому требовать от экспертаответ в форме чисел — значит насиловать его разум. Даже в экономикепредприниматели, принимая решения, лишь частично опираются на численныерасчеты. Это видно из условного (т.е. определяемого произвольно принятымисоглашениями, обычно оформленными в виде инструкций) характера балансовойприбыли, амортизационных отчислений и других экономических показателей. Поэтомуфраза типа «фирма стремится к максимизации прибыли» не может иметьстрого определенного смысла. Достаточно спросить: «Максимизация прибыли — за какой период? » И сразу станет ясно, что степень оптимальностипринимаемых решений зависит от горизонта планирования (наэкономико-математическом уровне этот сюжет рассмотрен в монографии [4]).
Эксперт может сравнить два объекта, сказать, какой из двухлучше (метод парных сравнений), дать им оценки типа «хороший»,«приемлемый», «плохой», упорядочить несколько объектов попривлекательности, но обычно не может ответить, во сколько раз или на сколькоодин объект лучше другого. Другими словами, ответы эксперта обычно измерены впорядковой шкале, или являются ранжировками, результатами парных сравнений идругими объектами нечисловой природы, но не числами. Распространенное заблуждениесостоит в том, что ответы экспертов стараются рассматривать как числа, занимаются«оцифровкой» их мнений, приписывая этим мнениям численные значения — баллы, которые потом обрабатывают с помощью методов прикладной статистики какрезультаты обычных физико-технических измерений. В случае произвольности«оцифровки» выводы, полученные в результате обработки данных, могутне иметь отношения к реальности. В связи с «оцифровкой» уместновспомнить классическую притчу о человеке, который ищет потерянные ключи подфонарем, хотя потерял их в кустах. На вопрос, почему он так делает, отвечает:«Под фонарем светлее». Это, конечно, верно. Но, к сожалению, весьма малышансы найти потерянные ключи под фонарем. Так и с «оцифровкой»нечисловых данных. Она дает возможность имитации научной деятельности, но невозможность найти истину.
Проверка согласованности мнений экспертов и классификацияэкспертных мнений. Ясно, что мнения разных экспертов различаются. Важно понять,насколько велико это различие. Если мало — усреднение мнений экспертов позволитвыделить то общее, что есть у всех экспертов, отбросив случайные отклонения вту или иную сторону. Если велико — усреднение является чисто формальнойпроцедурой. Так, если представить себе, что ответы экспертов равномернопокрывают поверхность бублика, то формальное усреднение укажет на центр дыркиот бублика, а такого мнения не придерживается ни один эксперт. Из сказанногоясна важность проблемы проверки согласованности мнений экспертов.
Разработан ряд методов такой проверки. Статистические методыпроверки согласованности зависят от математической природы ответов экспертов.Соответствующие статистические теории весьма трудны, если эти ответы — ранжировки или разбиения, и достаточно просты, если ответы — результатынезависимых парных сравнений. Отсюда вытекает рекомендация по организацииэкспертного опроса: не старайтесь сразу получить от эксперта ранжировку илиразбиение, ему трудно это сделать, да и имеющиеся математические методы непозволяют далеко продвинуться в анализе подобных данных. Например, рекомендуютпроверять согласованность ранжировок с помощью коэффициента ранговойконкордации Кендалла-Смита. Но давайте вспомним, какая статистическая модельпри этом используется. Проверяется нулевая гипотеза, согласно которой ранжировкинезависимы и равномерно распределены на множестве всех ранжировок. Если эта гипотезапринимается, то конечно, ни о какой согласованности мнений экспертов говоритьнельзя. А если отклоняется? Тоже нельзя. Например, может быть два (или больше)центра, около которых группируются ответы экспертов. Нулевая гипотезаотклоняется. Но разве можно говорить о согласованности?
Эксперту гораздо легче на каждом шагу сравнивать только дваобъекта. Пусть он занимается парными сравнениями. Непараметрическая теорияпарных сравнений (теория люсианов) позволяет решать более сложные задачи, чемстатистика ранжировок или разбиений. В частности, вместо гипотезы равномерногораспределения можно рассматривать гипотезу однородности, т.е. вместо совпадениявсех распределений с одним фиксированным (равномерным) можно проверять лишь совпадениераспределений мнений экспертов между собой, что естественно трактовать каксогласованность их мнений. Таким образом, удается избавиться от неестественногопредположения равномерности.
При отсутствии согласованности экспертов естественно разбитьих на группы сходных по мнению. Это можно сделать различными методамистатистики объектов нечисловой природы, относящимися к кластер-анализу,предварительно введя метрику в пространство мнений экспертов. Идеяамериканского математика Джона Кемени об аксиоматическом введении метрик (см.ниже) нашла многочисленных продолжателей. Однако методы кластер-анализа обычноявляются эвристическими. В частности, невозможно с позиций статистическойтеории обосновать «законность» объединения двух кластеров в один.Имеется важное исключение — для независимых парных сравнений (люсианов) разработаныметоды, позволяющие проверять возможность объединения кластеров как статистическуюгипотезу. Это — еще один аргумент за то, чтобы рассматривать теорию люсиановкак ядро математических методов экспертных оценок.
Нахождение итогового мнения комиссии экспертов. Пусть мнениякомиссии экспертов или какой-то ее части признаны согласованными. Каково жеитоговое (среднее, общее) мнение комиссии? Согласно идее Джона Кемени следуетнайти среднее мнение как решение оптимизационной задачи. А именно, надоминимизировать суммарное расстояние от кандидата в средние до мнений экспертов.Найденное таким способом среднее мнение называют «медианой Кемени».
Математическая сложность состоит в том, что мнения экспертовлежат в некотором пространстве объектов нечисловой природы. Общая теорияподобного усреднения рассмотрена выше. В частности, показано, что в силуобобщения закона больших чисел среднее мнение при увеличении числа экспертов(чьи мнения независимы и одинаково распределены) приближается к некоторомупределу, который естественно назвать математическим ожиданием (случайногоэлемента, имеющего то же распределение, что и ответы экспертов).
В конкретных пространствах нечисловых мнений экспертов вычислениемедианы Кемени может быть достаточно сложным делом. Кроме свойств пространства,велика роль конкретных метрик. Так, в пространстве ранжировок при использованииметрики, связанной с коэффициентом ранговой корреляции Кендалла, необходимопроводить достаточно сложные расчеты, в то время как применение показателяразличия на основе коэффициента ранговой корреляции Спирмена приводит купорядочению по средним рангам.
Бинарные отношения и расстояние Кемени. Как известно,бинарное отношение А на конечном множестве Q = {q1, q2,..., qk } — этоподмножество декартова квадрата Q2 = { (qm, qn), m,n = 1,2,…,k }. При этом пара(qm, qn) входит в А тогда и только тогда, когда между qm и qn имеетсярассматриваемое отношение.
Каждую кластеризованную ранжировку, как и любое бинарноеотношение, можно задать матрицей || x(a, b) || из 0 и 1 порядка k x k. При этомx(a, b) = 1 тогда и только тогда, когда a < b либо a = b. В первом случаеx(b, a) = 0, а во втором x(b, a) = 1. При этом хотя бы одно из чисел x(a, b) иx(b, a) равно 1.
Как использовать связь между ранжировками и матрицами?Например, из определения противоречивости пары (a, b) вытекает, что длянахождения всех таких пар можно воспользоваться матрицами, соответствующимиранжировкам. Достаточно поэлементно перемножить две матрицы ||x(a,b) || и||y(a, b) ||, соответствующие двум кластеризованным ранжировкам, и отобрать теи только те пары, для которых x(a,b) y(a,b) =x(b,a) y(b,a) =0.
В экспертных методах используют, в частности, такие бинарныеотношения, как ранжировки (упорядочения, или разбиения на группы, междукоторыми имеется строгий порядок), отношения эквивалентности, толерантности(отношения сходства). Как следует из сказанного выше, каждое бинарное отношениеА можно описать матрицей || a(i,j) || из 0 и 1, причем a(i,j) = 1 тогда итолько тогда, когда qi и qj находятся в отношении А, и a(i,j) = 0 в противномслучае.
Определение. Расстоянием Кемени между бинарными отношениямиА и В, описываемыми матрицами || a(i,j) || и || b(i,j) || соответственно,называется число
D (A, B) = />│a(i,j) — b(i,j) │,
где суммирование производится по всем i,j от 1 до k, т.е.расстояние Кемени между бинарными отношениями равно сумме модулей разностейэлементов, стоящих на одних и тех же местах в соответствующих им матрицах.
Легко видеть, что расстояние Кемени — это числонесовпадающих элементов в матрицах || a(i,j) || и || b(i,j) ||.
Расстояние Кемени основано на некоторой системе аксиом. Этасистема аксиом и вывод из нее формулы для расстояния Кемени междуупорядочениями содержится в книге [5], которая сыграла большую роль в развитиив нашей стране такого научного направления, как анализ нечисловой информации. Вдальнейшем под влиянием Дж. Кемени были предложены различные системы аксиом дляполучения расстояний в тех или иных используемых в социально-экономическихисследованиях пространствах, например, в пространствах множеств [4].
Медиана Кемени и законы больших чисел. С помощью расстоянияКемени находят итоговое мнение комиссии экспертов. Пусть А1, А2, А3,…, Ар — ответы р экспертов, представленные в виде бинарных отношений. Для их усредненияиспользуют т. н. медиану Кемени
Arg min />D (Ai,A),
где Arg min — то или те значения А, при которых достигаетминимума указанная сумма расстояний Кемени от ответов экспертов до текущейпеременной А, по которой и проводится минимизация. Таким образом,
/>D (Ai,A) = D (A1,A) + D (A2,A) + D(A3,A) +…+ D (Aр,A).
Кроме медианы Кемени, используют среднее по Кемени, вкотором вместо D (Ai,A) стоит D2 (Ai,A).
Медиана Кемени — частный случай определения эмпирическогосреднего в пространствах нечисловой природы. Для нее справедлив закон большихчисел, т.е. эмпирическое среднее приближается при росте числа составляющих(т.е. р — числа слагаемых в сумме), к теоретическому среднему:
Arg min />D (Ai,A) />Arg min МD (A1, A).
Здесь М — символ математического ожидания. Предполагается,что ответы р экспертов А1, А2, А3,…, А р есть основания рассматривать какнезависимые одинаково распределенные случайные элементы (т.е. как случайнуювыборку) в соответствующем пространстве произвольной природы, например, впространстве упорядочений или отношений эквивалентности. Систематическиэмпирические и теоретические средние и соответствующие законы больших чиселрассмотрены в соответствующей главе настоящей книги.
Законы больших чисел показывают, во-первых, что медианаКемени обладает устойчивостью по отношению к незначительному изменению составаэкспертной комиссии; во-вторых, при увеличении числа экспертов она приближаетсяк некоторому пределу. Его естественно рассматривать как истинное мнение экспертов,от которого каждый из них несколько отклонялся по случайным причинам.
Рассматриваемый здесь закон больших чисел являетсяобобщением известного в статистике «классического» закона большихчисел. Он основан на иной математической базе — теории оптимизации, в то времякак «классический» закон больших чисел использует суммирование.Упорядочения и другие бинарные отношения нельзя складывать, поэтому приходитсяприменять иную математику. Рассмотрим пример вычисления медианы Кемени.
Пример. Пусть дана квадратная матрица (порядка 9) попарныхрасстояний для множества бинарных отношений из 9 элементов А1, А2, А3,..., А9(см. табл.3). Необходимо найти в этом множестве медиану для множества из 5элементов {А2, А4, А5, А8, А9}.
Табл.3. Матрица попарных расстояний
2 13 1 7 4 10 3 11 2 5 6 1 3 2 5 1 13 5 2 2 7 6 5 7 1 6 2 5 4 3 8 8 7 1 2 5 10 1 3 7 4 3 7 4 10 2 1 5 10 2 6 3 1 2 6 3 3 5 5 8 3 1 6 9 11 1 7 8 7 5 3 9В соответствии с определением медианы Кемени следует ввестив рассмотрение функцию
С(А) = ∑D(Ai,A) = D(A2,A) +D(A4,A) +D(A5,A) +D(A8,A) +D(A9,A),
рассчитать ее значения для всех А1, А2, А3,..., А9 и выбратьнаименьшее. Проведем расчеты:
С(А1) = D (A2,A1) +D (A4,A1) + D (A5,A1) +D (A8,A1) + D (A9,A1) =
= 2 + 1 +7 +3 +11 = 24,
С(А2) = D (A2,A2) +D (A4,A2) + D (A5,A2) +D (A8,A2) + D (A9,A2) =
= 0 + 6 + 1 + 5 + 1 = 13,
С(А3) = D (A2,A3) +D (A4,A3) + D (A5,A3) +D (A8,A3) + D (A9,A3) =
= 5 + 2 + 2 + 5 +7 = 21,
С(А4) = D (A2,A4) +D (A4,A4) + D (A5,A4) +D (A8,A4) + D (A9,A4) =
= 6 + 0 + 5 + 8 + 8 = 27,
С(А5) = D (A2,A5) +D (A4,A5) + D (A5,A5) +D (A8,A5) + D (A9,A5) =
= 1 + 5 + 0 +3 + 7 = 16,
С(А6) = D (A2,A6) +D (A4,A6) + D (A5,A6) +D (A8,A6) + D (A9,A6) =
= 3 + 4 + 10 + 1 + 5 = 23,
С(А7) = D (A2,A7) +D (A4,A7) + D (A5,A7) +D (A8,A7) + D (A9,A7) =
= 2 + 3 +1 + 6 + 3 = 15,
С(А8) = D (A2,A8) +D (A4,A8) + D (A5,A8) +D (A8,A8) + D (A9,A8) =
= 5 + 8 + 3 + 0 +9 = 25,
С(А9) = D (A2,A9) +D (A4,A9) + D (A5,A9) +D (A8,A9) + D (A9,A9) =
= 1 + 8 + 7 + 9 + 0 = 25.
Из всех вычисленных сумм наименьшая равна 13, и достигаетсяона при А = А2, следовательно, медиана Кемени — это А2.
Обратим внимание на то, что минимум может достигаться не водной точке, а в нескольких. Поэтому медиана Кемени — это, вообще говоря, неэлемент соответствующего пространства, а его подмножество. Поэтому болееправильно сказать, что данных табл.3 медиана Кемени — это множество {А2},состоящее из одного элемента А2, т.е. в условиях примера
Arg min />D (Ai,A) = {А2}.
В общем случае вычисление медианы Кемени — задачацелочисленного программирования. В частности, для ее нахождения используетсяразличные алгоритмы дискретной оптимизации, в частности, основанные на методеветвей и границ. Применяют также алгоритмы, основанные на идее случайногопоиска, поскольку для каждого бинарного отношения нетрудно найти множество егососедей.
Разработано весьма много различных методов экспертногооценивания (см., например, обзор []).
Литература
1. Большев Л.Н., Смирнов Н.В. Таблицы математическойстатистики. — М.: Наука, 1983. — 416 с.
2. Шрейдер Ю.А. Равенство, сходство, порядок. М.: Наука,1971.
3. Горский В.Г., Орлов А.И., Гриценко А.А. Методсогласования кластеризованных ранжировок // Автоматика и телемеханика. 2000.№3. С.159-167.
4. Орлов А.И. Устойчивость в социально-экономическихмоделях. — М.: Наука, 1979. — 296 с.
5. Кемени Дж., Снелл Дж. Кибернетическое моделирование:Некоторые приложения. — М.: Советское радио, 1972. — 192 с.
6. Орлов А.И. Экспертные оценки // Заводская лаборатория.1996. Т.62. № 1. С.54-60.