Реферат: Современный этап развития теории экспертных оценок
6) формирование экспертной комиссии (целесообразно заключение договоров с экспертами об условиях их работы и ее оплаты, утверждение ЛПР состава экспертной комиссии);
7) проведение сбора экспертной информации;
8) анализ экспертной информации;
9) при наличии нескольких туров - повторение двух предыдущих этапов;
10) интерпретация полученных результатов и подготовка заключения для ЛПР;
11) официальное окончание деятельности РГ.
Подбор экспертов
Проблема подбора экспертов является одной из наиболее сложных. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем возвращаться к обсуждению проблемы существования различных "партий" среди экспертов (см. выше) и обратим внимание на различные иные стороны подбора экспертов.
Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии.
При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.
Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций...), очевидно, может носить вспомогательный характер. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов.
В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества. Один "говорун" может парализовать деятельность всей комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.
Есть полезный метод "снежного кома" [1], при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Ясно, что если на первом этапе все эксперты были из одного "клана", то и метод "снежного кома" даст, скорее всего, лиц из этого "клана", мнения и аргументы других "кланов" будут упущены.
Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу.
Математические модели поведения экспертов
Теория и практика экспертных оценок весьма математизированы.
Можно выделить две взаимосвязанные ветви - математические модели поведения экспертов и математико-статистические методы анализа экспертных оценок.
Модели поведения экспертов обычно основаны на предположении, что эксперты оценивают интересующий ЛПР параметр (например, ранжировку образцов изделий по конкурентоспособности) с некоторыми ошибками, т.е. эксперта рассматривают как особого рода прибор с присущими ему метрологическими характеристиками. Оценки группы экспертов рассматривают как совокупность независимых одинаково распределенных случайных величин со значениями в соответствующем пространстве объектов числовой или нечисловой природы. Обычно предполагается, что эксперт чаще выбирает правильное решение (т.е. адекватное реальности), чем неправильное. В математических моделях это выражается в том, что плотность распределения случайной величины - ответа эксперта монотонно убывает с увеличением расстояния от центра распределения - истинного значения параметра. Различные варианты моделей поведения экспертов описаны и изучены в [9,12,18, 26,27,37,38] и других публикациях.
На математических моделях поведения экспертов основаны методы планирования экспертного опроса, сбора и анализа ответов экспертов. Очевидно, чем больше предположений заложено в модель, тем больше выводов можно сделать на основе экспертных оценок, рассматриваемых как статистические данные - и тем менее обоснованными являются эти выводы, если нет оснований для принятия используемой модели. Рассмотрим триаду моделей поведения экспертов:
Параметрическая модель - непараметрическая модель - модель анализа данных.
Параметрическим моделям соответствуют наиболее сильные предположения, проверить которые обычно не удается. Так, следует обратить внимание на то, что обычно невозможно обосновать нормальность распределения ответов экспертов. Причины отсутствия нормальности в реальных данных, частным случаем которых являются экспертные оценки, подробно рассмотрены в [39]. Дополнительным фактором является ограниченность числа экспертов - обычно не более 10 - 30, что делает невозможным надежную проверку нормальности даже с помощью такого эффективного по отношению к обычно встречающимся альтернативам критерия, как критерий Шапиро-Уилка.
В начале семидесятых годов был проведен обширный эксперимент (на стыке с психофизиологией) по изучению поведения экспертов. Каждому из них было предъявлено пять образцов. Эксперты рассматривались как "приборы", которые сравнивали образцы по весу. Оказалось, что ответы экспертов одинаково хорошо соответствуют как модели Терстоуна, так и модели Бредли-Терри-Льюса [9]. А ведь эти модели принципиально различны, выводы на их основе существенно отличаются!
На наш взгляд, сказанного достаточно, чтобы относиться с сомнением к обоснованности применения параметрических моделей экспертных оценок.
Непараметрические модели экспертных оценок опираются лишь на предположения общего характера о возможности вероятностно-статистического описания поведения экспертов с помощью непрерывных функций распрекделения или люсианов, параметрами для которых служат нечеткие множества - вектор вероятностей ответов "да". Поэтому во многих ситуациях такие модели представляются адекватными.
Под моделями анализа данных понимаем здесь модели, не использующие вероятностные соображения. Очевидно, они наиболее адекватны и защищены от критики, поскольку не претендуют на выход на пределы имеющихся данных, не предполагают построения и обоснования какой-либо вероятностно-статистической модели реального явления или процесса. Однако с их помощью, очевидно, нельзя сделать никаких заключений о будущих аналогичных ситуациях. А ведь экспертные опросы проводятся ради обоснования поведения в будущем! Другими словами, методы и модели анализа данных - наиболее обоснованные и наиболее бесполезные.
Итак, без вероятностных моделей не обойтись. Поскольку параметрические модели обычно невозможно обосновать, остается использовать непараметрические.
Математические методы анализа экспертных оценок
При анализе мнений экспертов можно применять самые разнообразные статистические методы, описывать их - значит описывать всю прикладную статистику (по нашей оценке, к прикладной статистике относится не менее 1 000 000 статей и книг, а из них не менее 100 000 являются актуальными в настоящее время). В этом утверждении нет ничего нового: поскольку одно из научных направлений желает рассматривать эксперта как прибор, измеряющий интересующий ЛПР параметр - номер лучшего по конкурентоспособности изделия, ранжировку проектов и т.д. - то и экспертные оценки оно сопоставляет с результатами измерений - традиционным видом данных, обрабатываемых с помощью методов прикладной статистики.
Тем не менее можно выделить основные широко используемые в настоящее время методы математической обработки экспертных оценок - это проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности) и усреднение мнений экспертов внутри согласованной группы.
Поскольку ответы экспертов во многих процедурах экспертного опроса - не числа, а такие объекты нечисловой природы, как градации качественных признаков, ранжировки, разбиения, результаты парных сравнений, нечеткие предпочтения и т.д., то для их анализа оказываются полезными методы статистики объектов нечисловой природы (см., например, [18,22,23,38,40-42]).
Почему ответы экспертов носят нечисловой характер? Наиболее общий ответ состоит в том, что люди не мыслят числами. В мышлении человека используются образы, слова, но не числа. Поэтому требовать от эксперта ответа в форме числа - значит насиловать его разум. Даже в экономике предприниматели, принимая решения, лишь частично опираются на численные расчеты. Это видно из условного (т.е.определяемого произвольно принятыми соглашениями) характера балансовой прибыли, амортизационных отчислений и других экономических показателей [43]. Поэтому фраза типа "фирма стремится к максимизации прибыли" не может иметь строго определенного смысла. Достаточно спросить: "Максимизация прибыли - за какой период?"
Эксперт может сравнить два объекта, дать им оценки типа "хороший", "приемлемый", "плохой", упорядочить несколько объектов по привлекательности, но обычно не может сказать, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Распространенное заблуждение состоит в том, что ответы экспертов стараются рассматривать как числа, занимаются "оцифровкой" их мнений, приписывая этим мнениям численные значения - баллы, которые потом обрабатывают с помощью методов прикладной статистики как результаты обычных физических измерений. В случае произвольности оцифровки выводы, полученные в результате обработки данных, могут не иметь отношения к реальности. В [22,38] это утверждение продемонстрировано на примере неадекватного данным усреднения отношения школьников к профессиям: десяти градациям были произвольно приписаны баллы 1,2,3,...,10. Столь же естественно было бы использовать баллы 1,4,9,...,100 или (-50),(-30),(-5),..., 17, т.е. произвольные десять числовых значений, расположенных в порядке возрастания. С позиций репрезентативной теории измерений [22,23] следует применять алгоритмы анализа данных, результаты работы которых не меняются при допустимом преобразовании шкалы.
Настоящая глава раздела отчета соответствует другой парадигме по сравнению с многими публикациями по вопросам статистики объектов нечисловой природы, например, статьями [40-42]. Здесь мы рассматриваем конкретную научно-практическую дисциплину, в которой постоянно используются методы статистического анализа нечисловых данных, в то время как работы [40-42] посвящены одному из разделов прикладной математической статистики. Другими словами, настоящая глава раздела отчета написана с позиций специалиста по экспертным оценкам, а статьи [40-42] - с позиций специалста по статистическим методам.