На данный момент метод экспертных оценок используется во многих областях для решения важных проблем различного характера, в ситуациях, когда выбор, обоснование и последствия решений не могут быть реализованы детерминированным способом.
Экспертная оценка заключается в проведении экспертами анализа поставленной задачи с использованием количественных оценок суждений и дальнейшей обработкой полученных данных. Решением задачи является полученное обобщенное мнение всех экспертов. Эффективность решения обеспечивается за счет использования неосознанного мышления экспертов, а также логического мышления и количественных оценок.
Экспертные оценки характеризуются научным обоснованием процесса проведения экспертизы, а также использованием количественных методов при организации экспертизы и при оценке суждений каждого из экспертов.
Однако экспертные оценки зачастую могут не совпадать друг с другом. В таком случае применяются методы согласования экспертных оценок. Это математические методы, позволяющие преобразовать формализованные и/или числовые оценки экспертов в итоговое решение задачи.
Несмотря на разнообразие методов согласования экспертных оценок, каждый из них имеет весомые недостатки, а также ограниченную область применимости и существенные ограничения для реализации экспертизы. Например, средневероятностный метод не может быть использован для решения задач на поиск оптимального решения, а метод «дельфи» требует большого количества независимых экспертов. Метод же ранговой корреляции хоть частично и нивелирует недостатки средневероятностного метода, но практически не применим к задачам, не использующим числовые оценки.
Средневероятностный метод согласования экспертных оценок
Данный метод основан на получении среднего или средневзвешенного значения вероятностей по формулам:
.gif)
где
n– число участвующих экспертов,
ki– вес оценки соответствующего эксперта (при наличии)
Подобные методы являются самыми простыми и широко используются в различных областях. Однако средневероятностные методы имеют ряд недостатков, среди которых:
- Зависимость от числа экспертов – чем больше экспертов, тем выше будет точность итогового решения.
- Зависимость от разности оценок экспертов – чем больший разброс в оценках экспертов, тем менее точным будет итоговое решение.
- Применим только к атомарным числовым оценкам.
Метод ранговой корреляции экспертных оценок
Метод ранговой корреляции используется при решении задач, которые не допускают использования простого усреднения значений по различным причинам.
Допустим, для экспертизы привлечена группа экспертов с одинаково высоким уровнем компетентности в данной предметной области. Задача экспертов – задать числовое значение каждой из целей, соответствующее ее важности (по мнению эксперта). Затем считается сумма рангов по каждой цели и назначается суммарный ранг – итоговое значение ранга цели. В случае равенства сумм рангов, в качестве суммарного ранга выступает среднее арифметическое значение.
Использование метода ранговой корреляции оправдано, если необходимо дать ответ на вопрос: насколько коррелированны (неслучайны) ранжировки каждого из экспертов? Обычной практикой в данном случае является выдвижение гипотезы об отсутствии связи между ранжировками [экспертов]. Вероятность справедливости подобной гипотезы вычисляется с помощью методов Спирмэна.
Метод Спирмэна является самым простым методом для подтверждения данной гипотезы. Для его использования вычисляется коэффициент Спирмэна по следующей формуле:
где
n – количество объектов в каждой ранжировке
di – разности рангов первой и второй ранжировок, содержащих по nобъектов в каждой
Чем ближе коэффициент Спирмэна к нулю – тем меньше вероятность зависимости ранжировок между собой, и наоборот, чем ближе данный коэффициент к единице – тем выше вероятность такой зависимости.
Недостатками метода ранговой корреляции являются:
- Сложности в организации экспертизы – декомпозиция задачи, ранжирование каждой из частей задачи.
- Слабо применим для задач, которые нельзя подвергнуть декомпозиции
- Слабо применим к задачам, экспертиза которых подразумевает нечисловые оценки.
Метод «Дельфи»
Данный метод является одним из самых известных методов, так как может применяться для решения широкого круга задач, как личных, так и рабочих. «Дельфи» подразумевает экспертную оценку, однако ключевым отличие от рассмотренных методов является анонимность и заочность такой оценки. Также процесс оценивания состоит из нескольких уровней и нескольких видов экспертизы – мозговой штурм, опрос, интервью и т. д. Эксперты в группе не должны быть знакомы друг с другом.
Для экспертной оценки методом «Дельфи» привлекаются две группы: независимые эксперты и аналитики.
Метод всегда состоит из трех этапов:
- Подготовительный этап
- Набор экспертов
- Формулировка проблемы
- Донесение основного смысла проблемы до всех участников
- Основной этап
- Озвучивание проблемы
- Создание первого опросника по проблеме
- Отбор самых популярных вопросов
- Создание нового опросника
- Отправка нового опросника
- Экспертная оценка в соответствии с опросником
- Изменение опросника при необходимости
- Ответы на итоговый опросник
- Развернутый ответ на каждый вопрос
- Комментарии ответов других участников
- Сбор похожих мнений, объединение в общий тезис
- Озвучивание проблемы
- Итоговый этап
У метода есть ряд недостатков. Помимо очевидной сложности сбора большого количества экспертов и времени, которое необходимо для реализации «Дельфи», присутствует также фактор исключения нестандартных решений, которые могут оказаться в итоге верными, но до финального этапа не «доживут». Также не стоит забывать, что общественное мнение не всегда является верным. Организаторы же данной экспертизы имеют большое влияние на участников ввиду того, что постановка проблемы и создание базового списка вопросов – их задача.
 |
Средне-вероятностный метод
|
Метод ранговой корреляции
|
Метод «Дельфи»
|
| Зависимость от кол-ва экспертов | Средняя (чем больше экспертов – тем точнее итоговая оценка) | Низкая (минимум 2 эксперта) | Высокая (необходимо минимум 5-7 экспертов, оптимально – 20) |
| Применимость при большом разбросе оценок | Средняя (при большом количестве экспертов) Низкая (при малом количестве экспертов) |
Высокая (при большом количестве экспертов) Средняя (при малом количестве экспертов) |
Низкая, при диаметрально противоположных оценках решение может быть не найдено |
| Применимость при простых числовых оценках | Высокая | Высокая | Средняя |
| Области применения | Задачи с числовыми оценками, ориентированные на быстрое получение результата | Преимущественно сложные составные задачи с числовыми оценками | Сложные описательные задачи Слабо формализованные задачи на принятие решений |
| Уровень сложности организации экспертизы | Низкий | Средний | Высокий |
Метод согласования экспертных оценок с применением ANFIS-сетей
Так как ни один из рассмотренных методов не удовлетворяет полностью или частично всем перечисленным в таблице критериям, становится очевидной необходимость в разработке подобного метода согласования экспертных оценок. Далее будет рассмотрен метод экспертных оценок с использованием ANFIS-сетей.
ANFIS-сети представляют собой нейронную сеть в одним выходом и несколькими входами. Входами сети являются лингвистические нечеткие переменные. Термы входных переменных определяются стандартными для нечетких множеств функциями принадлежности, которые могут быть линейными или постоянными.
ANFIS-сети могут использовать одну из двух основных топологий:
- Гибридная
Классическая версия сети, отличается входными нечеткими переменными, а также блоком дефаззификации перед выходным слоем - Совмещенная
Данная версия сети представляет собой нейронную сеть и блок нечеткого вывода. В этом случае все нечеткие переменные преобразуются в данные для нейронной сети, которые в дальнейшем подвергаются анализу с помощью классической НС.
Системы нейро-нечеткого вывода Сугено могут быть использованы для согласования экспертных оценок при малом количестве экспертов (например, при согласовании оценок экспертов ЕГЭ).
В случае с оцениванием заданий ЕГЭ из части C, общая структурная схема согласования с использованием ANFIS-сети может иметь следующий вид (рис. 1):
В качестве входных переменных могут быть использованы лингвистические термы, отражающие степень выполнения задания части C, а также общий уровень знаний тестируемого, основанный на результатах решения тестовой части по соответствующей теме.
Ограничивающими постусловиями для сети могут выступать наибольшая и наименьшая оценки экспертов. При использовании данного метода в условиях, когда количество экспертов больше двух – все экспертные оценки, кроме крайних могут быть использованы в качестве входных переменных для сети.
Данный метод лишен большинства недостатков методов, проанализированных выше:
- Низкая зависимость от количества экспертов.
- Применим при большом разбросе оценок.
- Сравнительно невысокая сложность организации экспертизы.
- Применим к различным областям тестирований.
Библиографический список
- Борисов В.В., Федулов А.С., Зернов М.М. Основы гибридизации нечетких моделей. — М.: Горячая Линия – Телеком, 2017. — 100 с.
- Горбаченко В. И.Интеллектуальные системы: нечеткие системы и сети – М.:Юрайт, 2019. – 105 c.
- Орлов А. И. Экспертные оценки – М., 2002. – 31 с.
- Гуцыкова С. В. Метод экспертных оценок. Теория и практика. – Пер. с англ. – М.: Институт психологии РАН, 2011. – 144 с.
Количество просмотров публикации: Please wait