При совершенствовании промышленного предприятия в соответствии с правилами процессного подхода  необходимо оценить будет ли выполнение разработанных бизнес-процессов предприятия (модель «как должно быть») эффективнее существовавших на момент обследования бизнес-процессов (модель «как есть»). При совершенствовании какого-либо бизнес-процесса, возможна разработка нескольких вариантов технологий его выполнения. Эти варианты иллюстрируют различные пути развития предприятия в зависимости от имеющихся ресурсов. Необходимо оценить и выбрать наиболее эффективную технологию выполнения бизнес-процесса из разработанных вариантов.

Сформулируем постановку задачи. Пусть существует бизнес-процесс  P_i, i = 1,…,n где   n – количество рассматриваемых бизнес-процессов. Каждый бизнес-процесс может выполняться по определенной технологии T_i. Может быть выработано несколько решений этой технологии, тогда имеем, например,   T_i¹,  T_i²,  T_i³ и т.д. На основе критериев эффективности необходимо оценить, действительно ли T_i¹,  T_i²,  T_i³ и т.д. эффективнее по сравнению с существовавшей технологией бизнес-процессов  T_i .

Оценка эффективности бизнес-процессов на основе метода анализа иерархий Саати. Известно, что собрать и рассчитать количественных характеристики бизнес-процессов сложно, учитывая специфику промышленного предприятия, предлагается рассчитывать их на основе экспертных оценок специалистов предприятия [5]. Для того чтобы получить сравнительную оценку критериев эффективности выполнения по какому-либо бизнес-процессу, лучше всего использовать известный метод анализа иерархий (Analytic Hierarchy Process), разработанный Т. Саати [6]. Метод позволяет осуществить сравнительную оценку бизнес-процессов по критериям, которые предварительно ранжируются по важности и влияют на получение итогового числового значения эффективности по сравниваемым бизнес-процессам. Суть метода можно кратко сформулировать в виде следующих этапов:

- задача формулируется в виде иерархической структуры с несколькими уровнями: цели – критерии – альтернативы;

- эксперт выполняет парные сравнения элементов каждого уровня, результаты которых переводятся в числа при помощи шкалы относительной важности;

- рассчитываются коэффициенты веса для элементов каждого уровня и проверяется согласованность суждений экспертов;

- рассчитывается значение показателя качества каждой альтернативы и определяется наилучшая из них.

На первом уровне иерархии формируется исходное множество критериев эффективности бизнес-процессов и определяются их веса экспертным методом.

На следующем уровне иерархии сопоставляются отобранные альтернативы технологий бизнес-процесса по каждому качественному критерию эффективности отдельно в виде матрицы сравнения. Определяется важность каждого k-го бизнес-процесса по каждому i-му критерию эффективности, принадлежащему множеству Ω, в виде числа предпочтений  непосредственным оцениванием альтернатив с использованием вербальной шкалы относительной важности, например, при равной важности альтернатив – число предпочтений равно 1. при умеренном превосходстве альтернатив – 3, при сильном превосходстве – 5, при значительном превосходстве – 7 и т.д.. Более предпочтительному варианту изделия присваивается более высокий балл. Окончательно число предпочтений каждой k-й альтернативы бизнес-процесса по i-му критерию с учётом количества экспертов, принявших участие в опросе, определяется по формуле

,

где  – собственный вектор числа предпочтений k-й альтернативы бизнес-процесса по j-му эксперту, – количественное значение предпочтений при непосредственной оценке -й альтернативы бизнес-процесса; k – число альтернатив бизнес-процесса; c – число экспертов.

На последнем уровне иерархической схемы выбирается наилучший бизнес-процесс по комплексному критерию эффективности его технологии исходя из расчёта по формуле

,

где b_i – коэффициент весомости  i-го критерия эффективности бизнес-процесса, определяемый по показаниям экспертов; – экспертная оценка важности k-й альтернативы бизнес-процесса по i-му критерию в виде числа предпочтений; n’– количество критериев в окончательно сформированном множестве Ω.

Из имеющегося множества бизнес-процессов наилучшим по эффективности признается тот, который имеет наибольшую величину комплексного показателя T_k.

Для выявления несогласованности численных суждений эксперта, нарушений свойства транзитивности необходим подсчёт индекса согласованности парных сравнений по заполненным матрицам. В матрице парных сравнений суммируются элементы каждого столбца. Эта сумма умножается на соответствующие нормализованные компоненты вектора весов. Результаты суммируются, получают некоторое значение λ_max.

Затем определяют индекс согласованности в виде:

,

где n – число сравниваемых элементов (размер матрицы).

Подсчитывается среднее значение индекса согласованности R для косометричных матриц, заполненных случайным образом (например, для матрицы размера n=7 индекс R=1,32). Вычисляется отношение согласованности по формуле

.

Величина D не должна превышать значение 0,1, иначе следует провести повторную экспертизу.

Достоверность метода увеличивается за счёт привлечения к экспертизе для коллективной оценки ТК группы высококвалифицированных специалистов, отбор которых можно осуществлять по методу, предложенному в [7]. Обработка результатов коллективной экспертизы с обобщением и оценкой согласованности мнений экспертов проводится по известным методикам групповых оценок.

Заключение. Предлагаемый метод можно использовать на промышленных предприятиях для анализа эффективности бизнес-процессов. В частности, в качестве групп критериев можно рекомендовать следующие:

- совершенствование технологии выполнения бизнес-процессов разработки новых изделий;

- сохранение и накопление знаний о проектных решениях, полученных при проектировании изделия;

- совершенствование технологии бизнес-процессов управления, контроля и координации;

- охват задач разработки  и управления современными информационными технологиями и системами.

Например, стадии и этапы жизненного цикла инновационного продукта характеризуются следующим образом:

I. Стадия исследований и разработок (создание инновации) - жизнь нововведения начинается в идеях, замыслах и разработках. На этой стадии проводятся фундаментальные исследования в академических институтах, ВУЗах, лабораториях (этап 1), финансирование которых осуществляется из государственного бюджета на безвозвратной основе.

В научных институтах проводятся исследования прикладного характера (этап 2), которые финансируются как за счет бюджета, так и за счет заказчиков. Поскольку результат прикладных исследований далеко не всегда предсказуем и сопряжен с большой долей неопределенности, на этом этапе и далее велика вероятность получения отрицательного (тупикового) результата, то есть возникает риск потери вложенных средств. Поэтому инвестиции в инновации носят рисковый характер и называются рискоинвестициями. На этапе 3 осуществляются опытно-конструкторские и экспериментальные разработки (в КБ, в специализированных лабораториях, опытных производствах и научно-производственных подразделениях предприятий). Источники финансирования – те же, что и на 2-ом этапе, а также собственные средства. На стадии I имеются только затраты и предполагаются будущие доходы [1].

II. Стадия внедрения – это решающий момент в жизненном цикле инновации, так как на данной стадии необходимо создать рынок для нового продукта. Происходит изготовление головного образца и организация производства опытных партий. В силу того, что новая технология требует доработки, а также из-за больших расходов на маркетинг, затраты растут, достигая своего максимума. Здесь начинается этап 4 – «коммерциализация новшества» (от запуска в производство и выхода на рынок, и далее по основным стадиям жизненного цикла продукта) [2]. Коммерциализация новшеств, как правило, требует значительных инвестиций. На этом этапе жизненного цикла реакция рынка еще не определена, риски отторжения весьма вероятны, поэтому инвестиции, как и на предыдущих этапах, продолжают носить рисковый характер. На стадии II новая продукция начинает поступать в продажу.

III. Стадия роста – организация серийного производства нового продукта, достижение окупаемости затрат на производство; результаты (прибыль) растут быстрее и достигают своего максимума в конце стадии роста.

IV. Стадия зрелости - продукт имеет свой рынок, пользуется спросом и выпускается крупными партиями; имеются дополнительные затраты на увеличение выпуска продукта и на и его модификации. Все это приводит к сокращению прибыли.

V. Стадия спада – на этой стадии продукт надоедает потребителям или же потребность, которую он был призван удовлетворить, исчезает. Также причинами сокращения объема продаж могут стать техническое устаревание продукта и значительные успехи конкурентов на рынке. Возможности в области модификации продукта исчерпаны, снижаются объемы прибыли, продукт может реализовываться даже с убытком [3].

Таким образом, для предприятия, занимающегося инновационной деятельностью (предприятия-инноватора), необходима разработка инновационной стратегии с учётом стадий циклов и его рыночной позиции. Предприятие-инноватор – это хозяйствующий субъект, использующий новые технологические достижения для производства усовершенствованной продукции или прежней строительной продукции посредством новых методов (открытия новых источников сырья, новых рынков). Реализация нововведений предприятием-инноватором на основе использования своего инновационного потенциала способствует его инновационному развитию. Предприятие-инноватор являет собой воплощение новых комбинаций необходимых факторов (инвестиционных, производственных, управленческих), оказывающих значительное воздействие на его конкурентоспособность.

Под рыночной инновационной стратегией понимается комплекс стратегических решений, определяющих способы продвижения и реализации новой продукции. Наряду с освоенной продукцией, предприятие зачастую имеет наработки в отношении родственных, а, нередко, и принципиально новых изделий. Это требует проведения их оценки для разработки соответствующей инновационной стратегии. Главным тормозом успешной работы предприятий в рыночных условиях является простаивание производственных мощностей, их невосприимчивость к инновациям, сохранившиеся от административной экономики иерархические линейно-функциональные структуры и многочисленные вспомогательные производства. На основе принятых решений в отношении освоенной продукции и инноваций руководство предприятия наполняет выбранную модель стратегии ресурсным содержанием.

Инновационная стратегия представляет собой согласованную совокупность принципиально новых решений, оказывающих существенное воздействие на эффективность деятельности предприятия и имеющих долгосрочные последствия. Определяющим в ее формировании служит то обстоятельство, что средства в освоение новых продуктов нужно вкладывать значительно раньше получения реального эффекта в виде прочных позиций на рынке [2].

Так, на начальных стадиях жизненного цикла спроса на продукцию предприятие должно специализироваться на радикальном преобразовании старых сегментов рынка и продвижении на новые рынки, т. е. здесь обосновано применение наступательной стратегии. На стадиях неравномерного роста спроса требования к качеству и объёмам продукции связаны с завоеванием и укреплением рыночных позиций, а, следовательно, с переходом от наступательной к оборонительной инновационной стратегии. На стадии зрелости предприятие имеет высокий уровень освоения технологии, занимается крупносерийным выпуском продукции, что характеризуется осуществлением оборонительной стратегии. На стадии спада предприятие вынуждено принимать решения о целесообразности внесения изменений согласно требованиям специфических потребителей в рамках имитационной инновационной стратегии [4]. Эффективность инновационной стратегии предприятия предполагает степень удовлетворения потребителей конкретного рынка реализуемой продукцией.

В этой связи приобретает актуальность формирование стратегических альтернатив развития предприятия и выбор лучшей из них. Стратегические альтернативы – это набор вариантов стратегического развития, позволяющих достичь долгосрочных целей предприятия во всем их многообразии, т. е. это возможные стратегические направления его движения. Каждое из них характеризуется разными результатами, затратами и возможностями, что и обуславливает необходимость стратегического выбора. Среди стратегических альтернатив в данном контексте можно выделить инновационные, состоящие в освоении новых товаров, использовании прорывных технологий производства, новых подходов в конкурентной борьбе и т. п. [6]. Таким образом, определение эффективной стратегической альтернативы для предприятия-инноватора должно базироваться на моделировании и прогнозировании перспектив с учетом цикличности развития.

Прогноз – это вероятностное суждение о будущем, полученное путём использования совокупности научных методов, и его выполнение достаточно обосновано для предприятий, занимающихся инновационной деятельностью, либо планирующих её в перспективе. Качественный прогноз состоит в определении Y(t, p), где t – время (период), p – вероятность. Диапазон значений, в котором с той или иной вероятностью может находиться прогнозируемый параметр, возрастает с увеличением времени прогноза, а  характеристики диапазона зависят от внешних факторов, определяющих период прогноза. В зависимости от длительности периода прогноза различают:

ü краткосрочные прогнозы (на период от нескольких дней до трёх лет);

ü среднесрочные прогнозы (на период от трёх до пяти лет);

ü долгосрочные прогнозы (от пяти лет и более) [1].

Для экономических показателей в целях повышения достоверности прогноза применяется совокупность специальных методов экспертных оценок, экстраполяции, математического моделирования.

Методы экспертной оценки основываются на обработке мнений экспертов по поводу динамики различных процессов, выявленных путём проведения специальных процедур (анкетирования, интервьюирования). Обработка результатов экспертного опроса даёт обобщённые оценки прогноза. То есть на начальных стадиях жизненного цикла инновации возможна предварительная оценка эффективности деятельности с использованием метода экспертных опросов [4].

Суть методов экстраполяции состоит в распространении на будущее тенденций, сложившихся в ретроспективе. Такие тенденции (тренды) описываются функциями времени Y(t). Точность прогноза зависит от того, насколько обоснованы такие предположения, а также от продолжительности базисных динамических рядов и от сроков прогнозирования. Так, можно определить экономические параметры той или иной стадии жизненного цикла на необходимом промежутке времени, исходя из тенденций развития рынка, и выбрать нужную функцию Y(t) для прогнозирования тенденций изменения. Но динамика развития рынка и факторы неопределённости снижают эффективность этого метода. Если выбранный тип математической функции адекватен основной тенденции развития изучаемого явления во времени, то синтезированная на этой основе трендовая модель может применяться в прогнозировании [2].

Методы математического моделирования основаны на построении моделей типа: y = f(x), где y – результативный признак; x – факторный признак, влияющий на результативный. Корреляционная связь является разновидностью факторной связи и представляет собой частичную зависимость результативного признака (y) от факторного признака (x). На (у) возможно также влияние прочих факторов (ε). Влияние учтённых факторных признаков определяется способом научной абстракции от прочих факторов. В результате этого становится возможным установление закономерностей взаимодействия и получение количественных характеристик корреляционной связи. Корреляционно-регрессионный анализ, как один из методов математического моделирования, позволяет получить более надёжное и достоверное прогнозное значение конечного результата.

Таким образом, следует отметить, что для повышения точности прогнозов необходимо использовать совокупность рассмотренных методов, т. к. переменные, определяющие выбор стратегической альтернативы, с трудом поддаются количественному выражению и их взаимосвязи слабо прослеживаются. Следовательно, моделирование стратегических альтернатив в инновационной деятельности предприятия должно основываться на определении стадий жизненного цикла потребностей для своевременной смены стратегического вектора и, соответственно, стратегической модели рыночного поведения во взаимосвязи рассмотренных характеристик.

Существует несколько методов оценки рисков: статистический метод, метод экспертной оценки, аналитический способ, метод аналогии и другие [2]. Однако все они обладают целым рядом недостатков, являются сугубо объективными или наоборот, основаны лишь на аналитическом учете. Автором предлагается к рассмотрению модель аддитивно-мультипликативной оценки рисков, разработанной профессором Орловым А. И. Суть модели заключается в декомпозиции основных групп факторов риска и их анализе таким образом, что вероятность успешного выполнения проекта будет равна P = P₁*P₂ *…*P_k , где (1- P_i) – риск, порождаемый соответствующей группой факторов.

Деятельность в условиях неопределенности требует учета рисков, поэтому в данной статье проведем оценку рисков проекта по внедрению информационной системы на производственном холдинге с применением модели аддитивно-мультипликативной оценки рисков:

В рассматриваемом проекте выделим следующие независимые группы рисков:
Связанные с компанией-исполнителем;

Связанные с заказчиком (производственный холдинг);

Макроэкономические риски (на уровне РФ).
Расчет рисков проведем с применением аддитивно-мультипликативной модели [3].

Вероятность Р успешного внедрения информационной системы в производственном холдинге будет равна:

;

 i = 1, 2, 3;

Где – групповые риски, оцениваемые аддитивно;

факторы, используемые при вычислении оценки риска группы i;

коэффициенты весомости этих факторов, причем 

Причем  – риск, порождаемый i-ой группой факторов.

Значения факторов и коэффициентов весомости получены экспертным опросом, причем факторы  оценивались по качественной шкале:
0 – практически невозможное событие (с вероятностью не более 0,01);

1 – крайне маловероятное событие (с вероятностью от 0,02 до 0,05);

2 – маловероятное событие (вероятность от 0,06 до 0,10);

3 – событие с вероятностью, которой нельзя пренебречь (0,11 – 0,20);

4 – достаточно вероятное событие (вероятность от 0,21 до 0,30);

5 – событие с заметной вероятностью (более 0,30).
Риски проекта, комментарии к ним, а также необходимые числовые данные представлены в таблице 1:

Частные риски	Комментарий		Коэф-ты весомости	Фактор
(1)	(2)		(3)	(4)
1. Риски компании-исполнителя
Риск финансовых проблем	Как внутренние, так и внешние финансовые проблемы компании, связанные с деятельностью государственных органов.		0,03	1
Риск утечки конфиденциальной информации (коммерческой тайны)	Внедрение системы аналитики предполагает анализ бизнес-процессов компанией-исполнителем, поэтому возможен риск потери нематериальных активов – передачи конфиденциальных данных третьим лицам.		0,06	0
Риск технической неисправности оборудования	Неудовлетворительное техническое состояние арендуемого оборудования (вычислительной техники), на котором располагается сервер системы, или его ненадлежащее обслуживание влечет за собой увеличение сроков выполнения проекта.		0,04	1
Риск ошибки разработчиков	Относится к неисполнительности компании-исполнителя и отражает вероятность программной ошибки в информационной системе.		0,04	2
Риск некомпетентности персонала	Относится к неисполнительности компании-исполнителя. Действия некомпетентных сотрудников компании-исполнителя могут повлиять на возможный выбор принципиально неверного направления работ, неправильного планирования процесса выполнения инновационного проекта.		0,03	1
Вероятность			Риск
2. Риски компании-заказчика
Риск потери деловой репутации	Риск возникновения конфликтов руководства вследствие изменения бизнес-процессов		0,10	0
Риск внутренних финансовых проблем	В результате нестабильной экономической ситуации на рынке величина денежных средств, направленных на развитие компании может резко сократиться, что вызовет трудности финансирования проекта внедрения информационной системы.		0,05	1
Риск некомпетентности сотрудников	Сотрудники, не обладающие определенными компетенциями, могут медленнее осваивать внедряемую систему или неправильно использовать ее, что снизит запланированный эффект.		0,05	1
Вероятность			Риск
3. Макроэкономический риск (на уровне РФ)
Инфляционный риск	Внешний риск по отношению к системе «исполнитель-заказчик». Риск обесценивания денежных доходов.		0,05	1
Рискнесанкционирован-ногомеждународного воздействия	Система бизнес-аналитики является разработкой компании, зарегистрированной в США, может содержать шпионский код, что повлечет проникновение в базу данных и кражу конфиденциальной информации.		0,12	0
Риски, связанные с нормативно-правовыми актами (НПА)	Определяет риски правового поля, а именно возможность изменения НПА, ограничивающих/ запрещающих использование информационных систем или обязывающих регистрировать их.		0,03	1
Вероятность			Риск 0,08
Вероятность выполнения проекта		Итоговый риск

Вероятность, что рассматриваемый проект по внедрению информационной системы в производственном холдинге будет успешно завершен (в намеченные сроки и с запланированным эффектом) составляет 68 %. Таким образом, модель аддитивно-мультипликативной оценки рисков позволяет количественно оценить риск, связанный с реализацией различных проектов.

На данный момент метод экспертных оценок используется во многих областях для решения важных проблем различного характера, в ситуациях, когда выбор, обоснование и последствия решений не могут быть реализованы детерминированным способом.
Экспертная оценка заключается в проведении экспертами анализа поставленной задачи с использованием количественных оценок суждений и дальнейшей обработкой полученных данных. Решением задачи является полученное обобщенное мнение всех экспертов. Эффективность решения обеспечивается за счет использования неосознанного мышления экспертов, а также логического мышления и количественных оценок.
Экспертные оценки характеризуются научным обоснованием процесса проведения экспертизы, а также использованием количественных методов при организации экспертизы и при оценке суждений каждого из экспертов.
Однако экспертные оценки зачастую могут не совпадать друг с другом. В таком случае применяются методы согласования экспертных оценок. Это математические методы, позволяющие преобразовать формализованные и/или числовые оценки экспертов в итоговое решение задачи.
Несмотря на разнообразие методов согласования экспертных оценок, каждый из них имеет весомые недостатки, а также ограниченную область применимости и существенные ограничения для реализации экспертизы. Например, средневероятностный метод не может быть использован для решения задач на поиск оптимального решения, а метод «дельфи» требует большого количества независимых экспертов. Метод же ранговой корреляции хоть частично и нивелирует недостатки средневероятностного метода, но практически не применим к задачам, не использующим числовые оценки.

Средневероятностный метод согласования экспертных оценок
Данный метод основан на получении среднего или средневзвешенного значения вероятностей по формулам:

где
n– число участвующих экспертов,
k_i– вес оценки соответствующего эксперта (при наличии)

Подобные методы являются самыми простыми и широко используются в различных областях. Однако средневероятностные методы имеют ряд недостатков, среди которых:

• Зависимость от числа экспертов – чем больше экспертов, тем выше будет точность итогового решения.
• Зависимость от разности оценок экспертов – чем больший разброс в оценках экспертов, тем менее точным будет итоговое решение.
• Применим только к атомарным числовым оценкам.

Метод ранговой корреляции экспертных оценок
Метод ранговой корреляции используется при решении задач, которые не допускают использования простого усреднения значений по различным причинам.
Допустим, для экспертизы привлечена группа экспертов с одинаково высоким уровнем компетентности в данной предметной области. Задача экспертов – задать числовое значение каждой из целей, соответствующее ее важности (по мнению эксперта). Затем считается сумма рангов по каждой цели и назначается суммарный ранг – итоговое значение ранга цели. В случае равенства сумм рангов, в качестве суммарного ранга выступает среднее арифметическое значение.
Использование метода ранговой корреляции оправдано, если необходимо дать ответ на вопрос: насколько коррелированны (неслучайны) ранжировки каждого из экспертов? Обычной практикой в данном случае является выдвижение гипотезы об отсутствии связи между ранжировками [экспертов]. Вероятность справедливости подобной гипотезы вычисляется с помощью методов Спирмэна.
Метод Спирмэна является самым простым методом для подтверждения данной гипотезы. Для его использования вычисляется коэффициент Спирмэна по следующей формуле:

где
n – количество объектов в каждой ранжировке
d_i – разности рангов первой и второй ранжировок, содержащих по nобъектов в каждой

Чем ближе коэффициент Спирмэна к нулю – тем меньше вероятность зависимости ранжировок между собой, и наоборот, чем ближе данный коэффициент к единице – тем выше вероятность такой зависимости.
Недостатками метода ранговой корреляции являются:

• Сложности в организации экспертизы – декомпозиция задачи, ранжирование каждой из частей задачи.
• Слабо применим для задач, которые нельзя подвергнуть декомпозиции
• Слабо применим к задачам, экспертиза которых подразумевает нечисловые оценки.

Метод «Дельфи»
Данный метод является одним из самых известных методов, так как может применяться для решения широкого круга задач, как личных, так и рабочих. «Дельфи» подразумевает экспертную оценку, однако ключевым отличие от рассмотренных методов является анонимность и заочность такой оценки. Также процесс оценивания состоит из нескольких уровней и нескольких видов экспертизы – мозговой штурм, опрос, интервью и т. д. Эксперты в группе не должны быть знакомы друг с другом.
Для экспертной оценки методом «Дельфи» привлекаются две группы: независимые эксперты и аналитики.

Метод всегда состоит из трех этапов:

• Подготовительный этап
  • Набор экспертов
  • Формулировка проблемы
  • Донесение основного смысла проблемы до всех участников
• Основной этап
  • Озвучивание проблемы
    • Создание первого опросника по проблеме
    • Отбор самых популярных вопросов
    • Создание нового опросника
  • Отправка нового опросника
    • Экспертная оценка в соответствии с опросником
    • Изменение опросника при необходимости
  • Ответы на итоговый опросник
    • Развернутый ответ на каждый вопрос
    • Комментарии ответов других участников
    • Сбор похожих мнений, объединение в общий тезис
• Итоговый этап

У метода есть ряд недостатков. Помимо очевидной сложности сбора большого количества экспертов и времени, которое необходимо для реализации «Дельфи», присутствует также фактор исключения нестандартных решений, которые могут оказаться в итоге верными, но до финального этапа не «доживут». Также не стоит забывать, что общественное мнение не всегда является верным. Организаторы же данной экспертизы имеют большое влияние на участников ввиду того, что постановка проблемы и создание базового списка вопросов – их задача.

	Средне-вероятностный метод	Метод ранговой корреляции	Метод «Дельфи»
Зависимость от кол-ва экспертов	Средняя (чем больше экспертов – тем точнее итоговая оценка)	Низкая (минимум 2 эксперта)	Высокая (необходимо минимум 5-7 экспертов, оптимально – 20)
Применимость при большом разбросе оценок	Средняя (при большом количестве экспертов) Низкая (при малом количестве экспертов)	Высокая (при большом количестве экспертов) Средняя (при малом количестве экспертов)	Низкая, при диаметрально противоположных оценках решение может быть не найдено
Применимость при простых числовых оценках	Высокая	Высокая	Средняя
Области применения	Задачи с числовыми оценками, ориентированные на быстрое получение результата	Преимущественно сложные составные задачи с числовыми оценками	Сложные описательные задачи Слабо формализованные задачи на принятие решений
Уровень сложности организации экспертизы	Низкий	Средний	Высокий

Метод согласования экспертных оценок с применением ANFIS-сетей
Так как ни один из рассмотренных методов не удовлетворяет полностью или частично всем перечисленным в таблице критериям, становится очевидной необходимость в разработке подобного метода согласования экспертных оценок. Далее будет рассмотрен метод экспертных оценок с использованием ANFIS-сетей.
ANFIS-сети представляют собой нейронную сеть в одним выходом и несколькими входами. Входами сети являются лингвистические нечеткие переменные. Термы входных переменных определяются стандартными для нечетких множеств функциями принадлежности, которые могут быть линейными или постоянными.
ANFIS-сети могут использовать одну из двух основных топологий:

• Гибридная
  Классическая версия сети, отличается входными нечеткими переменными, а также блоком дефаззификации перед выходным слоем
• Совмещенная
  Данная версия сети представляет собой нейронную сеть и блок нечеткого вывода. В этом случае все нечеткие переменные преобразуются в данные для нейронной сети, которые в дальнейшем подвергаются анализу с помощью классической НС.

Системы нейро-нечеткого вывода Сугено могут быть использованы для согласования экспертных оценок при малом количестве экспертов (например, при согласовании оценок экспертов ЕГЭ).
В случае с оцениванием заданий ЕГЭ из части C, общая структурная схема согласования с использованием ANFIS-сети может иметь следующий вид (рис. 1):

В качестве входных переменных могут быть использованы лингвистические термы, отражающие степень выполнения задания части C, а также общий уровень знаний тестируемого, основанный на результатах решения тестовой части по соответствующей теме.
Ограничивающими постусловиями для сети могут выступать наибольшая и наименьшая оценки экспертов. При использовании данного метода в условиях, когда количество экспертов больше двух – все экспертные оценки, кроме крайних могут быть использованы в качестве входных переменных для сети.
Данный метод лишен большинства недостатков методов, проанализированных выше:

• Низкая зависимость от количества экспертов.
• Применим при большом разбросе оценок.
• Сравнительно невысокая сложность организации экспертизы.
• Применим к различным областям тестирований.