Компетенция – круг проблем, сфера деятельности, в которой данный человек обладает знанием и опытом; совокупность полномочий, прав и обязанностей должностного лица, общественной организации; управление персоналом заключается в управлении процессом приобретения, стимулирования и развития компетенции персонала организации.

Профессиональные компетенции – способность успешно действовать на основе практического опыта, умения и знаний при решении поставленных задач.

Профессиональные компетенции также называются ключевыми. Ключевыми компетенциями можно назвать те компетенции, которыми должен, во-первых, обладать каждый член общества, а во-вторых, которые можно применять в самых различных ситуациях, связанных с профессией работника.

Неосознанная некомпетентность является первой стадией обучения и нулевым уровнем компетенции соответственно. В состоянии неосознанной некомпетентности человек не знает и даже не осознает, что не умеет что-либо делать или не имеет необходимых знаний.

На стадии осознанной компетентности, человек осознает, каких знаний и умений ему не хватает – то есть, развивает понимание того, что ему нужно знать или уметь, чтобы действовать правильно (в контексте профессиональных задач).

Осознанная компетентность характеризуется наличием необходимых знаний у человека. Используя полученные знания, человек решает поставленные перед ним задачи, полностью контролируя свои действия в процессе решения задач. На данном этапе любое использование знаний контролируется и осознается [1, 2].

Система генерации и оценивания теста

Тестируемому будет предложен тест, состоящий из заданного количества тестовых заданий разной сложности и соответствующих уровней компетенции. Сложность тестового задания влияет на количество баллов, получаемых тестируемым за верный ответ. Уровень компетенции тестового задания зависит от текущего уровня компетенции пользователя по данной теме. Чем больше баллов имеет пользователь по теме – тем выше его уровень компетенции.

За верный ответ на тестовое задание, тестируемый получает 1-3 балла в зависимости от сложности вопроса. За неверный ответ пользователь теряет 1 балл. За частично верный ответ пользователь получает от 0 до 2 баллов в зависимости от того, насколько его ответ совпадает с эталонным ответом.

Тестируемому будут предложены тестовые задания закрытого и открытого типа, а также задания на установление соответствия.

По окончанию теста тестируемому выводится сообщение о результате тестирования содержащее количество набранных им баллов из максимально возможного количества баллов  и оценка, которая является результатом тестирования [3].

Результатом теста является оценка, которую получает тестируемый в зависимости от уровня компетенции тестовых заданий и количества баллов, набранных за решение тестовых заданий (табл. 1.1).

Таблица 1.1. Система оценивания теста

Алгоритм оценивания ответа на задание с открытым ответом

Ответ на открытый вопрос оценивается тремя способами:

1. Абсолютная оценка – полное совпадение ответа пользователя с эталонным ответом. Данная методика является самой простой, однако необходима в тех случаях, где требуется полное совпадение ответа пользователя с эталонным ответом (результат работы программы, вычисляющей значение; построение маршрута на графе с указанием вершин входящих в маршрут и др.)
2. Проверка по маске – для проверки используется заранее созданная маска с отмеченными на ней ключевыми символами. Если все ключевые символы совпали в ответе пользователя и эталонном ответе, то ответ на открытый вопрос верный.
   Данная методика используется в случаях, где ответом на вопрос является слово или словосочетание. Методика позволяет избежать неправильных результатов проверки при несоблюдении падежа или орфографических ошибках.
3. Проверка по формуле – если не задана маска ответа и не используется абсолютная оценка, то для проверки ответа на открытый вопрос используется формула, позволяющая исключить опечатки и другие лексические неточности ответа. Для проверки ответа по формуле, необходимо разделить ответ пользователя и эталонный ответ по пробелам – то есть разделить на «слова». После этого, приведенную ниже формулу необходимо применить к каждому «слову» в ответе:

     (1)

где

l – длина «слова» в эталонном ответе

e – количество ошибок в ответе пользователя, ошибкой считается несовпадение символа «слова» ответа пользователя и символа «слова» в эталонном ответе при посимвольном сравнении

s – разница в длинах эталонного и пользовательского «слов» ответа

h – коэффициент ошибки. Если h для каждого «слова» был больше либо равен 0.75, то ответ пользователя считается верным, в противном случае – неверным.

Данная формула была выведена эмпирическим путем, на основании проведенных тестов было выяснено, что формула засчитывает верным ответ в среднем не более чем с двумя опечатками в одном «слове» при среднем количестве «слов» в ответе не более восьми (длина «слова» – от 3 до 12 символов).

Планы на дальнейшую разработку

Ключевыми задачами на ближайшее будущее являются: модификация алгоритма адаптивности путем включения в него большего количества переменных (факторов), модификация алгоритма проверки ответа на задание с открытым ответом, а также изменение балльной системы оценивания ответов на тестовые задания.

Модификация алгоритма адаптивности подразумевает учет серий верных/неверных ответов пользователя по одной или нескольким темам. Также алгоритм будет учитывать результаты предыдущих тестирований, в которые входили темы текущего тестирования для оценки скорости обучения пользователя [4, 5].

Алгоритм проверки ответа на задание с открытым ответом будет также модифицирован с применением метода частотного анализа и поиска ключевых символов (или их набора) в ответе пользователя.

На данный момент метод экспертных оценок используется во многих областях для решения важных проблем различного характера, в ситуациях, когда выбор, обоснование и последствия решений не могут быть реализованы детерминированным способом.
Экспертная оценка заключается в проведении экспертами анализа поставленной задачи с использованием количественных оценок суждений и дальнейшей обработкой полученных данных. Решением задачи является полученное обобщенное мнение всех экспертов. Эффективность решения обеспечивается за счет использования неосознанного мышления экспертов, а также логического мышления и количественных оценок.
Экспертные оценки характеризуются научным обоснованием процесса проведения экспертизы, а также использованием количественных методов при организации экспертизы и при оценке суждений каждого из экспертов.
Однако экспертные оценки зачастую могут не совпадать друг с другом. В таком случае применяются методы согласования экспертных оценок. Это математические методы, позволяющие преобразовать формализованные и/или числовые оценки экспертов в итоговое решение задачи.
Несмотря на разнообразие методов согласования экспертных оценок, каждый из них имеет весомые недостатки, а также ограниченную область применимости и существенные ограничения для реализации экспертизы. Например, средневероятностный метод не может быть использован для решения задач на поиск оптимального решения, а метод «дельфи» требует большого количества независимых экспертов. Метод же ранговой корреляции хоть частично и нивелирует недостатки средневероятностного метода, но практически не применим к задачам, не использующим числовые оценки.

Средневероятностный метод согласования экспертных оценок
Данный метод основан на получении среднего или средневзвешенного значения вероятностей по формулам:

где
n– число участвующих экспертов,
k_i– вес оценки соответствующего эксперта (при наличии)

Подобные методы являются самыми простыми и широко используются в различных областях. Однако средневероятностные методы имеют ряд недостатков, среди которых:

• Зависимость от числа экспертов – чем больше экспертов, тем выше будет точность итогового решения.
• Зависимость от разности оценок экспертов – чем больший разброс в оценках экспертов, тем менее точным будет итоговое решение.
• Применим только к атомарным числовым оценкам.

Метод ранговой корреляции экспертных оценок
Метод ранговой корреляции используется при решении задач, которые не допускают использования простого усреднения значений по различным причинам.
Допустим, для экспертизы привлечена группа экспертов с одинаково высоким уровнем компетентности в данной предметной области. Задача экспертов – задать числовое значение каждой из целей, соответствующее ее важности (по мнению эксперта). Затем считается сумма рангов по каждой цели и назначается суммарный ранг – итоговое значение ранга цели. В случае равенства сумм рангов, в качестве суммарного ранга выступает среднее арифметическое значение.
Использование метода ранговой корреляции оправдано, если необходимо дать ответ на вопрос: насколько коррелированны (неслучайны) ранжировки каждого из экспертов? Обычной практикой в данном случае является выдвижение гипотезы об отсутствии связи между ранжировками [экспертов]. Вероятность справедливости подобной гипотезы вычисляется с помощью методов Спирмэна.
Метод Спирмэна является самым простым методом для подтверждения данной гипотезы. Для его использования вычисляется коэффициент Спирмэна по следующей формуле:

где
n – количество объектов в каждой ранжировке
d_i – разности рангов первой и второй ранжировок, содержащих по nобъектов в каждой

Чем ближе коэффициент Спирмэна к нулю – тем меньше вероятность зависимости ранжировок между собой, и наоборот, чем ближе данный коэффициент к единице – тем выше вероятность такой зависимости.
Недостатками метода ранговой корреляции являются:

• Сложности в организации экспертизы – декомпозиция задачи, ранжирование каждой из частей задачи.
• Слабо применим для задач, которые нельзя подвергнуть декомпозиции
• Слабо применим к задачам, экспертиза которых подразумевает нечисловые оценки.

Метод «Дельфи»
Данный метод является одним из самых известных методов, так как может применяться для решения широкого круга задач, как личных, так и рабочих. «Дельфи» подразумевает экспертную оценку, однако ключевым отличие от рассмотренных методов является анонимность и заочность такой оценки. Также процесс оценивания состоит из нескольких уровней и нескольких видов экспертизы – мозговой штурм, опрос, интервью и т. д. Эксперты в группе не должны быть знакомы друг с другом.
Для экспертной оценки методом «Дельфи» привлекаются две группы: независимые эксперты и аналитики.

Метод всегда состоит из трех этапов:

• Подготовительный этап
  • Набор экспертов
  • Формулировка проблемы
  • Донесение основного смысла проблемы до всех участников
• Основной этап
  • Озвучивание проблемы
    • Создание первого опросника по проблеме
    • Отбор самых популярных вопросов
    • Создание нового опросника
  • Отправка нового опросника
    • Экспертная оценка в соответствии с опросником
    • Изменение опросника при необходимости
  • Ответы на итоговый опросник
    • Развернутый ответ на каждый вопрос
    • Комментарии ответов других участников
    • Сбор похожих мнений, объединение в общий тезис
• Итоговый этап

У метода есть ряд недостатков. Помимо очевидной сложности сбора большого количества экспертов и времени, которое необходимо для реализации «Дельфи», присутствует также фактор исключения нестандартных решений, которые могут оказаться в итоге верными, но до финального этапа не «доживут». Также не стоит забывать, что общественное мнение не всегда является верным. Организаторы же данной экспертизы имеют большое влияние на участников ввиду того, что постановка проблемы и создание базового списка вопросов – их задача.

	Средне-вероятностный метод	Метод ранговой корреляции	Метод «Дельфи»
Зависимость от кол-ва экспертов	Средняя (чем больше экспертов – тем точнее итоговая оценка)	Низкая (минимум 2 эксперта)	Высокая (необходимо минимум 5-7 экспертов, оптимально – 20)
Применимость при большом разбросе оценок	Средняя (при большом количестве экспертов) Низкая (при малом количестве экспертов)	Высокая (при большом количестве экспертов) Средняя (при малом количестве экспертов)	Низкая, при диаметрально противоположных оценках решение может быть не найдено
Применимость при простых числовых оценках	Высокая	Высокая	Средняя
Области применения	Задачи с числовыми оценками, ориентированные на быстрое получение результата	Преимущественно сложные составные задачи с числовыми оценками	Сложные описательные задачи Слабо формализованные задачи на принятие решений
Уровень сложности организации экспертизы	Низкий	Средний	Высокий

Метод согласования экспертных оценок с применением ANFIS-сетей
Так как ни один из рассмотренных методов не удовлетворяет полностью или частично всем перечисленным в таблице критериям, становится очевидной необходимость в разработке подобного метода согласования экспертных оценок. Далее будет рассмотрен метод экспертных оценок с использованием ANFIS-сетей.
ANFIS-сети представляют собой нейронную сеть в одним выходом и несколькими входами. Входами сети являются лингвистические нечеткие переменные. Термы входных переменных определяются стандартными для нечетких множеств функциями принадлежности, которые могут быть линейными или постоянными.
ANFIS-сети могут использовать одну из двух основных топологий:

• Гибридная
  Классическая версия сети, отличается входными нечеткими переменными, а также блоком дефаззификации перед выходным слоем
• Совмещенная
  Данная версия сети представляет собой нейронную сеть и блок нечеткого вывода. В этом случае все нечеткие переменные преобразуются в данные для нейронной сети, которые в дальнейшем подвергаются анализу с помощью классической НС.

Системы нейро-нечеткого вывода Сугено могут быть использованы для согласования экспертных оценок при малом количестве экспертов (например, при согласовании оценок экспертов ЕГЭ).
В случае с оцениванием заданий ЕГЭ из части C, общая структурная схема согласования с использованием ANFIS-сети может иметь следующий вид (рис. 1):

В качестве входных переменных могут быть использованы лингвистические термы, отражающие степень выполнения задания части C, а также общий уровень знаний тестируемого, основанный на результатах решения тестовой части по соответствующей теме.
Ограничивающими постусловиями для сети могут выступать наибольшая и наименьшая оценки экспертов. При использовании данного метода в условиях, когда количество экспертов больше двух – все экспертные оценки, кроме крайних могут быть использованы в качестве входных переменных для сети.
Данный метод лишен большинства недостатков методов, проанализированных выше:

• Низкая зависимость от количества экспертов.
• Применим при большом разбросе оценок.
• Сравнительно невысокая сложность организации экспертизы.
• Применим к различным областям тестирований.