Разработка новых моделей принятия решений при тестировании знаний должна позволять проектировать программное обеспечение, обеспечивающего поддержку различных форм заданий, реализацию разных сценариев контроля и адекватную обработку результатов тестирования.

В традиционной системе тестирования уровень знаний определяется долей правильных ответов, следовательно, оценка уровня знаний зависит от трудности заданий в тесте и не может считаться объективной. Для измерения уровня знаний стали применять модель Раша [1,2], позволяющая в отличие от традиционной системы тестирования получить объективные оценки знаний студентов за счет того, что оценка уровня знаний не зависит от трудности теста.

Применяют модели оценки тестирования на основе системологического классификационного анализа [3], позволяющего рассматривать знания системно для сложных неформализованных слабоструктурированных предметных областей.

Существуют модели на основе нейронных сетей, позволяющие реализовать обучение с учителем, обладающие свойствами адаптивности, увеличивающие достоверность принимаемого решения. Знания представляются в нейронной сети с помощью ее состояния активации и, как следствие, существование нейронной сети связано с контекстной информацией. Нейронные сети являются универсальным механизмом обработки информации.

Для оценки уровня обучения и для аттестации образовательного учреждения профессионального образования разработана технология [4] Центром государственной аккредитации, которая включает в себя модель формирования аттестационных педагогических измерительных материалов (АПИМ), методику обработки результатов и организацию педагогических измерений на основе выборочных методов как по отношению к дисциплинам, так и к контингенту обучающихся.

Модели оценивания при аттестационно-педагогических измерениях относятся к вероятностным моделям. Модель АПИМ есть совокупность независимых разделов дисциплин с одинаковой вероятностью решения. Следует получить значение вероятности решения совокупности всех групп заданий. Основу расчетов составляет формула Бернулли [5], которая при принятых условиях позволяет рассчитать вероятности не менее k благоприятных событий из общего числа n независимых событий

.

Применение теории нечетких множеств, введение понятия лингвистической и нечеткой переменной [6] предоставляют возможность экспертным путем задать степень истинности ответа в виде функции принадлежности его к используемой шкале оценивания истинности. Данная модель позволяет получать количественную оценку принимаемых решений по их качественным описаниям. Тестируемому выдают варианты ответов, степень истинности которых не может быть однозначно определена в категориях «правильно» или «неправильно». Количественная оценка истинности выбираемых ответов и принятие решения об итоговой оценке осуществляется с применением нечеткой логики [6].

В работе [7] оценка знаний осуществляется с применением лингвистических переменных на базовой шкале оценивания. Лингвистические переменные (ЛП): a₁ – правильно; a₂ – не совсем правильно; a₃ – неполно; a₄ – неточно;
a₅ – неопределенно;
a₆ – неправильно.

Пример оценки знаний [7] фактически осуществляется не по лингвистическим, а по нечетким переменным, т.к. оценка знания вариантов ответов на каждое тестовое имеет вид:

{a₁/0,8; a₂/0,4; a₃/0,2; a₄/0,1; a₅/0; a₆/0}.

Данная модель показывает, что степень суммарной истинности ответов тестируемого оценивается путем подсчета результирующей функции принадлежности с использованием нечеткой алгебры. Окончательное принятие решения об оценке знаний принимают путем сравнением полученной результирующей функции принадлежности с эталонными функциями принадлежности каждой оценки применяемой шкалы итогового оценивания. В качестве итоговой оценки принимается та, для которой скалярное расстояние между ее функцией принадлежности и результирующей функцией принадлежности всего теста оказывается минимальным [7].

Развитие данного подхода состоит в том, что для каждой ЛП может быть задано собственное терм-множество с нечеткими переменными и функциями принадлежности на базовом множестве, определенном диапазоном оценок теста. Для вывода оценки знаний могут применяться продукционные модели, например модель принятия решений при
композиции нечетких правил вывода.

Пусть при тестировании испытуемые могут получить от нуля до ста баллов. Рассмотрим применение модели, имеющей название «модель композиции» [6]. Применение этой модели нечеткого логического вывода, как дополнение к полученным результатам тестирования, позволит не только снизить степень информационной неопределенности, но и повысить объективность оценки результатов тестирования. Модель композиции нечетких правил вывода задают в виде набора множеств (X, T, H), где X и H определены так же, как и в модели классификации нечетких ситуаций, Т – множество, элементы которого представляют собой формальную запись в виде продукций словесно-качественной информации экспертов.

Пусть входные переменные задачи тестирования в виде лингвистических переменных определены так же, как и для модели классификации. Результат тестирования определен в виде лингвистической переменной b «оценивание знаний» с терм-множеством: Т(b)={b₁ – неудовлетворительно; b₂ –удовлетворительно;
b₃ –хорошо;
b₄ отлично}. Базовое множество принимаемых решений задано на отрезке [0, 100] баллов. На рис. 1 показан вариант задания функций принадлежности лингвистической переменной «результат тестирования».

Рис.1. Функции принадлежности лингвистической переменной «оценивание знаний»

Оценка «отлично» соответствует 80 – 100 набранным баллам, оценка «хорошо» соответствует 65 – 79 набранным баллам и т.д.

Рассмотрим работу модели принятия решений при композиции нечетких правил вывода на примере задания множества Т={R_i}, где R_i
i-ое нечеткое продукционное правило, сформулированное экспертным путем. Пусть экспертами будут заданы правила {R₁,R_2,R₃,…,R₂₂}. Например:

R₁: если недостаточное количество выполненных заданий «А» и недостаточное количество выполненных заданий «В» и – среднее число ошибок в решаемых заданиях «А» и среднее число ошибок в решаемых заданиях «В» и значащие ошибки задания «А» и значащие ошибки задания «В» и низкое качество обучения, то b₁ – неудовлетворительный результат тестирования.

R₂: если недостаточное количество выполненных заданий «А» и недостаточное количество выполненных заданий «В» и – среднее число ошибок в решаемых заданиях «А» и среднее число ошибок в решаемых заданиях «В» и значащие ошибки задания «А» и значащие ошибки задания «В» и среднее качество обучения, то b₁ – неудовлетворительный результат тестирования.

…

R₂₁: если очень большое количество выполненных заданий «А» и очень большое количество выполненных заданий «В» и среднее число ошибок в решаемых заданиях «А» и среднее число ошибок в решаемых заданиях «В» и незначащие ошибки задания «А» и незначащие ошибки задания «В» и среднее качество обучения, то b₄ – отличный результат тестирования.

R₂₂: если очень большое количество выполненных заданий «А» и очень большое количество выполненных заданий «В» и среднее число ошибок в решаемых заданиях «А» и среднее число ошибок в решаемых заданиях «В» и значащие ошибки задания «А» и значащие ошибки задания «В» и хорошее качество обучения, то b₄ – отличный результат тестирования.

Зная функции принадлежности нечетких переменных входных лингвистических переменных a₁, a₂, a₃, a₄, a₅, a₆ и a₇ и функции принадлежности лингвистической переменной «результат тестирования», можно для каждого правила R_i вывести функцию принадлежности .

Получив для каждого правила R_i функции принадлежности определяют функцию принадлежности для отношения Т по формуле

.        (1)

Исходя из заданных функций принадлежностей нечетких переменных входных лингвистических переменных a₁, a₂, a₃, a₄, a₅, a₆
и a₇ для результатов тестирования испытуемого определяют конкретные значения степеней принадлежности нечетких переменных терм-множеств этих лингвистических переменных и подставляют их в формулу (1).

Поиск значения h_s базового множества H лингвистической переменной b «результат тестирования», доставляющего наибольшее значение функции принадлежности возможен только за счет обычного перебора значений функций принадлежности для b₁, b₂, b₃ и b₄.

Выводы

Результаты анализа известных подходов к оценке знаний с применением тестирования показали, что применять классические методы теории вероятностей и математической статистики недостаточно, как для моделирования систем управления качеством образования, так и для получения адекватных оценок знаний при проведении тестирования обучаемых.

Это связано, в первую очередь, с тем, что итоговые оценки по результатам тестирования частично неопределенны, т.е. имеют нечеткое описание в терминах естественного языка. Так же разной может быть степень неопределенности погрешности тестирования.

Для установления адекватной оценки знаний тестируемого необходимо применять методы ситуационного анализа в условиях неполноты данных относительно объектов тестирования и самого теста. Применение данного подхода может быть связано с принятия решений с учетом нескольких заданных критериев, задание которых может быть как четким, так и нечетким.

,

где - функция принадлежности нечеткого множества.
Критерий оценки знаний определим в виде лингвистической переменной (ЛП), которую задают набором множеств [7]

где: – название ЛП, как критерия оценки знаний; T() – множество лингвистических (вербальных) значений ЛП (терм-множество ЛП); X – область определения ЛП ; G – синтаксическое правило (форма грамматики), порождающее наименования _iT(), вербальных значений ЛП ; М – семантическое правило, которое ставит в соответствие каждой нечеткой переменной _i нечеткое множество;  – смысл нечеткой переменной _i.
Из определения (1) следует, что, например, критерий «уровень предметных знаний» в виде ЛП (вербальное понятие), может быть задан на количественной (измеряемой) шкале, являющейся базовым множествомX. Терм-множество критерия «уровень предметных знаний» может иметь вид: T()={₁, ₂, ₃}={«небольшой уровень предметных знаний», «средний уровень предметных знаний», «большой уровень предметных знаний», «высокий уровень предметных знаний»}.
Элементы терм-множества ЛП определяются, как нечеткие переменные (НП), которые задают тройкой множеств,где _i – наименованиеi-й НП, X – область определения, для каждой НП _i, xX – нечеткое подмножество в множестве X, - функция принадлежности элементов x из множества X нечеткому множеству , которые задаются экспертными методами [8], как субъективная мера того, насколько элементxX соответствует понятию, смысл которого формализуется нечетким множеством .
Может критерий оценки знаний быть интегральным, то есть состоять из нескольких критериев. В этом случае его формализацию реализуется как нечеткое множество второго уровня. Состояние критерия оценки знаний определяется как нечеткая ситуация: , где- ЛП, представляющая и характеризующая i-й частный критерий интегрального критерия оценки знаний, как состояние интегрального критерия оценки знаний . 
Пусть, например, множество A имеет следующий вид: A={₁, ₂}={«уровень знаний», «структура знаний»}. Терм-множество ЛП ₁ имеет вид: ={«небольшой уровень знаний», «средний уровень знаний», «большой уровень знаний»}. Терм-множество ЛП ₂ имеет вид: ={«знания инвертированные», «знания почти инвертированные», «знания почти правильные», «знания правильные»}.
В виде примера можно привести следующую нечеткую ситуацию состояния критерия оценки знаний : {<<0,15/«небольшой уровень знаний»>, <0,75/«средний уровень знаний»>, <0,6/«большой уровень знаний»> /«уровень знаний>; <<0,1/«знания инвертированные»>, <0,3/«знания почти инвертированные»>, <0,8/«знания почти правильные»>, <0,4/«знания правильные»> /«структура знаний»>}.
Таким образом, в условиях неопределенности качественная информациядля задания критериев оценки знаний в моделях принятия решений формализуется в виде ЛП и НП, задаваемых на шкалах реальных измерений. 
Подобное введение экспертных оценок позволит сделать более достоверным вывод о степени соответствия испытуемого определенному уровню требований относительно уровня знаний в условиях частичной неопределенности.