Главная задача тестирования знаний при обучении направлена на обеспечение достоверности результатов оценки качества знаний [1]. Успешное решение задачи тестирования связано с устранением субъективности экзаменаторов, неординарности требований, неопределенности системы оценок. 
В основе задачи тестирования знаний находится математическую модель системы оценок знаний [2], в которой должны быть учтены недостатки методов контроля знаний, критерии качества, уровни и технологии образования. В модели должна присутствовать обратная связь для решения задач коррекции модели, равно, как и для улучшения свойств заданий теста.
Формирование оценки качества образования связано с формированием методологических исследований и созданием средств адекватной оценки подготовки обучаемых. Качество образования- комплексная характеристика, определяемая, как минимум, тремя факторами: качество функционирования системы образования, государственными образовательными стандартами и представлениями преподавателей об эталоне качества подготовки специалиста.
Решение задачи тестирования знаний направлено на поддержку системы управления качеством образования[1,3,4].
Рассмотрим критерии оценки тестовых заданий в задачах тестирования.
Диагностические состояния и проверки. Определим, что при тестировании обучаемый находится в состоянии b_i с вероятностью P(b_i). Тестирование – есть выполнение испытуемым ряда заданий, причем, чем больше значение вероятности P(b_i), тем эффективнее результаты испытания с позиций качества.
Выполнение задания рассматривается как проведение последовательных проверок. Каждому заданию ставится в соответствие одна проверка Р_k, а каждому ответу соответствует исход q_jk этой проверки.
Если испытуемый имеет уровень знаний, оцениваемый состоянием b_i, то при корректно сформулированных заданиях значение апостериорной вероятности P(b_i) после каждой проверки будет возрастать, а значения вероятностей, соответствующие остальным состояниям, – убывать.
Каждую проверку П_k характеризует матрица условных вероятностей ||P(q_jk/b_i)||, элемент которой есть вероятность получения ответа q_jk при условии, что испытуемый в действительности имеет уровень знаний, соответствующий оценке b_i. Значения указанных условных вероятностей определяются на основании экспертных оценок и составляют информационную базу системы.
При заданных значениях априорных вероятностей P(b_i), предшествовавших очередной проверке, каждая из проверок обладает некоторой информативностью.
Из множества проверок выбирается наиболее информативная. По результатам ее проведения уточняются апостериорные значения вероятностей P(b_i), которые принимаются за исходные при проведении последующей проверки. Процесс повторяется до тех пор, пока значение одной из вероятностей не достигнет заданного уровня.
Так как состояния b_i составляют полную группу событий, то остальные значения апостериорных вероятностей должны уменьшаться. Действительное состояние испытуемого то, которое соответствует наибольшему из значений апостериорных вероятностей.
Оценка уровня знаний с использованием двоичных оценок. Проверка состоит из заданий, на каждое из которых испытуемые могут дать два ответа – правильный или ошибочный. Каждый испытуемый характеризуется некоторым определенным уровнем знаний z, а каждое задание характеризуется своей сложностью . Испытуемый может дать правильный ответ с вероятностью р и ошибочный ответ – с вероятностью q=1-р.
Величину х=z/ называют относительным уровнем знаний испытуемого по отношению к сложности задания. Чем выше уровень знаний z, тем меньше вероятность ошибочного ответа q, которая также зависит от сложности тестирующего вопроса. 
Среди множества уровней знаний z выделим нулевой уровень (z₀=0), который характеризуется полным отсутствием знаний у испытуемого, по отношению к заданию.
Задание может предлагаться испытуемым в форме ответов, из которых он обязан выбрать элементы, соответствующие правильному ответу. При полном отсутствии знаний испытуемый выбирает элементы случайным образом, так что вероятность p(z₀)=p(0) правильного ответа зависит от соотношения чисел элементов, соответствующих правильному или ошибочному ответу. Если при полном отсутствии знаний получение правильного или ошибочного ответа равновероятно, то такое задание называют элементарным. Вероятности р правильного выбора и q ошибочного выбора при этом равны между собой: q(z₀)=p(z₀) - 0,5.
Уровень z определяется суммой элементарных знаний z о задании. Каждые элементарные дополнительные знания повышают вероятность правильного ответа на величину p(z). Следовательно, функция 
есть плотность распределения вероятностей получения правильного ответа в зависимости от приращения уровня знаний, а интегральная функция  есть вероятность правильного ответа при уровне знаний z.
Так как величина z является суммой элементарных знаний о предмете и зависит от множества случайных факторов, то, согласно центральной предельной теореме [5], примем гипотезу, что плотность распределения вероятностей правильных ответов подчиняется нормальному закону:,где – среднее квадратическое отклонение, определяющее сложность бинарного задания. Интегральная функция этого распределения имеет вид. Заменим переменную х=z/ и получим. Параметр характеризует сложность элементарного задания, а переменная x-относительный уровень знаний по отношению к сложности элементарного задания. По определению [5] значения функции F(z,)характеризуют вероятности правильного ответа при элементарном задании, т.е. F(z,)=p(z,). При отсутствии априорных знаний (нулевой уровень, х=0) вероятность правильного ответа p(0)=0,5, а при достаточно высоком уровне знаний (х>3) вероятность правильного ответа приближается к единице.
Если  можно записать в виде, где первый интеграл равен 0,5, а второй является функцией Лапласа, то , что характеризует вероятность получения правильного ответа при относительном уровне знаний, равном z/.
Если ввести понятие образца элементарного задания, которое имеет сложность ₀, принимаемую за единицу измерения, то:.
В последней формуле уровень знаний и сложность элементарного задания приведены в относительных единицах по отношению к сложности ₀образцового элементарного задания.
Рассмотренные вероятностные методы диагностирования знаний имеют погрешность метода, связанную с субъективными гипотезами подчинения нормальному закону плотности распределения вероятностей правильных ответов. Это далеко не так и как правило не находит подтверждения на практике. Причем для подтверждения также необходимы испытания с большой выборкой, что сложно обеспечить.
Нечеткие критерии оценки знаний. Избежать недостатков вероятностных методов диагностирования знаний позволяет применение методов искусственного интеллекта. Задание критериев оценки качества знаний можно выполнить в вербальном представлении с применением возможностей теории нечетких множеств и теории возможностей[6].
Известна следующая классификация знаний: базовые (фундаментальные), компилятивные, неполные, нечеткие, поверхностные, предметные, процедурные[7].
Классификация и определение видов знаний учитываются при формировании критериев оценки знаний обучаемых. 
При вербальном задании критериев оценки знаний формализация критериев осуществляется в виде лингвистических и нечетких переменных. Рассмотрим определения, которые будут применены при формализации критериев.
Нечеткое множество  представляет собой множество пар, задаваемых на базовом множестве X [8]

,

где - функция принадлежности нечеткого множества.
Критерий оценки знаний определим в виде лингвистической переменной (ЛП), которую задают набором множеств [7]

где: – название ЛП, как критерия оценки знаний; T() – множество лингвистических (вербальных) значений ЛП (терм-множество ЛП); X – область определения ЛП ; G – синтаксическое правило (форма грамматики), порождающее наименования _iT(), вербальных значений ЛП ; М – семантическое правило, которое ставит в соответствие каждой нечеткой переменной _i нечеткое множество;  – смысл нечеткой переменной _i.
Из определения (1) следует, что, например, критерий «уровень предметных знаний» в виде ЛП (вербальное понятие), может быть задан на количественной (измеряемой) шкале, являющейся базовым множествомX. Терм-множество критерия «уровень предметных знаний» может иметь вид: T()={₁, ₂, ₃}={«небольшой уровень предметных знаний», «средний уровень предметных знаний», «большой уровень предметных знаний», «высокий уровень предметных знаний»}.
Элементы терм-множества ЛП определяются, как нечеткие переменные (НП), которые задают тройкой множеств,где _i – наименованиеi-й НП, X – область определения, для каждой НП _i, xX – нечеткое подмножество в множестве X, - функция принадлежности элементов x из множества X нечеткому множеству , которые задаются экспертными методами [8], как субъективная мера того, насколько элементxX соответствует понятию, смысл которого формализуется нечетким множеством .
Может критерий оценки знаний быть интегральным, то есть состоять из нескольких критериев. В этом случае его формализацию реализуется как нечеткое множество второго уровня. Состояние критерия оценки знаний определяется как нечеткая ситуация: , где- ЛП, представляющая и характеризующая i-й частный критерий интегрального критерия оценки знаний, как состояние интегрального критерия оценки знаний . 
Пусть, например, множество A имеет следующий вид: A={₁, ₂}={«уровень знаний», «структура знаний»}. Терм-множество ЛП ₁ имеет вид: ={«небольшой уровень знаний», «средний уровень знаний», «большой уровень знаний»}. Терм-множество ЛП ₂ имеет вид: ={«знания инвертированные», «знания почти инвертированные», «знания почти правильные», «знания правильные»}.
В виде примера можно привести следующую нечеткую ситуацию состояния критерия оценки знаний : {<<0,15/«небольшой уровень знаний»>, <0,75/«средний уровень знаний»>, <0,6/«большой уровень знаний»> /«уровень знаний>; <<0,1/«знания инвертированные»>, <0,3/«знания почти инвертированные»>, <0,8/«знания почти правильные»>, <0,4/«знания правильные»> /«структура знаний»>}.
Таким образом, в условиях неопределенности качественная информациядля задания критериев оценки знаний в моделях принятия решений формализуется в виде ЛП и НП, задаваемых на шкалах реальных измерений. 
Подобное введение экспертных оценок позволит сделать более достоверным вывод о степени соответствия испытуемого определенному уровню требований относительно уровня знаний в условиях частичной неопределенности.

1. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения: учеб.пособие для студ. высш. учеб. заведений. – 2-е изд., стер. – М.: Издательский центр «Академия», 2008. – 224 с.
2. Заргарян Е.В., Пушнина И.В., Емельянова Ф.В., Пушнина А.А. Исследование моделей оценки результатов тестирования. // Современные научные исследования и инновации. 2013. № 10 (30). С. 8.
3. Косухин В., Логинова Г, Логинова И. Роль и место тестирования в деятельности вуза // Высшее образование в России. 2008. №1. С.94-97.
4. Аванесов В.С. Теория и методика педагогических измерений. ‑ М. Адепт, 2007.
5. Вентцель Е.С. Теория вероятностей. – М.: Наука, 1969.
6. Шестова Е.А. Разработка моделей и методов принятия решений в задачах тестирования знаний //Дисс. на соискание степени канд. техн. наук: Ростов-на-Дону: ЮФУ, 2012.
7. Воройский Ф.С. Информатика. Новый систематизированный толковый словарь-справочник. 3-е изд. ‑ М.: Физматлит, 2003. ‑ 760с.
8. Заргарян Е.В.Многокритериальная задача нечеткой максимизации независимых критериев. Известия Южного федерального университета. Технические науки. 2009. Т. 94. № 5. С. 117-121.

Все статьи автора «Пушнина Инна Валерьевна»