УДК 62-503.51

АНАЛИЗ ПОСТАНОВКИ ЗАДАЧИ ТЕСТИРОВАНИЯ

Белоглазов Денис Александрович1, Пушнина Инна Валерьевна2, Капустина Ольга Сергеевна3, Пушнина Анастасия Алексеевна4
1Южный Федеральный Университет, к.т.н, доцент кафедры систем автоматического управления
2Южный Федеральный Университет, ассистент кафедры систем автоматического управления
3Южный Федеральный Университет, студент кафедры систем автоматического управления
4Южный Федеральный Университет, студент кафедры систем автоматического управления

Аннотация
Статья посвящена исследованию математических моделей и критериев оценки тестовых заданий в задачах тестирования.

Ключевые слова: апостериорные вероятности, лингвистическая переменная, нечеткая ситуация, нечёткие множества, тестирование знаний, частичная неопределенность


RESEARCH OF MODELS EVALUATION OF A TEST

Beloglazov Denis Aleksandrovich1, Pushnina Inna Valerevna2, Kapustina Olga Sergeevna3, Pushnina Anastasiya Alekseevna4
1Southern Federal University, Ph.D., assistant professor of automatic control systems department
2Southern Federal University, assistant of automatic control systems department
3Southern Federal University, student of automatic control systems department
4Southern Federal University, student of automatic control systems department

Abstract
Article is devoted to the study of mathematical models and criteria for evaluating the test tasks in testing tasks.

Keywords: fuzzy sets, fuzzy situation, linguistic variable, partly uncertainty, posterior probabilities, testing knowledge


Рубрика: 05.00.00 ТЕХНИЧЕСКИЕ НАУКИ

Библиографическая ссылка на статью:
Белоглазов Д.А., Пушнина И.В., Капустина О.С., Пушнина А.А. Анализ постановки задачи тестирования // Современные научные исследования и инновации. 2014. № 1 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/01/30390 (дата обращения: 03.10.2017).

Главная задача тестирования знаний при обучении направлена на обеспечение достоверности результатов оценки качества знаний [1]. Успешное решение задачи тестирования связано с устранением субъективности экзаменаторов, неординарности требований, неопределенности системы оценок. 
В основе задачи тестирования знаний находится математическую модель системы оценок знаний [2], в которой должны быть учтены недостатки методов контроля знаний, критерии качества, уровни и технологии образования. В модели должна присутствовать обратная связь для решения задач коррекции модели, равно, как и для улучшения свойств заданий теста.
Формирование оценки качества образования связано с формированием методологических исследований и созданием средств адекватной оценки подготовки обучаемых. Качество образования- комплексная характеристика, определяемая, как минимум, тремя факторами: качество функционирования системы образования, государственными образовательными стандартами и представлениями преподавателей об эталоне качества подготовки специалиста.
Решение задачи тестирования знаний направлено на поддержку системы управления качеством образования[1,3,4].
Рассмотрим критерии оценки тестовых заданий в задачах тестирования.
Диагностические состояния и проверки. Определим, что при тестировании обучаемый находится в состоянии bi с вероятностью P(bi). Тестирование – есть выполнение испытуемым ряда заданий, причем, чем больше значение вероятности P(bi), тем эффективнее результаты испытания с позиций качества.
Выполнение задания рассматривается как проведение последовательных проверок. Каждому заданию ставится в соответствие одна проверка Рk, а каждому ответу соответствует исход qjk этой проверки.
Если испытуемый имеет уровень знаний, оцениваемый состоянием bi, то при корректно сформулированных заданиях значение апостериорной вероятности P(bi) после каждой проверки будет возрастать, а значения вероятностей, соответствующие остальным состояниям, – убывать.
Каждую проверку Пk характеризует матрица условных вероятностей ||P(qjk/bi)||, элемент которой есть вероятность получения ответа qjk при условии, что испытуемый в действительности имеет уровень знаний, соответствующий оценке biЗначения указанных условных вероятностей определяются на основании экспертных оценок и составляют информационную базу системы.
При заданных значениях априорных вероятностей P(bi), предшествовавших очередной проверке, каждая из проверок обладает некоторой информативностью.
Из множества проверок выбирается наиболее информативная. По результатам ее проведения уточняются апостериорные значения вероятностей P(bi), которые принимаются за исходные при проведении последующей проверки. Процесс повторяется до тех пор, пока значение одной из вероятностей не достигнет заданного уровня.
Так как состояния bсоставляют полную группу событий, то остальные значения апостериорных вероятностей должны уменьшаться. Действительное состояние испытуемого то, которое соответствует наибольшему из значений апостериорных вероятностей.
Оценка уровня знаний с использованием двоичных оценок. Проверка состоит из заданий, на каждое из которых испытуемые могут дать два ответа – правильный или ошибочный. Каждый испытуемый характеризуется некоторым определенным уровнем знаний z, а каждое задание характеризуется своей сложностью . Испытуемый может дать правильный ответ с вероятностью р и ошибочный ответ – с вероятностью q=1-р.
Величину х=z/ называют относительным уровнем знаний испытуемого по отношению к сложности задания. Чем выше уровень знаний z, тем меньше вероятность ошибочного ответа q, которая также зависит от сложности тестирующего вопроса. 
Среди множества уровней знаний выделим нулевой уровень (z0=0), который характеризуется полным отсутствием знаний у испытуемого, по отношению к заданию.
Задание может предлагаться испытуемым в форме ответов, из которых он обязан выбрать элементы, соответствующие правильному ответу. При полном отсутствии знаний испытуемый выбирает элементы случайным образом, так что вероятность p(z0)=p(0) правильного ответа зависит от соотношения чисел элементов, соответствующих правильному или ошибочному ответу. Если при полном отсутствии знаний получение правильного или ошибочного ответа равновероятно, то такое задание называют элементарным. Вероятности р правильного выбора и ошибочного выбора при этом равны между собой: q(z0)=p(z0) 0,5.
Уровень определяется суммой элементарных знаний z о задании. Каждые элементарные дополнительные знания повышают вероятность правильного ответа на величину p(z). Следовательно, функция 
есть плотность распределения вероятностей получения правильного ответа в зависимости от приращения уровня знаний, а интегральная функция  есть вероятность правильного ответа при уровне знаний z.
Так как величина является суммой элементарных знаний о предмете и зависит от множества случайных факторов, то, согласно центральной предельной теореме [5], примем гипотезу, что плотность распределения вероятностей правильных ответов подчиняется нормальному закону:,где – среднее квадратическое отклонение, определяющее сложность бинарного задания. Интегральная функция этого распределения имеет вид. Заменим переменную х=z/ и получим. Параметр характеризует сложность элементарного задания, а переменная x-относительный уровень знаний по отношению к сложности элементарного задания. По определению [5] значения функции F(z,)характеризуют вероятности правильного ответа при элементарном задании, т.е. F(z,)=p(z,). При отсутствии априорных знаний (нулевой уровень, х=0) вероятность правильного ответа p(0)=0,5, а при достаточно высоком уровне знаний >3) вероятность правильного ответа приближается к единице.
Если  можно записать в виде, где первый интеграл равен 0,5, а второй является функцией Лапласа, то , что характеризует вероятность получения правильного ответа при относительном уровне знаний, равном z/.
Если ввести понятие образца элементарного задания, которое имеет сложность 0, принимаемую за единицу измерения, то:.
В последней формуле уровень знаний и сложность элементарного задания приведены в относительных единицах по отношению к сложности 0образцового элементарного задания.
Рассмотренные вероятностные методы диагностирования знаний имеют погрешность метода, связанную с субъективными гипотезами подчинения нормальному закону плотности распределения вероятностей правильных ответов. Это далеко не так и как правило не находит подтверждения на практике. Причем для подтверждения также необходимы испытания с большой выборкой, что сложно обеспечить.
Нечеткие критерии оценки знаний. Избежать недостатков вероятностных методов диагностирования знаний позволяет применение методов искусственного интеллекта. Задание критериев оценки качества знаний можно выполнить в вербальном представлении с применением возможностей теории нечетких множеств и теории возможностей[6].
Известна следующая классификация знаний: базовые (фундаментальные), компилятивные, неполные, нечеткие, поверхностные, предметные, процедурные[7].
Классификация и определение видов знаний учитываются при формировании критериев оценки знаний обучаемых. 
При вербальном задании критериев оценки знаний формализация критериев осуществляется в виде лингвистических и нечетких переменных. Рассмотрим определения, которые будут применены при формализации критериев.
Нечеткое множество  представляет собой множество пар, задаваемых на базовом множестве X [8]

,

где - функция принадлежности нечеткого множества.
Критерий оценки знаний определим в виде лингвистической переменной (ЛП), которую задают набором множеств [7]

<,T(),X,G,M>, (1)

где: – название ЛП, как критерия оценки знаний; T() – множество лингвистических (вербальных) значений ЛП (терм-множество ЛП); X – область определения ЛП ; G – синтаксическое правило (форма грамматики), порождающее наименования iT(), вербальных значений ЛП ; М – семантическое правило, которое ставит в соответствие каждой нечеткой переменной i нечеткое множество;  – смысл нечеткой переменной i.
Из определения (1) следует, что, например, критерий «уровень предметных знаний» в виде ЛП (вербальное понятие), может быть задан на количественной (измеряемой) шкале, являющейся базовым множествомX. Терм-множество критерия «уровень предметных знаний» может иметь вид: T()={123}={«небольшой уровень предметных знаний», «средний уровень предметных знаний», «большой уровень предметных знаний», «высокий уровень предметных знаний»}.
Элементы терм-множества ЛП определяются, как нечеткие переменные (НП), которые задают тройкой множеств,где i – наименованиеi-й НП, X – область определения, для каждой НП ixX – нечеткое подмножество в множестве X- функция принадлежности элементов x из множества X нечеткому множеству , которые задаются экспертными методами [8], как субъективная мера того, насколько элементxX соответствует понятию, смысл которого формализуется нечетким множеством .
Может критерий оценки знаний быть интегральным, то есть состоять из нескольких критериев. В этом случае его формализацию реализуется как нечеткое множество второго уровня. Состояние критерия оценки знаний определяется как нечеткая ситуация: , где- ЛП, представляющая и характеризующая i-й частный критерий интегрального критерия оценки знаний, как состояние интегрального критерия оценки знаний 
Пусть, например, множество A имеет следующий вид: A={12}={«уровень знаний», «структура знаний»}. Терм-множество ЛП 1 имеет вид: ={«небольшой уровень знаний», «средний уровень знаний», «большой уровень знаний»}. Терм-множество ЛП 2 имеет вид: ={«знания инвертированные», «знания почти инвертированные», «знания почти правильные», «знания правильные»}.
В виде примера можно привести следующую нечеткую ситуацию состояния критерия оценки знаний : {<<0,15/«небольшой уровень знаний»>, <0,75/«средний уровень знаний»>, <0,6/«большой уровень знаний»> /«уровень знаний>; <<0,1/«знания инвертированные»>, <0,3/«знания почти инвертированные»>, <0,8/«знания почти правильные»>, <0,4/«знания правильные»> /«структура знаний»>}.
Таким образом, в условиях неопределенности качественная информациядля задания критериев оценки знаний в моделях принятия решений формализуется в виде ЛП и НП, задаваемых на шкалах реальных измерений. 
Подобное введение экспертных оценок позволит сделать более достоверным вывод о степени соответствия испытуемого определенному уровню требований относительно уровня знаний в условиях частичной неопределенности.


Библиографический список
  1. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения: учеб.пособие для студ. высш. учеб. заведений. – 2-е изд., стер. – М.: Издательский центр «Академия», 2008. – 224 с.
  2. Заргарян Е.В., Пушнина И.В., Емельянова Ф.В., Пушнина А.А. Исследование моделей оценки результатов тестирования. // Современные научные исследования и инновации. 2013. № 10 (30). С. 8.
  3. Косухин В., Логинова Г, Логинова И. Роль и место тестирования в деятельности вуза // Высшее образование в России. 2008. №1. С.94-97.
  4. Аванесов В.С. Теория и методика педагогических измерений. ‑ М. Адепт, 2007.
  5. Вентцель Е.С. Теория вероятностей. – М.: Наука, 1969.
  6. Шестова Е.А. Разработка моделей и методов принятия решений в задачах тестирования знаний //Дисс. на соискание степени канд. техн. наук: Ростов-на-Дону: ЮФУ, 2012.
  7. Воройский Ф.С. Информатика. Новый систематизированный толковый словарь-справочник. 3-е изд. ‑ М.: Физматлит, 2003. ‑ 760с.
  8. Заргарян Е.В.Многокритериальная задача нечеткой максимизации независимых критериев. Известия Южного федерального университета. Технические науки. 2009. Т. 94. № 5. С. 117-121.


Все статьи автора «Пушнина Инна Валерьевна»


© Если вы обнаружили нарушение авторских или смежных прав, пожалуйста, незамедлительно сообщите нам об этом по электронной почте или через форму обратной связи.

Связь с автором (комментарии/рецензии к статье)

Оставить комментарий

Вы должны авторизоваться, чтобы оставить комментарий.

Если Вы еще не зарегистрированы на сайте, то Вам необходимо зарегистрироваться: