УДК 62-503.51

ИССЛЕДОВАНИЕ МОДЕЛЕЙ ОЦЕНКИ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ

Заргарян Елена Валерьевна1, Пушнина Инна Валерьевна2, Емельянова Фаина Валерьевна3, Пушнина Анастасия Алексеевна4
1Южный Федеральный Университет, к.т.н, доцент кафедры систем автоматического управления
2Южный Федеральный Университет, ассистент кафедры систем автоматического управления
3Южный Федеральный Университет, магистрант кафедры систем автоматического управления
4Южный Федеральный Университет, студент кафедры систем автоматического управления

Аннотация
Статья посвящена исследованию и разработке новых моделей принятия решений при тестировании знаний, где параметры модели задаются в виде лингвистических переменных.

Ключевые слова: теория нечетких множеств, теория нечеткой логики, теория построения нечетких ситуационных моделей, тестирование знаний


RESEARCH OF MODELS EVALUATION OF A TEST

Zargaryan E.V.1, Pushnina I.V.2, Emelyanova F.V.3, Pushnina A.A.4
1Southern Federal University, Ph.D., assistant professor of automatic control systems department
2Southern Federal University, assistant of automatic control systems department
3Southern Federal University, master student of automatic control systems department
4Southern Federal University, Ph.D., student of automatic control systems department

Abstract
The article is devoted to research and development of new models of decision-making at testing the knowledge, where the model parameters are given in the form of linguistic variables.

Keywords: fuzzy logic theory, testing knowledge, theory of fuzzy sets, theory of the construction of fuzzy situational models


Рубрика: 05.00.00 ТЕХНИЧЕСКИЕ НАУКИ

Библиографическая ссылка на статью:
Заргарян Е.В., Пушнина И.В., Емельянова Ф.В., Пушнина А.А. Исследование моделей оценки результатов тестирования // Современные научные исследования и инновации. 2013. № 10 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2013/10/28150 (дата обращения: 04.10.2017).

В системах образования России созданы и функционируют системы менеджмента качества образования, в которых применяется тестирование знаний. Задачи создания Общероссийской системы оценки качества образования (ОСОКО) связаны с анализом и психолого-педагогической интерпретацией латентных характеристик подготовленности выпускников, разработкой моделей содержательной преемственности тестовых материалов для итогового контроля на различных ступенях обучения.

Разработка новых моделей принятия решений при тестировании знаний должна позволять проектировать программное обеспечение, обеспечивающего поддержку различных форм заданий, реализацию разных сценариев контроля и адекватную обработку результатов тестирования.

В традиционной системе тестирования уровень знаний определяется долей правильных ответов, следовательно, оценка уровня знаний зависит от трудности заданий в тесте и не может считаться объективной. Для измерения уровня знаний стали применять модель Раша [1,2], позволяющая в отличие от традиционной системы тестирования получить объективные оценки знаний студентов за счет того, что оценка уровня знаний не зависит от трудности теста.

Применяют модели оценки тестирования на основе системологического классификационного анализа [3], позволяющего рассматривать знания системно для сложных неформализованных слабоструктурированных предметных областей.

Существуют модели на основе нейронных сетей, позволяющие реализовать обучение с учителем, обладающие свойствами адаптивности, увеличивающие достоверность принимаемого решения. Знания представляются в нейронной сети с помощью ее состояния активации и, как следствие, существование нейронной сети связано с контекстной информацией. Нейронные сети являются универсальным механизмом обработки информации.

Для оценки уровня обучения и для аттестации образовательного учреждения профессионального образования разработана технология [4] Центром государственной аккредитации, которая включает в себя модель формирования аттестационных педагогических измерительных материалов (АПИМ), методику обработки результатов и организацию педагогических измерений на основе выборочных методов как по отношению к дисциплинам, так и к контингенту обучающихся.

Модели оценивания при аттестационно-педагогических измерениях относятся к вероятностным моделям. Модель АПИМ есть совокупность независимых разделов дисциплин с одинаковой вероятностью решения. Следует получить значение вероятности решения совокупности всех групп заданий. Основу расчетов составляет формула Бернулли [5], которая при принятых условиях позволяет рассчитать вероятности не менее k благоприятных событий из общего числа n независимых событий

.

Применение теории нечетких множеств, введение понятия лингвистической и нечеткой переменной [6] предоставляют возможность экспертным путем задать степень истинности ответа в виде функции принадлежности его к используемой шкале оценивания истинности. Данная модель позволяет получать количественную оценку принимаемых решений по их качественным описаниям. Тестируемому выдают варианты ответов, степень истинности которых не может быть однозначно определена в категориях «правильно» или «неправильно». Количественная оценка истинности выбираемых ответов и принятие решения об итоговой оценке осуществляется с применением нечеткой логики [6].

В работе [7] оценка знаний осуществляется с применением лингвистических переменных на базовой шкале оценивания. Лингвистические переменные (ЛП): a1 – правильно; a2 – не совсем правильно; a3 – неполно; a4 – неточно;
a5 – неопределенно;
a6 – неправильно.

Пример оценки знаний [7] фактически осуществляется не по лингвистическим, а по нечетким переменным, т.к. оценка знания вариантов ответов на каждое тестовое имеет вид:

{a1/0,8; a2/0,4; a3/0,2; a4/0,1; a5/0; a6/0}.

Данная модель показывает, что степень суммарной истинности ответов тестируемого оценивается путем подсчета результирующей функции принадлежности с использованием нечеткой алгебры. Окончательное принятие решения об оценке знаний принимают путем сравнением полученной результирующей функции принадлежности с эталонными функциями принадлежности каждой оценки применяемой шкалы итогового оценивания. В качестве итоговой оценки принимается та, для которой скалярное расстояние между ее функцией принадлежности и результирующей функцией принадлежности всего теста оказывается минимальным [7].

Развитие данного подхода состоит в том, что для каждой ЛП может быть задано собственное терм-множество с нечеткими переменными и функциями принадлежности на базовом множестве, определенном диапазоном оценок теста. Для вывода оценки знаний могут применяться продукционные модели, например модель принятия решений при
композиции нечетких правил вывода.

Пусть при тестировании испытуемые могут получить от нуля до ста баллов. Рассмотрим применение модели, имеющей название «модель композиции» [6]. Применение этой модели нечеткого логического вывода, как дополнение к полученным результатам тестирования, позволит не только снизить степень информационной неопределенности, но и повысить объективность оценки результатов тестирования. Модель композиции нечетких правил вывода задают в виде набора множеств (XTH), где X и H определены так же, как и в модели классификации нечетких ситуаций, Т – множество, элементы которого представляют собой формальную запись в виде продукций словесно-качественной информации экспертов.

Пусть входные переменные задачи тестирования в виде лингвистических переменных определены так же, как и для модели классификации. Результат тестирования определен в виде лингвистической переменной b «оценивание знаний» с терм-множеством: Т(b)={b1 – неудовлетворительно; b2 –удовлетворительно;
b3 –хорошо;
b4 отлично}. Базовое множество принимаемых решений задано на отрезке [0, 100] баллов. На рис. 1 показан вариант задания функций принадлежности лингвистической переменной «результат тестирования».


Рис.1. Функции принадлежности лингвистической переменной «оценивание знаний»

Оценка «отлично» соответствует 80 – 100 набранным баллам, оценка «хорошо» соответствует 65 – 79 набранным баллам и т.д.

Рассмотрим работу модели принятия решений при композиции нечетких правил вывода на примере задания множества Т={Ri}, где Ri
i-ое нечеткое продукционное правило, сформулированное экспертным путем. Пусть экспертами будут заданы правила {R1,R2,R3,…,R22}. Например:

R1: если недостаточное количество выполненных заданий «А» и недостаточное количество выполненных заданий «В» и – среднее число ошибок в решаемых заданиях «А» и среднее число ошибок в решаемых заданиях «В» и значащие ошибки задания «А» и значащие ошибки задания «В» и низкое качество обучения, то b1 – неудовлетворительный результат тестирования.

R2: если недостаточное количество выполненных заданий «А» и недостаточное количество выполненных заданий «В» и – среднее число ошибок в решаемых заданиях «А» и среднее число ошибок в решаемых заданиях «В» и значащие ошибки задания «А» и значащие ошибки задания «В» и среднее качество обучения, то b1 – неудовлетворительный результат тестирования.


R21: если очень большое количество выполненных заданий «А» и очень большое количество выполненных заданий «В» и среднее число ошибок в решаемых заданиях «А» и среднее число ошибок в решаемых заданиях «В» и незначащие ошибки задания «А» и незначащие ошибки задания «В» и среднее качество обучения, то b4 – отличный результат тестирования.

R22: если очень большое количество выполненных заданий «А» и очень большое количество выполненных заданий «В» и среднее число ошибок в решаемых заданиях «А» и среднее число ошибок в решаемых заданиях «В» и значащие ошибки задания «А» и значащие ошибки задания «В» и хорошее качество обучения, то b4 – отличный результат тестирования.

Зная функции принадлежности нечетких переменных входных лингвистических переменных a1, a2, a3, a4, a5, a6 и a7 и функции принадлежности лингвистической переменной «результат тестирования», можно для каждого правила Ri вывести функцию принадлежности .

Получив для каждого правила Ri функции принадлежности определяют функцию принадлежности для отношения Т по формуле

.        (1)

Исходя из заданных функций принадлежностей нечетких переменных входных лингвистических переменных a1, a2, a3, a4, a5, a6
и
a7 для результатов тестирования испытуемого определяют конкретные значения степеней принадлежности нечетких переменных терм-множеств этих лингвистических переменных и подставляют их в формулу (1).

Поиск значения hs базового множества H лингвистической переменной b «результат тестирования», доставляющего наибольшее значение функции принадлежности возможен только за счет обычного перебора значений функций принадлежности для b1, b2, b3 и b4.

Выводы

Результаты анализа известных подходов к оценке знаний с применением тестирования показали, что применять классические методы теории вероятностей и математической статистики недостаточно, как для моделирования систем управления качеством образования, так и для получения адекватных оценок знаний при проведении тестирования обучаемых.

Это связано, в первую очередь, с тем, что итоговые оценки по результатам тестирования частично неопределенны, т.е. имеют нечеткое описание в терминах естественного языка. Так же разной может быть степень неопределенности погрешности тестирования.

Для установления адекватной оценки знаний тестируемого необходимо применять методы ситуационного анализа в условиях неполноты данных относительно объектов тестирования и самого теста. Применение данного подхода может быть связано с принятия решений с учетом нескольких заданных критериев, задание которых может быть как четким, так и нечетким.


Библиографический список
  1. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Учебное пособие. М: Исслед. центр проблем качества подготовки специалистов, 1995. 32 с.
  2. Тестовые задания / Под ред. Н.А. Селезневой, В.П. Беспалько. – М.: Гуманит. изд. центр ВЛАДОС, 1999. – 128 с.
  3. Rasch, G. Probabilistic Models for Some Intelligence and Attainment Tests. With a Foreword and Afteword by B.D. Wright. The Univ. of Chicago Press. Chicago & London, 1980. − 199 с.
  4. Савельев Б.А., Масленников А.С. Оценка уровня обученности в целях аттестации образовательного учреждения профессионального образования: Учеб. пособие. – Йошкар-Ола: Центр государственной аккредитации, 2004 – 84 с.
  5. Вентцель Е.С. Теория вероятностей. – М.: Наука, 1969.
  6. Финаев В.И. Модели систем принятия решений: Учебное пособие. – Таганрог: Изд-во ТРТУ, 2005. – 118 с.
  7. Рудинский И.Д. Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического процесса.// Информационные технологии. 2003. №9. С.46–51.


Все статьи автора «Заргарян Елена Валерьевна»


© Если вы обнаружили нарушение авторских или смежных прав, пожалуйста, незамедлительно сообщите нам об этом по электронной почте или через форму обратной связи.

Связь с автором (комментарии/рецензии к статье)

Оставить комментарий

Вы должны авторизоваться, чтобы оставить комментарий.

Если Вы еще не зарегистрированы на сайте, то Вам необходимо зарегистрироваться: