1. Анализ равномерности распределения трудностей ТЗ
   

Каждое ТЗ наиболее точно измеряет испытуемых с уровнем подготовки, соответствующим трудности этого задания. «Провалы» в распределении ТЗ ухудшают метрические свойства теста [9, 10]. Тест как измерительный инструмент – это система ТЗ равномерно возрастающей трудности. Для точного измерения система тестовых заданий должна быть сконструирована таким образом, чтобы обеспечивать их равномерное распределение по трудности в диапазоне ИЛП [5]. При наличии критических окон (провалов) [9, 10], негативно влияющих на точность измерения, рекомендуется доработка теста. Улучшение качества теста в контексте точности измерения достигается, как правило, увеличением длины теста (количества тестовых заданий) с учетом их трудностей.

На рис. 7 представлено распределение латентных переменных для теста №2.

Рис. 7 Распределение латентных переменных для теста №2

Из рис.7 видно, что в районе +2 и -2 логит наблюдаются критические окна [9, 10]. Таким образом, тест №2 для слабых и сильных испытуемых не обеспечивает точного измерения. Количественный анализ стандартной ошибки измерения SE подтверждает это (рис. 8, табл. 6). В таблице 6 и на рис. 8 представлен сравнительный анализ точности измерения для теста №2 с эталоном, когда тестовые задания распределены равномерно. Заметим, что эталонные значения были получены с помощью имитационного моделирования при условии, что распределение ТЗ было равномерным в диапазоне от -4 до +4 логит [9, 10]. В работе [9] было обосновано критическое значение разницы Se – Se эт, равное 0,02 логит (знак минус означает, что точность измерения превышает эталонную).

Таблица 6 Сравнительный анализ точности измерения уровня подготовленности по тесту №2 с эталоном

Рис. 8 Сравнительный анализ точности измерения уровня подготовленности по тесту №2 с эталонными значениями SE

Все результаты анализа свидетельствуют о том, что тест нуждается в доработке, а именно, тест необходимо дополнить легкими и трудными ТЗ, которые бы способствовали более высокой точности измерения уровня подготовленности слабых и сильных испытуемых.

На этом рассмотрение одного этапа оптимизации теста завершено. Дальнейшая оптимизация теста будет выполнена в соответствие с разработанным алгоритмом (рис. 1).

1. Дальнейшая оптимизация теста
   

С учетом вышеизложенного, тест №2 был доработан. В него было добавлено 17 ТЗ. По новому сформированному тесту №3 была протестирована группа студентов радиотехнического факультета в количестве 117 человек. Анализ результатов тестирования не выявил ТЗ, не дифференцирующих испытуемых. Распределение латентных переменных для теста №3 показано на рис. 9.

Рис. 9 Распределение латентных переменных для теста №3

Анализ адекватности экспериментальных данных модели измерения выявил, что набор ТЗ согласован с моделью с вероятностью P(Хи-квадрат)=0,834 (рис. 10) и одно ТЗ не согласованы с моделью (табл. 7).

Рис. 10 Суммарная статистика теста №3

Таблица № 7 Характеристики ТЗ теста №3

Рассмотрим ТЗ, наихудшим образом согласованные с моделью (табл. 7, рис. 11).

Рис. 11 Характеристические кривые ТЗ теста №3, наихудшим образом согласованные с моделью

Анализ ТЗ теста №3 показал, что согласно алгоритму оптимизации теста ТЗ № 25, 27 можно оставить, т.к. они дифференцируют испытуемых согласно логическому основанию модели и имеют согласованность с моделью P(Хи-квадрат)_j>0,01, а ТЗ № 13, 20 – кандидаты на удаление.

1. Masters N. G. The Key to Objective Measurement. Australian Council on Educational Research, 2001.
2. Маслак А.А., Осипов С.А. Измерение латентных переменных // Свидетельство о государственной регистрации программ для ЭВМ № 2013618487. Дата государственной регистрации в Реестре программ для ЭВМ 10 сентября 2013 г.
3. Каким быть учебнику: дидактические принципы построения / Под ред. И.Я. Лернера, Н.М. Шахмаева. Ч.1-2., М., 1992
4. Летова Л.В. Исследование качества теста единого государственного экзамена по физике с помощью модели Раша // Управление образованием: теория и практика. 2013. №3(11). – С. 52-61.
5. Летова Л.В. Исследование качества теста как измерительного инструмента // Дистанционное и виртуальное обучение. 2013. №11. – С. 116 - 125.
6. Летова Л.В. Анализ качества теста ЕГЭ по биологии на основе модели Раша // Управление образованием: теория и практика. 2014. №2(14). – С. 100-107.
7. Полонянкин Д.А. Методика формирования познавательной мотивации у студентов младших курсов вузов при обучении физике. – Омск: Изд-во ОмГТУ, 2010. – 48 c.
8. Полонянкин Д.А. Верификация модели формирования мотивации учебной деятельности студентов младших курсов при обучении физике // Вестник ТГПУ. – № 4 (94). – 2010. – С. 125 – 130.
9. Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 1) // Современные научные исследования и инновации. – Апрель 2014. - № 4 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/04/33733 (дата обращения: 21.04.2014).
10. Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 2) // Современные научные исследования и инновации. – Май 2014. - № 5 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/05/33827 (дата обращения: 22.05.2014).

Все статьи автора «Летова Линара Васильевна»