Рассмотрим эти ТЗ и проанализируем их качество с содержательной точки зрения. ТЗ № 13 теста № 3 фактологического уровня и относится к дидактической единице «Электродинамика» по теме «Электромагнитные колебания»:
Источником электромагнитных волн является:
1) постоянный ток, текущий по проводнику
2) покоящийся заряд
3) заряд, движущийся равномерно и прямолинейно
4) заряд, движущийся равномерно по окружности
Авторы ТЗ считают правильным ответ №4, имея в ввиду наличие центростремительного ускорения у такого заряда, однако любой движущийся заряд вне зависимости от характера его скорости (постоянной или переменной) создает магнитное поле. Правильные ответы – 1, 3, 4. Такая конструкция ТЗ «сбивает с толку» «сильных» испытуемых и они отвечают «хуже» «средних».
ТЗ № 20 теста № 3 фактологического уровня и относится к дидактической единице «Электродинамика» по теме «Электростатика»:
Единица измерения напряженности электрического поля в СИ:
Ответы № 1 и 4 в соответствии с теорией могут считаться правильными, но эти единицы не относятся к СИ, так как вольты и ньютоны – производные от основных единиц измерения – кг, м, с, А. Правильный ответ и он не указан в вариантах ответа. В этом ТЗ вариант ответа № 2 обозначен как верный, но это неправильно. «Средние» испытуемые выбирают этот вариант, т.к. он похож на верный, а «сильные» склоняются к вариантам 1 и 4. Конструктивно это ТЗ построено так, что верного варианта ответа просто нет, это грубейшее нарушение.
После удаления ТЗ № 13 и 20 необходимо пересчитать параметры модели измерения. На рис. 12 показано распределение латентных переменных для теста №4.
Рис. 12 Распределение латентных переменных для теста №4.
Анализ адекватности экспериментальных данных модели измерения показал, что набор ТЗ согласован с моделью измерения (рис. 13, Хи-квадрат=0,959).
Рис. 13 Суммарная статистика теста №4
Характеристики ТЗ теста №4 показаны в таблице №8, все ТЗ соответствуют предъявленным требованиям согласно алгоритму оптимизации (рис. 1).
Таблица 8 Характеристики ТЗ теста №4
ТЗ |
Оценка |
Ст. ошибка |
P(Хи-квадрат) j |
ТЗ |
Оценка |
Ст. ошибка |
P(Хи-квадрат) j |
1 |
-0,966 |
0,260 |
0,780 |
20 |
0,727 |
0,209 |
0,858 |
2 |
-0,398 |
0,233 |
0,514 |
21 |
0,585 |
0,210 |
0,390 |
3 |
0,220 |
0,215 |
0,337 |
22 |
-1,437 |
0,291 |
0,430 |
4 |
-1,480 |
0,295 |
0,625 |
23 |
0,807 |
0,209 |
0,024 |
5 |
0,179 |
0,216 |
0,028 |
24 |
0,404 |
0,212 |
0,789 |
6 |
-0,143 |
0,225 |
0,914 |
25 |
0,860 |
0,209 |
0,095 |
7 |
-0,429 |
0,234 |
0,951 |
26 |
-0,752 |
0,249 |
0,749 |
8 |
0,333 |
0,213 |
0,669 |
27 |
-0,701 |
0,246 |
0,746 |
9 |
-0,682 |
0,245 |
0,633 |
28 |
1,201 |
0,210 |
0,950 |
10 |
-0,778 |
0,250 |
0,505 |
29 |
1,377 |
0,212 |
0,517 |
11 |
-0,273 |
0,229 |
0,171 |
30 |
2,464 |
0,246 |
0,536 |
12 |
-0,752 |
0,249 |
0,756 |
31 |
2,764 |
0,264 |
0,792 |
13 |
0,472 |
0,211 |
0,498 |
32 |
1,510 |
0,214 |
0,105 |
14 |
-0,677 |
0,245 |
0,302 |
33 |
0,954 |
0,209 |
0,337 |
15 |
-0,161 |
0,225 |
0,811 |
34 |
-1,708 |
0,314 |
0,064 |
16 |
-1,228 |
0,276 |
0,646 |
35 |
-2,403 |
0,389 |
0,776 |
17 |
-1,134 |
0,270 |
0,300 |
36 |
0,306 |
0,214 |
0,524 |
18 |
-1,624 |
0,306 |
0,602 |
37 |
0,256 |
0,215 |
0,425 |
19 |
-0,552 |
0,239 |
0,439 |
38 |
2,857 |
0,271 |
0,825 |
Анализ ТЗ на дифференцирующую способность показал, что все 38 ТЗ теста №4 дифференцируют испытуемых согласно логическому основанию модели и согласованы с моделью с вероятностью более 0,01. Таким образом, все ТЗ согласно алгоритму оптимизации являются качественными и остаются в тесте.
Анализ равномерности распределения ТЗ в тесте №4 показал, что в этом тесте нет критических окон (рис.13).
Итак, тест №4 имеет следующие качественные характеристики:
-
набор ТЗ согласован с моделью измерения (Хи-квадрат=0,959);
-
все ТЗ дифференцируют испытуемых и имеют согласованность с моделью P(Хи-квадрат)j>0,01;
-
распределение трудностей ТЗ не имеют критических окон.
Согласно алгоритму оптимизации (рис. 1) можно сделать вывод, что тест №4 является измерительным инструментом. На рис. 14 показана динамика роста точности измерения, рис. 3, 6, 10, 13 демонстрируют динамику роста адекватности экспериментальных данных модели измерения, оптимизация теста привела к увеличению статистики P(Хи-квадрат) от значения 0,237 до 0,959.
Рис. 14 Распределение SE на шкале логитов для различных тестов
-
Заключение
На основе научно-обоснованного подхода объективного измерения и моделирования латентных переменных в статье представлен алгоритм оптимизации теста и рассмотрен пример его формирования. Статья демонстрирует динамику роста качества теста как измерительного инструмента с помощью представленного алгоритма.
Основной идеей статьи является то, что качество теста корнями уходит в его содержание. Авторы продемонстрировали эту идею на примере сопоставления статистических характеристик качества теста и анализа содержательной его части.
Обращаем внимание, что тест как измерительный инструмент обязательно нуждается в оценке качества. Авторы считают, что только качественные тесты имеют право на существование. В противном случае они будут наносить только вред, искажая действительность и способствуя ложным выводам. Заметим, что разработка качественного теста – трудоемкая работа, требующая высокой квалификации разработчиков и большого опыта работы в этой области. Авторы надеются, что разработанная и представленная в статье методика анализа качества теста и его оптимизации поможет разработчикам тестов в создании тестов, носящих высокое имя – «измерительный инструмент».
Библиографический список
-
Masters N. G. The Key to Objective Measurement. Australian Council on Educational Research, 2001.
-
Маслак А.А., Осипов С.А. Измерение латентных переменных // Свидетельство о государственной регистрации программ для ЭВМ № 2013618487. Дата государственной регистрации в Реестре программ для ЭВМ 10 сентября 2013 г.
-
Каким быть учебнику: дидактические принципы построения / Под ред. И.Я. Лернера, Н.М. Шахмаева. Ч.1-2., М., 1992
-
Летова Л.В. Исследование качества теста единого государственного экзамена по физике с помощью модели Раша // Управление образованием: теория и практика. 2013. №3(11). – С. 52-61.
-
Летова Л.В. Исследование качества теста как измерительного инструмента // Дистанционное и виртуальное обучение. 2013. №11. – С. 116 – 125.
-
Летова Л.В. Анализ качества теста ЕГЭ по биологии на основе модели Раша // Управление образованием: теория и практика. 2014. №2(14). – С. 100-107.
-
Полонянкин Д.А. Методика формирования познавательной мотивации у студентов младших курсов вузов при обучении физике. – Омск: Изд-во ОмГТУ, 2010. – 48 c.
-
Полонянкин Д.А. Верификация модели формирования мотивации учебной деятельности студентов младших курсов при обучении физике // Вестник ТГПУ. – № 4 (94). – 2010. – С. 125 – 130.
-
Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 1) // Современные научные исследования и инновации. – Апрель 2014. – № 4 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/04/33733 (дата обращения: 21.04.2014).
-
Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 2) // Современные научные исследования и инновации. – Май 2014. – № 5 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/05/33827 (дата обращения: 22.05.2014).