Рассмотрим эти ТЗ и проанализируем их качество с содержательной точки зрения. ТЗ № 13 теста № 3 фактологического уровня и относится к дидактической единице «Электродинамика» по теме «Электромагнитные колебания»:

Источником электромагнитных волн является:

1) постоянный ток, текущий по проводнику

2) покоящийся заряд

3) заряд, движущийся равномерно и прямолинейно

4) заряд, движущийся равномерно по окружности

Авторы ТЗ считают правильным ответ №4, имея в ввиду наличие центростремительного ускорения у такого заряда, однако любой движущийся заряд вне зависимости от характера его скорости (постоянной или переменной) создает магнитное поле. Правильные ответы – 1, 3, 4. Такая конструкция ТЗ «сбивает с толку» «сильных» испытуемых и они отвечают «хуже» «средних».

ТЗ № 20 теста № 3 фактологического уровня и относится к дидактической единице «Электродинамика» по теме «Электростатика»:

Единица измерения напряженности электрического поля в СИ:

Ответы № 1 и 4 в соответствии с теорией могут считаться правильными, но эти единицы не относятся к СИ, так как вольты и ньютоны – производные от основных единиц измерения – кг, м, с, А. Правильный ответ и он не указан в вариантах ответа. В этом ТЗ вариант ответа № 2 обозначен как верный, но это неправильно. «Средние» испытуемые выбирают этот вариант, т.к. он похож на верный, а «сильные» склоняются к вариантам 1 и 4. Конструктивно это ТЗ построено так, что верного варианта ответа просто нет, это грубейшее нарушение.

    После удаления ТЗ № 13 и 20 необходимо пересчитать параметры модели измерения. На рис. 12 показано распределение латентных переменных для теста №4.

Рис. 12 Распределение латентных переменных для теста №4.

Анализ адекватности экспериментальных данных модели измерения показал, что набор ТЗ согласован с моделью измерения (рис. 13, Хи-квадрат=0,959).

Рис. 13 Суммарная статистика теста №4

Характеристики ТЗ теста №4 показаны в таблице №8, все ТЗ соответствуют предъявленным требованиям согласно алгоритму оптимизации (рис. 1).

Таблица 8 Характеристики ТЗ теста №4

Анализ ТЗ на дифференцирующую способность показал, что все 38 ТЗ теста №4 дифференцируют испытуемых согласно логическому основанию модели и согласованы с моделью с вероятностью более 0,01. Таким образом, все ТЗ согласно алгоритму оптимизации являются качественными и остаются в тесте.

    Анализ равномерности распределения ТЗ в тесте №4 показал, что в этом тесте нет критических окон (рис.13).

    Итак, тест №4 имеет следующие качественные характеристики:

• набор ТЗ согласован с моделью измерения (Хи-квадрат=0,959);
  
• все ТЗ дифференцируют испытуемых и имеют согласованность с моделью P(Хи-квадрат)_j>0,01;
  
• распределение трудностей ТЗ не имеют критических окон.
  

Согласно алгоритму оптимизации (рис. 1) можно сделать вывод, что тест №4 является измерительным инструментом. На рис. 14 показана динамика роста точности измерения, рис. 3, 6, 10, 13 демонстрируют динамику роста адекватности экспериментальных данных модели измерения, оптимизация теста привела к увеличению статистики P(Хи-квадрат) от значения 0,237 до 0,959.

Рис. 14 Распределение SE на шкале логитов для различных тестов

1. Заключение
   

На основе научно-обоснованного подхода объективного измерения и моделирования латентных переменных в статье представлен алгоритм оптимизации теста и рассмотрен пример его формирования. Статья демонстрирует динамику роста качества теста как измерительного инструмента с помощью представленного алгоритма.

Основной идеей статьи является то, что качество теста корнями уходит в его содержание. Авторы продемонстрировали эту идею на примере сопоставления статистических характеристик качества теста и анализа содержательной его части.

Обращаем внимание, что тест как измерительный инструмент обязательно нуждается в оценке качества. Авторы считают, что только качественные тесты имеют право на существование. В противном случае они будут наносить только вред, искажая действительность и способствуя ложным выводам. Заметим, что разработка качественного теста – трудоемкая работа, требующая высокой квалификации разработчиков и большого опыта работы в этой области. Авторы надеются, что разработанная и представленная в статье методика анализа качества теста и его оптимизации поможет разработчикам тестов в создании тестов, носящих высокое имя – «измерительный инструмент».

1. Masters N. G. The Key to Objective Measurement. Australian Council on Educational Research, 2001.
2. Маслак А.А., Осипов С.А. Измерение латентных переменных // Свидетельство о государственной регистрации программ для ЭВМ № 2013618487. Дата государственной регистрации в Реестре программ для ЭВМ 10 сентября 2013 г.
3. Каким быть учебнику: дидактические принципы построения / Под ред. И.Я. Лернера, Н.М. Шахмаева. Ч.1-2., М., 1992
4. Летова Л.В. Исследование качества теста единого государственного экзамена по физике с помощью модели Раша // Управление образованием: теория и практика. 2013. №3(11). – С. 52-61.
5. Летова Л.В. Исследование качества теста как измерительного инструмента // Дистанционное и виртуальное обучение. 2013. №11. – С. 116 – 125.
6. Летова Л.В. Анализ качества теста ЕГЭ по биологии на основе модели Раша // Управление образованием: теория и практика. 2014. №2(14). – С. 100-107.
7. Полонянкин Д.А. Методика формирования познавательной мотивации у студентов младших курсов вузов при обучении физике. – Омск: Изд-во ОмГТУ, 2010. – 48 c.
8. Полонянкин Д.А. Верификация модели формирования мотивации учебной деятельности студентов младших курсов при обучении физике // Вестник ТГПУ. – № 4 (94). – 2010. – С. 125 – 130.
9. Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 1) // Современные научные исследования и инновации. – Апрель 2014. – № 4 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/04/33733 (дата обращения: 21.04.2014).
10. Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 2) // Современные научные исследования и инновации. – Май 2014. – № 5 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/05/33827 (дата обращения: 22.05.2014).

Все статьи автора «Летова Линара Васильевна»