1. Вычисление параметров модели
   

Параметры модели (рис. 1, п. 3.2.), вычислялись с помощью программного обеспечения [2]. Результаты измерений для теста №1 показаны на рис. 2. Верхняя диаграмма демонстрирует частотное распределение ИЛП, нижняя диаграмма – трудностей ТЗ на единой шкале логитов.

Рис. 2 Распределение латентных переменных для теста №1

1. Оценка адекватности экспериментальных данных модели измерения
   

В п. 3.3. алгоритма оптимизации (рис. 1) оценивается адекватность экспериментальных данных модели измерения. Адекватность данных определяется на основе критерия Хи-квадрат. В тесте № 1 набор ТЗ адекватен модели с вероятностью 0,237, что больше критического значения 0,05 (рис. 3).

Рис. 3 Суммарная статистика адекватности теста №1

Это означает, что полученные исходные результаты тестирования можно использовать как для измерения рассматриваемой латентной переменной, так и для измерения уровня трудности ТЗ.

Не менее важной характеристикой адекватности модели является соответствие каждого ТЗ модели измерения. Необходимость рассмотрения этого аспекта объясняется тем, что в целом результаты тестирования могут соответствовать модели измерения, однако даже в таком наборе могут оказаться задания, не соответствующие модели измерения или не достаточно эффективные с точки зрения точности измерения. Поэтому представляется целесообразным рассмотреть задания более подробно. Степень совместимости каждого тестового задания со всем набором тестовых заданий, т.е. соответствие тестового задания модели измерения также определяется на основе критерия Хи-квадрат. В табл. 4 представлены статистические характеристики ТЗ теста №1.

Таблица 4 Статистические характеристики ТЗ теста №1

«Работу» каждого ТЗ наглядно демонстрирует его характеристическая кривая (рис.4). На характеристических кривых ТЗ по оси абсцисс отложены значения ИЛП в логитах, по оси ординат – ожидаемая вероятность правильного ответа на это задание.
На рис. 4 показаны характеристические кривые ТЗ из теста №1, которые наилучшим (ТЗ №8) и наихудшим (ТЗ №2,20) образом согласованы с моделью измерения.

ТЗ № 8	ТЗ № 2	ТЗ № 20

Рис. 4 Характеристические кривые ТЗ 2,8,20 теста № 1

ТЗ № 2, 20 сконструированы таким образом, что испытуемые с высоким уровнем подготовки (сильные) на них отвечают хуже, чем со средним (рис.4). Это противоречит логическому основанию модели. Модель Раша предполагает вероятностную зависимость активности объекта (испытуемого) по каждому конкретному индикатору от уровня ИЛВ в целом, т.е., чем более выражено у объекта измеряемое латентное качество в целом, тем в большей степени оно должно быть выражено по всем индикаторам. Основной постулат модели: испытуемый с более выраженной ИЛВ проявляет бОльшую активность по всем индикаторам, чем испытуемый с менее выраженной ИЛВ. Выполнение этого условия свидетельствует о пригодности того или иного индикатора и его соответствии логическому основанию модели. Таким образом, качественное измерение с помощью конкретного ТЗ возможно только тогда, когда имеется четко выраженная концепция измеряемого свойства для этого задания.

    Важной характеристикой ТЗ является его дифференцирующая способность. Поэтому, при анализе ТЗ необходимо рассматривать не только его соответствие модели измерения, но и дифференцирующую способность. В соответствие с разработанным алгоритмом оптимизации (рис. 1) ТЗ является качественным, если обладает дифференцирующей способностью согласно логическому основанию модели и имеет критерий согласия Хи-квадрат с вероятностью не менее 0,01. В нашем случае ТЗ № 2 и 20 теста №1 не дифференцируют испытуемых согласно логическому основанию модели (рис.4) и поэтому являются претендентами на удаление.

    Как отмечалось выше, качество теста корнями уходит в его содержание. Представляет интерес рассмотрение ТЗ № 2,20 с содержательной точки зрения. ТЗ № 20 теста № 1 репродуктивного уровня, относящееся к дидактической единице «Элементы кинематики» по теме «Теорема о сложении скоростей» [7].

Скорость течения реки относительно берега 0,8 м/с, скорость лодки относительно берега такая же. При этом лодка выдерживает курс, перпендикулярный берегу. Под каким углом должна быть направлена скорость лодки относительно течения, чтобы выдержать этот курс?

1. 30⁰ 2) 45⁰ 3) 60⁰ 4) 120⁰
   

В этом задании отсутствует правильный ответ, либо некорректно поставлен вопрос. Решение задания может быть проведено с использованием общего случая теоремы о сложении скоростей в классической механике, геометрической интерпретации условия, а также теоремы Пифагора. В качестве правильного ответа составители задания указывают угол 45⁰, в то время как в соответствии с поставленным вопросом скорость лодки относительно течения составляет со скоростью течения реки угол, равный 135⁰ (135⁰=45⁰+90⁰) (рис. 5).

Рис. 5 Пояснение к ТЗ № 20 теста № 1

ТЗ № 2 теста № 1 фактологического уровня и относится к дидактическое единице «Квантовая физика» по теме «Закон фотоэффекта» [8].

Скорость выбитых из катода электронов увеличится, если:

1) увеличить энергию падающего на катод света

2) увеличить длину световой волны

3) увеличить площадь катода

4) увеличить частоту световой волны

В этом ТЗ физический смысл ответов 1 и 4 идентичен, что сбивает с толку испытуемых.

    Таким образом, мы сопоставили статистические характеристики качества ТЗ и их содержанием и еще раз убедили читателей в том, что качество теста корнями уходит в его содержание и это подтверждается статистическими показателями.
В связи с тем, что ТЗ №2, 20 некачественные, они удаляются из теста. После удаления этих ТЗ мы получаем тест № 2.

После удаления ТЗ параметры модели необходимо пересчитать (рис. 1). Набор ТЗ (рис. 6) и каждое ТЗ в отдельности (табл. 5) адекватны модели измерения, и обладают дифференцирующей способностью согласно логическому основанию модели.

Рис. 6 Суммарная статистика теста №2

Таблица 5. Характеристики ТЗ теста №2

Из рис. 3 и 6 видно, что удаление некачественных ТЗ привело к увеличению статистики P(Хи-квадрат) теста от значения 0,237 до 0,562. Это положительная динамика.

1. Masters N. G. The Key to Objective Measurement. Australian Council on Educational Research, 2001.
2. Маслак А.А., Осипов С.А. Измерение латентных переменных // Свидетельство о государственной регистрации программ для ЭВМ № 2013618487. Дата государственной регистрации в Реестре программ для ЭВМ 10 сентября 2013 г.
3. Каким быть учебнику: дидактические принципы построения / Под ред. И.Я. Лернера, Н.М. Шахмаева. Ч.1-2., М., 1992
4. Летова Л.В. Исследование качества теста единого государственного экзамена по физике с помощью модели Раша // Управление образованием: теория и практика. 2013. №3(11). – С. 52-61.
5. Летова Л.В. Исследование качества теста как измерительного инструмента // Дистанционное и виртуальное обучение. 2013. №11. – С. 116 – 125.
6. Летова Л.В. Анализ качества теста ЕГЭ по биологии на основе модели Раша // Управление образованием: теория и практика. 2014. №2(14). – С. 100-107.
7. Полонянкин Д.А. Методика формирования познавательной мотивации у студентов младших курсов вузов при обучении физике. – Омск: Изд-во ОмГТУ, 2010. – 48 c.
8. Полонянкин Д.А. Верификация модели формирования мотивации учебной деятельности студентов младших курсов при обучении физике // Вестник ТГПУ. – № 4 (94). – 2010. – С. 125 – 130.
9. Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 1) // Современные научные исследования и инновации. – Апрель 2014. – № 4 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/04/33733 (дата обращения: 21.04.2014).
10. Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 2) // Современные научные исследования и инновации. – Май 2014. – № 5 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/05/33827 (дата обращения: 22.05.2014).

Все статьи автора «Летова Линара Васильевна»