УДК 51-77, 303.714, 303.224.74

ОПТИМИЗАЦИЯ ТЕСТА ПО ФИЗИКЕ НА ОСНОВЕ МОДЕЛИ РАША (ЧАСТЬ 2)

Летова Линара Васильевна1, Полонянкин Денис Андреевич2
1Омский государственный технический университет, Аспирант, Начальник сектора информационно-методической поддержки
2Омский государственный технический университет, к.п.н., старший преподаватель кафедры «Физика»

Аннотация
Для преподавателя важно, чтобы тест являлся объективным и точным измерительным инструментом. В статье в рамках научно-обоснованного метода измерения латентных переменных (модель Раша) рассмотрен процесс формирования теста по физике.

Ключевые слова: измерение латентных переменных, модель Раша, тест как измерительный инструмент


OPTIMIZATION TEST IN PHYSICS BASED ON THE RASCH MODEL (PART 2)

Letova Linara Vasilievna1, Polonyankin Denis Andreevich2
1Omsk State Technical University, Post-Graduate Student, head of the information and methodological support
2Omsk State Technical University, candidate of Pedagogic Sciences assistant professor of physics department

Abstract
For the teacher, it is important that the test is objective and accurate measuring tool. The article in the science-based method of measuring the latent variables (Rasch model) through the process of formation test in physics.

Keywords: measurement of latent variables, Rasch model, test as the measuring tool


Рубрика: 05.00.00 ТЕХНИЧЕСКИЕ НАУКИ

Библиографическая ссылка на статью:
Летова Л.В., Полонянкин Д.А. Оптимизация теста по физике на основе модели Раша (часть 2) // Современные научные исследования и инновации. 2015. № 2. Ч. 1 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2015/02/42968 (дата обращения: 02.06.2017).

  1. Вычисление параметров модели

Параметры модели (рис. 1, п. 3.2.), вычислялись с помощью программного обеспечения [2]. Результаты измерений для теста №1 показаны на рис. 2. Верхняя диаграмма демонстрирует частотное распределение ИЛП, нижняя диаграмма – трудностей ТЗ на единой шкале логитов.


Рис. 2 Распределение латентных переменных для теста №1

  1. Оценка адекватности экспериментальных данных модели измерения

В п. 3.3. алгоритма оптимизации (рис. 1) оценивается адекватность экспериментальных данных модели измерения. Адекватность данных определяется на основе критерия Хи-квадрат. В тесте № 1 набор ТЗ адекватен модели с вероятностью 0,237, что больше критического значения 0,05 (рис. 3).


Рис. 3 Суммарная статистика адекватности теста №1

Это означает, что полученные исходные результаты тестирования можно использовать как для измерения рассматриваемой латентной переменной, так и для измерения уровня трудности ТЗ.

Не менее важной характеристикой адекватности модели является соответствие каждого ТЗ модели измерения. Необходимость рассмотрения этого аспекта объясняется тем, что в целом результаты тестирования могут соответствовать модели измерения, однако даже в таком наборе могут оказаться задания, не соответствующие модели измерения или не достаточно эффективные с точки зрения точности измерения. Поэтому представляется целесообразным рассмотреть задания более подробно. Степень совместимости каждого тестового задания со всем набором тестовых заданий, т.е. соответствие тестового задания модели измерения также определяется на основе критерия Хи-квадрат. В табл. 4 представлены статистические характеристики ТЗ теста №1.

Таблица 4 Статистические характеристики ТЗ теста №1

ТЗ

Оценка βi

Ст. ошибка SE

P(Хи-квадрат) j

ТЗ

Оценка βi

Ст. ошибка SE

P(Хи-квадрат) j

1

-0,536

0,322

0,746

14

-0,096

0,296

0,864

2

-1,175

0,369

0,023

15

0,392

0,275

0,544

3

-1,216

0,372

0,384

16

0,377

0,275

0,670

4

-0,617

0,327

0,911

17

0,092

0,287

0,180

5

-0,966

0,352

0,591

18

0,473

0,272

0,195

6

0,237

0,281

0,340

19

-0,012

0,292

0,459

7

-0,435

0,315

0,882

20

0,310

0,278

0,023

8

-0,439

0,316

0,965

21

0,288

0,279

0,193

9

-0,064

0,295

0,202

22

0,552

0,269

0,549

10

-0,236

0,304

0,415

23

0,915

0,259

0,560

11

-0,518

0,321

0,100

24

1,164

0,254

0,455

12

0,223

0,281

0,299

25

1,186

0,253

0,721

13

0,102

0,287

0,078

«Работу» каждого ТЗ наглядно демонстрирует его характеристическая кривая (рис.4). На характеристических кривых ТЗ по оси абсцисс отложены значения ИЛП в логитах, по оси ординат – ожидаемая вероятность правильного ответа на это задание.
На рис. 4 показаны характеристические кривые ТЗ из теста №1, которые наилучшим (ТЗ №8) и наихудшим (ТЗ №2,20) образом согласованы с моделью измерения.

ТЗ № 8

ТЗ № 2

ТЗ № 20

Рис. 4 Характеристические кривые ТЗ 2,8,20 теста № 1

ТЗ № 2, 20 сконструированы таким образом, что испытуемые с высоким уровнем подготовки (сильные) на них отвечают хуже, чем со средним (рис.4). Это противоречит логическому основанию модели. Модель Раша предполагает вероятностную зависимость активности объекта (испытуемого) по каждому конкретному индикатору от уровня ИЛВ в целом, т.е., чем более выражено у объекта измеряемое латентное качество в целом, тем в большей степени оно должно быть выражено по всем индикаторам. Основной постулат модели: испытуемый с более выраженной ИЛВ проявляет бОльшую активность по всем индикаторам, чем испытуемый с менее выраженной ИЛВ. Выполнение этого условия свидетельствует о пригодности того или иного индикатора и его соответствии логическому основанию модели. Таким образом, качественное измерение с помощью конкретного ТЗ возможно только тогда, когда имеется четко выраженная концепция измеряемого свойства для этого задания.

    Важной характеристикой ТЗ является его дифференцирующая способность. Поэтому, при анализе ТЗ необходимо рассматривать не только его соответствие модели измерения, но и дифференцирующую способность. В соответствие с разработанным алгоритмом оптимизации (рис. 1) ТЗ является качественным, если обладает дифференцирующей способностью согласно логическому основанию модели и имеет критерий согласия Хи-квадрат с вероятностью не менее 0,01. В нашем случае ТЗ № 2 и 20 теста №1 не дифференцируют испытуемых согласно логическому основанию модели (рис.4) и поэтому являются претендентами на удаление.

    Как отмечалось выше, качество теста корнями уходит в его содержание. Представляет интерес рассмотрение ТЗ № 2,20 с содержательной точки зрения. ТЗ № 20 теста № 1 репродуктивного уровня, относящееся к дидактической единице «Элементы кинематики» по теме «Теорема о сложении скоростей» [7].

Скорость течения реки относительно берега 0,8 м/с, скорость лодки относительно берега такая же. При этом лодка выдерживает курс, перпендикулярный берегу. Под каким углом должна быть направлена скорость лодки относительно течения, чтобы выдержать этот курс?

  1. 300 2) 450 3) 600 4) 1200

В этом задании отсутствует правильный ответ, либо некорректно поставлен вопрос. Решение задания может быть проведено с использованием общего случая теоремы о сложении скоростей в классической механике, геометрической интерпретации условия, а также теоремы Пифагора. В качестве правильного ответа составители задания указывают угол 450, в то время как в соответствии с поставленным вопросом скорость лодки относительно течения составляет со скоростью течения реки угол, равный 1350 (1350=450+900) (рис. 5).


Рис. 5 Пояснение к ТЗ № 20 теста № 1

ТЗ № 2 теста № 1 фактологического уровня и относится к дидактическое единице «Квантовая физика» по теме «Закон фотоэффекта» [8].

Скорость выбитых из катода электронов увеличится, если:

1) увеличить энергию падающего на катод света

2) увеличить длину световой волны

3) увеличить площадь катода

4) увеличить частоту световой волны

В этом ТЗ физический смысл ответов 1 и 4 идентичен, что сбивает с толку испытуемых.

    Таким образом, мы сопоставили статистические характеристики качества ТЗ и их содержанием и еще раз убедили читателей в том, что качество теста корнями уходит в его содержание и это подтверждается статистическими показателями.
В связи с тем, что ТЗ №2, 20 некачественные, они удаляются из теста. После удаления этих ТЗ мы получаем тест № 2.

После удаления ТЗ параметры модели необходимо пересчитать (рис. 1). Набор ТЗ (рис. 6) и каждое ТЗ в отдельности (табл. 5) адекватны модели измерения, и обладают дифференцирующей способностью согласно логическому основанию модели.


Рис. 6 Суммарная статистика теста №2

Таблица 5. Характеристики ТЗ теста №2

ТЗ

Оценка

Ст. ошибка

P(Хи-квадрат) j

ТЗ

Оценка

Ст. ошибка

P(Хи-квадрат) j

1

-0,574

0,319

0,847

13

-0,133

0,294

0,985

2

-1,254

0,370

0,722

14

0,359

0,273

0,577

3

-0,654

0,324

0,800

15

0,337

0,274

0,410

4

-1,003

0,348

0,742

16

0,057

0,285

0,396

5

0,197

0,279

0,326

17

0,436

0,270

0,128

6

-0,476

0,313

0,708

18

-0,052

0,290

0,294

7

-0,481

0,313

0,970

19

0,252

0,277

0,126

8

-0,099

0,292

0,166

20

0,508

0,268

0,553

9

-0,274

0,301

0,245

21

0,873

0,258

0,564

10

-0,552

0,318

0,481

22

1,124

0,253

0,436

11

0,188

0,280

0,746

23

1,151

0,254

0,417

12

-0,133

0,294

0,963

Из рис. 3 и 6 видно, что удаление некачественных ТЗ привело к увеличению статистики P(Хи-квадрат) теста от значения 0,237 до 0,562. Это положительная динамика.


Библиографический список
  1. Masters N. G. The Key to Objective Measurement. Australian Council on Educational Research, 2001.
  2. Маслак А.А., Осипов С.А. Измерение латентных переменных // Свидетельство о государственной регистрации программ для ЭВМ № 2013618487. Дата государственной регистрации в Реестре программ для ЭВМ 10 сентября 2013 г.
  3. Каким быть учебнику: дидактические принципы построения / Под ред. И.Я. Лернера, Н.М. Шахмаева. Ч.1-2., М., 1992
  4. Летова Л.В. Исследование качества теста единого государственного экзамена по физике с помощью модели Раша // Управление образованием: теория и практика. 2013. №3(11). – С. 52-61.
  5. Летова Л.В. Исследование качества теста как измерительного инструмента // Дистанционное и виртуальное обучение. 2013. №11. – С. 116 – 125.
  6. Летова Л.В. Анализ качества теста ЕГЭ по биологии на основе модели Раша // Управление образованием: теория и практика. 2014. №2(14). – С. 100-107.
  7. Полонянкин Д.А. Методика формирования познавательной мотивации у студентов младших курсов вузов при обучении физике. – Омск: Изд-во ОмГТУ, 2010. – 48 c.
  8. Полонянкин Д.А. Верификация модели формирования мотивации учебной деятельности студентов младших курсов при обучении физике // Вестник ТГПУ. – № 4 (94). – 2010. – С. 125 – 130.
  9. Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 1) // Современные научные исследования и инновации. – Апрель 2014. – № 4 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/04/33733 (дата обращения: 21.04.2014).
  10. Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 2) // Современные научные исследования и инновации. – Май 2014. – № 5 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/05/33827 (дата обращения: 22.05.2014).


Все статьи автора «Летова Линара Васильевна»


© Если вы обнаружили нарушение авторских или смежных прав, пожалуйста, незамедлительно сообщите нам об этом по электронной почте или через форму обратной связи.

Связь с автором (комментарии/рецензии к статье)

Оставить комментарий

Вы должны авторизоваться, чтобы оставить комментарий.

Если Вы еще не зарегистрированы на сайте, то Вам необходимо зарегистрироваться: