УДК 51-77, 303.714, 303.224.74

ОПТИМИЗАЦИЯ ТЕСТА ПО ФИЗИКЕ НА ОСНОВЕ МОДЕЛИ РАША (ЧАСТЬ 3)

Летова Линара Васильевна1, Полонянкин Денис Андреевич2
1Омский государственный технический университет, Аспирант, Начальник сектора информационно-методической поддержки
2Омский государственный технический университет, к.п.н., старший преподаватель кафедры «Физика»

Аннотация
Для преподавателя важно, чтобы тест являлся объективным и точным измерительным инструментом. В статье в рамках научно-обоснованного метода измерения латентных переменных (модель Раша) рассмотрен процесс формирования теста по физике.

Ключевые слова: измерение латентных переменных, модель Раша, тест как измерительный инструмент


OPTIMIZATION TEST IN PHYSICS BASED ON THE RASCH MODEL (PART 3)

Letova Linara Vasilievna1, Polonyankin Denis Andreevich2
1Omsk State Technical University, Post-Graduate Student, head of the information and methodological support
2Omsk State Technical University, candidate of Pedagogic Sciences assistant professor of physics department

Abstract
For the teacher, it is important that the test is objective and accurate measuring tool. The article in the science-based method of measuring the latent variables (Rasch model) through the process of formation test in physics.

Keywords: measurement of latent variables, Rasch model, test as the measuring tool


Рубрика: 05.00.00 ТЕХНИЧЕСКИЕ НАУКИ

Библиографическая ссылка на статью:
Летова Л.В., Полонянкин Д.А. Оптимизация теста по физике на основе модели Раша (часть 3) // Современные научные исследования и инновации. 2015. № 3. Ч. 1 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2015/03/42976 (дата обращения: 02.06.2017).


  1. Анализ равномерности распределения трудностей ТЗ

Каждое ТЗ наиболее точно измеряет испытуемых с уровнем подготовки, соответствующим трудности этого задания. «Провалы» в распределении ТЗ ухудшают метрические свойства теста [9, 10]. Тест как измерительный инструмент – это система ТЗ равномерно возрастающей трудности. Для точного измерения система тестовых заданий должна быть сконструирована таким образом, чтобы обеспечивать их равномерное распределение по трудности в диапазоне ИЛП [5]. При наличии критических окон (провалов) [9, 10], негативно влияющих на точность измерения, рекомендуется доработка теста. Улучшение качества теста в контексте точности измерения достигается, как правило, увеличением длины теста (количества тестовых заданий) с учетом их трудностей.

На рис. 7 представлено распределение латентных переменных для теста №2.


Рис. 7 Распределение латентных переменных для теста №2

Из рис.7 видно, что в районе +2 и -2 логит наблюдаются критические окна [9, 10]. Таким образом, тест №2 для слабых и сильных испытуемых не обеспечивает точного измерения. Количественный анализ стандартной ошибки измерения SE подтверждает это (рис. 8, табл. 6). В таблице 6 и на рис. 8 представлен сравнительный анализ точности измерения для теста №2 с эталоном, когда тестовые задания распределены равномерно. Заметим, что эталонные значения были получены с помощью имитационного моделирования при условии, что распределение ТЗ было равномерным в диапазоне от -4 до +4 логит [9, 10]. В работе [9] было обосновано критическое значение разницы Se – Se эт, равное 0,02 логит (знак минус означает, что точность измерения превышает эталонную).

Таблица 6 Сравнительный анализ точности измерения уровня подготовленности по тесту №2 с эталоном

βi

Se среднее

Se – Se эт

Тест №2

эталон (без окон)

-4

 

0,638

 

-3

1,03

0,534

0,496

-2

0,632

0,482

0,15

-1

0,505

0,467

0,038

0

0,44

0,464

-0,024

1

0,485

0,468

0,017

2

0,624

0,487

0,137

3

1,04

0,534

0,506

4

 

0,626

 


Рис. 8 Сравнительный анализ точности измерения уровня подготовленности по тесту №2 с эталонными значениями SE

Все результаты анализа свидетельствуют о том, что тест нуждается в доработке, а именно, тест необходимо дополнить легкими и трудными ТЗ, которые бы способствовали более высокой точности измерения уровня подготовленности слабых и сильных испытуемых.

На этом рассмотрение одного этапа оптимизации теста завершено. Дальнейшая оптимизация теста будет выполнена в соответствие с разработанным алгоритмом (рис. 1).

  1. Дальнейшая оптимизация теста

С учетом вышеизложенного, тест №2 был доработан. В него было добавлено 17 ТЗ. По новому сформированному тесту №3 была протестирована группа студентов радиотехнического факультета в количестве 117 человек. Анализ результатов тестирования не выявил ТЗ, не дифференцирующих испытуемых. Распределение латентных переменных для теста №3 показано на рис. 9.


Рис. 9 Распределение латентных переменных для теста №3

Анализ адекватности экспериментальных данных модели измерения выявил, что набор ТЗ согласован с моделью с вероятностью P(Хи-квадрат)=0,834 (рис. 10) и одно ТЗ не согласованы с моделью (табл. 7).


Рис. 10 Суммарная статистика теста №3

Таблица № 7 Характеристики ТЗ теста №3

ТЗ

Оценка

Ст. ошибка

P(Хи-квадрат) j

ТЗ

Оценка

Ст. ошибка

P(Хи-квадрат) j

1

-0,947

0,260

0,454

21

-0,528

0,239

0,600

2

-0,375

0,233

0,540

22

0,744

0,208

0,199

3

0,239

0,214

0,712

23

0,595

0,209

0,296

4

-1,455

0,295

0,722

24

-1,409

0,291

0,700

5

0,196

0,215

0,131

25

0,824

0,207

0,05

6

-0,123

0,224

0,724

26

0,417

0,211

0,636

7

-0,411

0,234

0,685

27

0,870

0,207

0,039

8

0,348

0,212

0,777

28

-0,722

0,248

0,823

9

-0,658

0,245

0,551

29

-0,675

0,246

0,509

10

-0,758

0,250

0,403

30

1,217

0,208

0,514

11

-0,251

0,228

0,599

31

1,381

0,210

0,692

12

-0,728

0,248

0,353

32

2,482

0,246

0,887

13

0,049

0,219

0,044

33

2,766

0,264

0,334

14

0,488

0,210

0,186

34

1,513

0,212

0,063

15

-0,652

0,245

0,178

35

0,968

0,207

0,196

16

-0,140

0,224

0,977

36

-1,679

0,314

0,163

17

-1,204

0,276

0,881

37

-2,363

0,388

0,650

18

-1,113

0,270

0,503

38

0,329

0,213

0,613

19

-1,593

0,306

0,534

39

0,272

0,214

0,643

20

-0,742

0,249

0,002

40

2,831

0,269

0,840

Рассмотрим ТЗ, наихудшим образом согласованные с моделью (табл. 7, рис. 11).

ТЗ № 13

ТЗ № 20

ТЗ № 25

ТЗ № 27

Рис. 11 Характеристические кривые ТЗ теста №3, наихудшим образом согласованные с моделью

Анализ ТЗ теста №3 показал, что согласно алгоритму оптимизации теста ТЗ № 25, 27 можно оставить, т.к. они дифференцируют испытуемых согласно логическому основанию модели и имеют согласованность с моделью P(Хи-квадрат)j>0,01, а ТЗ № 13, 20 – кандидаты на удаление.


Библиографический список
  1. Masters N. G. The Key to Objective Measurement. Australian Council on Educational Research, 2001.
  2. Маслак А.А., Осипов С.А. Измерение латентных переменных // Свидетельство о государственной регистрации программ для ЭВМ № 2013618487. Дата государственной регистрации в Реестре программ для ЭВМ 10 сентября 2013 г.
  3. Каким быть учебнику: дидактические принципы построения / Под ред. И.Я. Лернера, Н.М. Шахмаева. Ч.1-2., М., 1992
  4. Летова Л.В. Исследование качества теста единого государственного экзамена по физике с помощью модели Раша // Управление образованием: теория и практика. 2013. №3(11). – С. 52-61.
  5. Летова Л.В. Исследование качества теста как измерительного инструмента // Дистанционное и виртуальное обучение. 2013. №11. – С. 116 – 125.
  6. Летова Л.В. Анализ качества теста ЕГЭ по биологии на основе модели Раша // Управление образованием: теория и практика. 2014. №2(14). – С. 100-107.
  7. Полонянкин Д.А. Методика формирования познавательной мотивации у студентов младших курсов вузов при обучении физике. – Омск: Изд-во ОмГТУ, 2010. – 48 c.
  8. Полонянкин Д.А. Верификация модели формирования мотивации учебной деятельности студентов младших курсов при обучении физике // Вестник ТГПУ. – № 4 (94). – 2010. – С. 125 – 130.
  9. Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 1) // Современные научные исследования и инновации. – Апрель 2014. – № 4 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/04/33733 (дата обращения: 21.04.2014).
  10. Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 2) // Современные научные исследования и инновации. – Май 2014. – № 5 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/05/33827 (дата обращения: 22.05.2014).


Все статьи автора «Летова Линара Васильевна»


© Если вы обнаружили нарушение авторских или смежных прав, пожалуйста, незамедлительно сообщите нам об этом по электронной почте или через форму обратной связи.

Связь с автором (комментарии/рецензии к статье)

Оставить комментарий

Вы должны авторизоваться, чтобы оставить комментарий.

Если Вы еще не зарегистрированы на сайте, то Вам необходимо зарегистрироваться: