УДК 51-77, 303.714, 303.224.74

ТОЧНОСТЬ МОДЕЛИРОВАНИЯ ЛАТЕНТНЫХ ПЕРЕМЕННЫХ С ПОМОЩЬЮ МОДЕЛИ РАША (ЧАСТЬ 2)

Летова Линара Васильевна
Омский государственный технический университет
аспирант

Аннотация
В социальных системах многие явления, процессы являются латентными параметрами. Их объективное описание возможно с помощью современной теории тестирования (модель Раша). Эта теория представляет латентный параметр с помощью математической модели. Модель является адекватной, когда корректно, точно отражает действительность. Данная статья рассматривает вопрос точности моделирования латентных переменных с помощью модели Раша.

Ключевые слова: измерение латентных переменных, модель Раша, тест как измерительный инструмент


ACCURATE MODELING OF LATENT VARIABLES USING RASCH MODEL (PART 2)

Letova Linara Vasilievna
Omsk State Technical University
Post-Graduate Student

Abstract
In many systems of social phenomena and processes are latent parameters. Their objective description possible using modern test theory (Rasch model). This theory is a latent parameter using a mathematical model. Model is adequate when properly, accurately reflects reality. This article considers the accuracy of modeling latent variables using the Rush model.

Keywords: measurement of latent variables, Rasch model, test as the measuring tool


Рубрика: 05.00.00 ТЕХНИЧЕСКИЕ НАУКИ

Библиографическая ссылка на статью:
Летова Л.В. Точность моделирования латентных переменных с помощью модели Раша (часть 2) // Современные научные исследования и инновации. 2014. № 8. Ч. 1 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/08/36275 (дата обращения: 05.06.2017).

Исследование влияния неравномерного распределения тестовых заданий на точность моделирования латентных переменных

Качества теста во многом задается равномерностью распределения ТЗ в широком диапазоне на шкале логитов [9-12]. В реальных практических ситуациях окна в распределении тестовых заданий неизбежны [8, рис. 1]. Рассмотрим влияние неравномерного распределения ТЗ на точность моделирования латентных переменных.

6.1. Исследование влияния неравномерного распределения тестовых заданий в центре измерительной шкалы на точность моделирования латентных переменных

Рассмотрим влияние неравномерного распределения тестовых заданий в центре измерительной шкалы на точность моделирования латентных переменных. С помощью дисперсионного анализа исследуем влияние фактора «окно» на отклонение экспериментальных данных от модельных. Уровнем статистической значимости было выбрано значение вероятности 0,05. В рамках дисперсионного анализа точность моделирования (отклонение ie – βim|) ИЛП без наличия окна последовательно сравнивается с точностью моделирования при наличии различных окон в центре измерительной шкалы. Также было рассмотрено влияние окон с практической точки зрения. За критический уровень практической значимости было взято значение в логитах 0,400, соответствующее 5% шкалы логитов в диапазоне плюс-минус 8 логитов.

Рассмотрим распределение отклонений экспериментальных значений от модельных | βi e – βi m | при различных размерах окна (рис. 5).


Рис. 5 Распределение отклонений экспериментальных значений ИЛП от модельных | βi e – βi m | при различных размерах окна в районе 0.0 логитов

Визуальный анализ (рис. 5) не дает четкой картины. Рассмотрим результаты статистического анализа для всех испытуемых, а также для отдельных их групп.

  • Анализ для всех испытуемых

В табл. 2 приведены сводные результаты дисперсионного анализа, средние значения отклонений ie – βim| и их различия с эталоном (равномерное распределение тестовых заданий без окон) при различных размерах ширины окна в центре измерительной шкалы.

Таблица 2. Средние значения отклонений и уровни статистической значимости влияния окна в центре измерительной шкалы на точность моделирования

Ширина окна

Средние значения отклонений ie – βim|, логит

Отклонение от эталона ie – βim|-0,388

Уровень значимости (р)

0

0,388

 

 

0,25

0,386

-0,002

0,804

0,5

0,394

0,006

0,515

0,75

0,384

-0,004

0,628

1

0,393

0,005

0,599

1,25

0,393

0,005

0,529

1,5

0,399

0,011

0,199

1,75

0,405

0,017

0,056

2

0,414

0,026

0,004

Из табл. 2 видно, что окно в 2,0 логит в центре измерительной шкалы статистически значимо влияет на точность моделирования, но практически это незначимо. Отклонение практически не изменилось, оно увеличилось всего на 0,026 логит, что менее критического значения 0,400. Это увеличение оказалось статистически значимым из-за большого объема выборки (4800 наблюдений).

  • Анализ для групп испытуемых

Если средние значения отклонений (табл. 2) практически не меняются при увеличении размера окна, то на различных участках шкалы картина иная (рис. 6). Сделаем предположение, что отклонение (точность моделирования) зависит от месторасположения латентной переменной на шкале, т.е. от уровня подготовленности испытуемых.


Рис. 6. Отклонение на различных участках шкалы при наличии окна в 2,0 логит и без окна

Для исследования этой гипотезы испытуемые по уровню измеряемой латентной переменной были разделены на три группы: «слабые» (от -4,00 логит до -1,15 логит), «средние» (от -1,15 логит до 1,15 логит) и «сильные» (от 1,15 логит до 4,07 логит). В рамках дисперсионного анализа эти группы сравниваются по точности моделирования в зависимости от ширины окна. Исследуемыми факторами являются:

  • фактор А – наличие окна, варьируется на двух уровнях: а1 – отсутствие окна, а2 – наличие окна,
  • фактор В – группа испытуемых, варьируется на трех уровнях: b1 – «слабые», b2 – «средние», b3 – «сильные.

В табл. 3 приведены сводные результаты дисперсионного анализа и их различия со средними значениями отклонений ie – βim| с эталоном (равномерное распределение тестовых заданий без окон) при различных размерах ширины окна в центре измерительной шкалы для различных участков шкалы.

Таблица 3. Значения отклонений от эталона и уровни статистической значимости влияния окна в центре измерительной шкалы на точность моделирования на различных участках шкалы

Ширина окна (логиты)

Статистическая значимость источников дисперсии

Отклонение от эталона

На всем диапазоне

группа

Фактор А

Фактор В

Взаимодействие АВ

слабая

средняя

сильная

0,25

0,851

<0,001

0,770

-0,001

0,002

-0,005

0

0,50

0,508

<0,001

0,899

0,006

0,005

0,002

0,001

0,75

0,646

<0,001

0,941

-0,004

-0,001

-0,003

-0,002

1,00

0,700

0,023

0,126

0,004

0,003

0,012

-0,01

1,25

0,651

0,119

0,090

0,004

-0,009

0,015

0,001

1,50

0,275

0,195

0,090

0,01

-0,001

0,018

-0,002

1,75

0,079

0,216

0,083

0,016

-0,004

0,018

0,009

2,00

0,008

0,236

0,076

0,024

0,005

0,026

0,004

На рис. 7 показано взаимодействие факторов АВ.


Рис. 7. Отклонения модельных данных от экспериментальных для групп испытуемых в зависимости от ширины окна

По результатам анализа, представленными в табл. 2,3, можно сделать следующие выводы:

  • окно шириной 2,0 логит в центре измерительной шкалы статистически значимо влияет на точность моделирования;
  • при окне до 1,0 логит включительно в центре измерительной шкалы различия в точности моделирования для групп испытуемых статистически значимы;
  • окно любого размера (до 2,00 логит) в центре измерительной шкалы статистически значимо не влияет на точность измерения групп испытуемых (фактор АВ незначим);
  • размер окна в центре измерительной шкалы практически не влияет на точность моделирования как на всем диапазоне измерительной шкалы, так и на различных ее участках.

6.2. Исследование влияния неравномерного распределения тестовых заданий на различных участках измерительной шкалы на точность моделирования латентных переменных

В рамках дисперсионного анализа точность моделирования (отклонение ie – βim|) ИЛП без наличия окна последовательно сравнивается с точностью моделирования при наличии окон на различных участках шкалы. Исследуемым фактором является фактор А – месторасположение окна, который варьируется на двух уровнях: а1 – средняя точность измерения при равномерном распределении ТЗ без окна, а2 – средняя точность измерения при распределении ТЗ с окном 2 логит на различных участках шкалы.

Рассмотрим распределение отклонений модельных значений от экспериментальных | βi e – βi m | при размере окна 2 логит на различных участках шкалы (рис. 8, табл. 4). На рис. 8 по оси абсцисс отложены экспериментальные значения измеряемой латентной переменной βie, по оси ординат – значения отклонений, по оси Z – рассматриваемые ситуации, а именно, равномерное распределение ТЗ (без окна) и окна в распределении ТЗ шириной 2 логит на различных участках шкалы с центром в точках от 0 (центр измерительной шкалы) до 2-х логит.


Рис. 8 Распределение отклонений экспериментальных значений от модельных | βi e – βi m | при размере окна 2 логит на различных участках шкалы и без окна

Таблица 4. Средние значения отклонений экспериментальных значений от модельных | βi e – βi m | при размере окна 2 логит на различных участках шкалы и без окна

Окно с центром в точке, логит

без окна

0

0,5

1

1,5

2

-4

0,54

0,42

0,50

0,62

0,73

0,49

-3

0,40

0,36

0,45

0,51

0,64

0,44

-2

0,41

0,39

0,39

0,49

0,66

0,38

-1

0,40

0,41

0,44

0,52

0,68

0,36

0

0,42

0,45

0,40

0,54

0,65

0,37

1

0,40

0,42

0,45

0,55

0,72

0,36

2

0,37

0,40

0,46

0,53

0,76

0,38

3

0,43

0,39

0,42

0,54

0,78

0,45

4

0,53

0,55

0,55

0,66

0,76

0,47

Визуальный анализ (рис. 8) дает основание говорить о значимости месторасположения окна. Рассмотрим результаты статистического анализа для всех испытуемых, а также для отдельных их групп.

  • Анализ для всех испытуемых

В табл. 5 приведены сводные результаты дисперсионного анализа, средние значения отклонений ie – βim| и отклонение от эталона (0,388) при различном месторасположении окна.

Таблица 5. Сводные результаты дисперсионного анализа, средние значения отклонений ie – βim| и отклонения от эталона при различном месторасположении окна 2 логит

Месторасположение окна (центр)

Средние значения отклонений, логит

Отклонение от эталона ie – βim|-0,388

Уровень значимости (р)

а1

а2

0

0,388

0,414

0,026

0,004

0,5

0,388

0,415

0,027

0,005

1

0,388

0,433

0,045

<0,001

1,5

0,388

0,533

0,145

<0,001

2

0,388

0,697

0,309

<0,001

Из табл. 5 видно, что месторасположение окна 2 логит на любом участке шкалы статистически значимо влияет на точность моделирования, но практически это незначимо. Таким образом, смещение окна от центра шкалы к ее краю практически не влияет на точность моделирования.

  • Анализ для групп испытуемых

    Рассмотрим анализ влияния месторасположения окна на точность моделирования ИЛП на различных участках шкалы (табл. 6,7).

Таблица 6. Значения отклонений от эталона и уровни статистической значимости влияния окна 2 логит на различных участках шкалы на точность моделирования на различных участках шкалы

Месторасположение окна 2 логит

Статистическая значимость источников дисперсии

Отклонение от эталона

Фактор А

Фактор В

Взаимодействие АВ

на всем диапазоне

слабая группа

средняя группа

сильная группа

0

0,008

0,236

0,076

0,024

0,005

0,026

0,004

0,5

0,001

0,251

0,191

0,026

0,008

0,027

0,012

1

<0,001

0,351

0,003

0,045

0,01

0,028

0,029

1,5

<0,001

0,004

0,025

0,144

0,055

0,089

0,071

2

<0,001

<0,001

0,004

0,309

0,13

0,156

0,177

В табл. 7 и на рис. 9 показаны средние значения отклонений для групп испытуемых при наличии окна в распределении ТЗ на различных участках шкалы и при равномерном распределении ТЗ (без окна).

Таблица 7. Средние значения отклонений для групп испытуемых при наличии окна в распределении ТЗ на различных участках шкалы и при равномерном распределении ТЗ

окно 2 логит с центром в точке, логит

без окна

0

0,5

1

1,5

2

слабая группа

0,449

0,388

0,443

0,542

0,676

0,403

средняя группа

0,410

0,427

0,428

0,536

0,685

0,365

сильная группа

0,445

0,448

0,479

0,574

0,765

0,400

Рис. 9 Средние значения отклонений для групп испытуемых при наличии окна в распределении ТЗ на различных участках шкалы и при равномерном распределении ТЗ (без окон)

По результатам анализа, представленными в табл. 6 можно сделать следующие выводы:

  • окно шириной 2,0 логит на любом участке шкалы статистически значимо влияет на точность моделирования (фактор А значим, табл. 6);
  • различия в точности моделирования групп испытуемых статистически значимы при окнах в центре в точках от 1,5 до 2 логит;
  • при смещении центра окна от точки 1 логит к краю шкалы оно статистически значимо влияет на точность моделирования групп испытуемых (фактор АВ значим);
  • при смещении окна от центра измерительной шкалы к ее краю точность моделирования практически не меняется как на всем диапазоне измерительной шкалы, так и на различных ее участках.

Таким образом, окно размером не более 2-х логит на любом участке шкалы практически не влияет на точность моделирования измеряемой латентной переменной, что дает возможность проецировать выводы о точности измерения латентных переменных, сделанные с помощью модельных данных [11,12] на экспериментальные.

Заключение

В статье поднимался вопрос о точности моделировании латентных переменных с помощью методического инструмента – модели Раша. В п. 5 акцент был сделан на том, что точность моделирования корнями уходит в содержание конструкта. У ТЗ и теста вцелом, разработанных согласно теории педагогических измерений [1,2], наблюдается согласованность модельных и экспериментальных данных по критерию хи-квадрат. Но для качественного измерения латентных переменных необходимо еще распределение трудностей ТЗ без критических окон [9-12]. В п. 6 показано, что неравномерное распределение ТЗ практически не влияет на точность моделирования, а это означает, что при грамотно сконструированном тесте измерение с помощью модели Раша корректно. Вопрос точности измерения при различных окнах в распределении ТЗ рассмотрен в работах [11,12].


Библиографический список
  1. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. – М.: Логос, 2002. – 432 с.
  2. Аванесов B.C. «Композиция тестовых заданий». Учебная книга. 3 изд.. доп. М.: Центр тестирования, 2002г. -240 с.
  3. Нейман Ю.М., Хлебников В.А. Педагогическое тестирование как измерение. Учебное пособие, ч.1. – М.: Центр Тестирования МО РФ. – 2002. – 67 с.
  4. Маслак, А.А. Измерение латентных переменных в социальных системах / А.А. Маслак. – Славянск-на-Кубани: Издательский центр СГПИ. 2012. -432 с.
  5. Masters N. G. The Key to Objective Measurement. Australian Council on Educational Research, 2001.
  6. Летова Л.В. Объективные измерения и моделирование латентных величин в образовании // Образование и наука. 2013. №8. – С. 75-88.
  7. Летова Л.В. Объективность измерений латентных переменных // Дистанционное и виртуальное обучение. 2014. №3. – С. 83-94.
  8. Летова Л.В. Исследование качества теста единого государственного экзамена по математике с помощью модели Раша
    // Управление образованием: теория и практика. 2013. №1(9). – С. 89-99.
  9. Летова Л.В. Исследование качества теста как измерительного инструмента // Дистанционное и виртуальное обучение. 2013. №11. – С. 116 – 125.
  10. Летова Л.В. Точность измерения латентных переменных // Дистанционное и виртуальное обучение. 2013. №12. – С. 75-88.
  11. Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 1) // Современные научные исследования и инновации. – Апрель 2014. – № 4 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/04/33733 (дата обращения: 21.04.2014).
  12. Летова Л.В. Исследование влияния неравномерного распределения тестовых заданий на точность измерения латентных параметров (часть 2) // Современные научные исследования и инновации. – Май 2014. – № 5 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2014/05/33827


Все статьи автора «Летова Линара Васильевна»


© Если вы обнаружили нарушение авторских или смежных прав, пожалуйста, незамедлительно сообщите нам об этом по электронной почте или через форму обратной связи.

Связь с автором (комментарии/рецензии к статье)

Оставить комментарий

Вы должны авторизоваться, чтобы оставить комментарий.

Если Вы еще не зарегистрированы на сайте, то Вам необходимо зарегистрироваться: