ПРИМЕНЕНИЕ АЛГОРИТМОВ АДАПТИВНОСТИ ПРИ ПРОВЕДЕНИИ ТЕСТИРОВАНИЙ СТУДЕНТОВ

Калашник Глеб Алексеевич1, Хоменко Татьяна Владимировна2
1Астраханский государственный технический университет, студент, кафедра автоматизированных систем обработки информации и управления
2Астраханский государственный технический университет, доктор технических наук, профессор

Аннотация
Предметом исследования является применение алгоритма адаптивности к тестированию студентов. Адаптивная тестирующая система позволит оперативно выявлять и устранять пробелы в знаниях студента. На данный момент выбрана и частично реализована адаптивность на основе компетенций (система ЗУН – знание, умение и владение). Задачи в системе разделены по компетенциям и уровням сложности внутри каждой компетенции, и выдаются пользователям в зависимости от их текущего уровня компетенции по теме тестового задания. В зависимости от уровня сложности решенной задачи, пользователь получает соответствующее количество баллов; при получении определенного количества баллов происходит изменение компетенции пользователя по теме. При окончательном оценивании результатов тестирования пользователя алгоритм учитывает: среднюю компетенцию по темам тестовых задач, процент верно решенных задач, а также серии верных/неверных ответов. Оценка тестирования является рекомендуемой для преподавателя на основании текущего уровня знаний тестируемого.

Ключевые слова: , , ,


Рубрика: 05.00.00 ТЕХНИЧЕСКИЕ НАУКИ

Библиографическая ссылка на статью:
Калашник Г.А., Хоменко Т.В. Применение алгоритмов адаптивности при проведении тестирований студентов // Современные научные исследования и инновации. 2022. № 5 [Электронный ресурс]. URL: https://web.snauka.ru/issues/2022/05/98326 (дата обращения: 19.04.2024).

Профессиональные компетенции

Компетенция – круг проблем, сфера деятельности, в которой данный человек обладает знанием и опытом; совокупность полномочий, прав и обязанностей должностного лица, общественной организации; управление персоналом заключается в управлении процессом приобретения, стимулирования и развития компетенции персонала организации.

Профессиональные компетенции – способность успешно действовать на основе практического опыта, умения и знаний при решении поставленных задач.

Профессиональные компетенции также называются ключевыми. Ключевыми компетенциями можно назвать те компетенции, которыми должен, во-первых, обладать каждый член общества, а во-вторых, которые можно применять в самых различных ситуациях, связанных с профессией работника.

Неосознанная некомпетентность является первой стадией обучения и нулевым уровнем компетенции соответственно. В состоянии неосознанной некомпетентности человек не знает и даже не осознает, что не умеет что-либо делать или не имеет необходимых знаний.

На стадии осознанной компетентности, человек осознает, каких знаний и умений ему не хватает – то есть, развивает понимание того, что ему нужно знать или уметь, чтобы действовать правильно (в контексте профессиональных задач).

Осознанная компетентность характеризуется наличием необходимых знаний у человека. Используя полученные знания, человек решает поставленные перед ним задачи, полностью контролируя свои действия в процессе решения задач. На данном этапе любое использование знаний контролируется и осознается [1, 2].

Система генерации и оценивания теста

Тестируемому будет предложен тест, состоящий из заданного количества тестовых заданий разной сложности и соответствующих уровней компетенции. Сложность тестового задания влияет на количество баллов, получаемых тестируемым за верный ответ. Уровень компетенции тестового задания зависит от текущего уровня компетенции пользователя по данной теме. Чем больше баллов имеет пользователь по теме – тем выше его уровень компетенции.

За верный ответ на тестовое задание, тестируемый получает 1-3 балла в зависимости от сложности вопроса. За неверный ответ пользователь теряет 1 балл. За частично верный ответ пользователь получает от 0 до 2 баллов в зависимости от того, насколько его ответ совпадает с эталонным ответом.

Тестируемому будут предложены тестовые задания закрытого и открытого типа, а также задания на установление соответствия.

По окончанию теста тестируемому выводится сообщение о результате тестирования содержащее количество набранных им баллов из максимально возможного количества баллов  и оценка, которая является результатом тестирования [3].

Результатом теста является оценка, которую получает тестируемый в зависимости от уровня компетенции тестовых заданий и количества баллов, набранных за решение тестовых заданий (табл. 1.1).

Таблица 1.1. Система оценивания теста

Оценка

Условие

Неудовлетворительно Средний уровень компетенции заданий – знание

Процент верно решенных заданий [0% ; 50%]

или

Средний уровень компетенции заданий – умение

Процент верно решенных заданий [0% ; 35%]

или

Средний уровень компетенции заданий – владение

Процент верно решенных заданий [0% ; 20%]

Удовлетворительно Средний уровень компетенции заданий – знание

Процент верно решенных заданий [51% ; 65%]

или

Средний уровень компетенции заданий – умение

Процент верно решенных заданий [36% ; 50%]

или

Средний уровень компетенции заданий – владение

Процент верно решенных заданий [21% ; 35%]

Хорошо Средний уровень компетенции заданий – знание

Процент верно решенных заданий [66% ; 80%]

или

Средний уровень компетенции заданий – умение

Процент верно решенных заданий [51%; 70%]

или

Средний уровень компетенции заданий – владение

Процент верно решенных заданий [36%; 60%]

Отлично Средний уровень компетенции заданий – знание

Процент верно решенных заданий [81% ; 100%]

или

Средний уровень компетенции заданий – умение

Процент верно решенных заданий [71% ; 100%]

или

Средний уровень компетенции заданий – владение

Процент верно решенных заданий [61% ; 100%]

Алгоритм оценивания ответа на задание с открытым ответом

Ответ на открытый вопрос оценивается тремя способами:

  1. Абсолютная оценка – полное совпадение ответа пользователя с эталонным ответом. Данная методика является самой простой, однако необходима в тех случаях, где требуется полное совпадение ответа пользователя с эталонным ответом (результат работы программы, вычисляющей значение; построение маршрута на графе с указанием вершин входящих в маршрут и др.)
  2. Проверка по маске – для проверки используется заранее созданная маска с отмеченными на ней ключевыми символами. Если все ключевые символы совпали в ответе пользователя и эталонном ответе, то ответ на открытый вопрос верный.
    Данная методика используется в случаях, где ответом на вопрос является слово или словосочетание. Методика позволяет избежать неправильных результатов проверки при несоблюдении падежа или орфографических ошибках.
  3. Проверка по формуле – если не задана маска ответа и не используется абсолютная оценка, то для проверки ответа на открытый вопрос используется формула, позволяющая исключить опечатки и другие лексические неточности ответа. Для проверки ответа по формуле, необходимо разделить ответ пользователя и эталонный ответ по пробелам – то есть разделить на «слова». После этого, приведенную ниже формулу необходимо применить к каждому «слову» в ответе:

     (1)

где

l – длина «слова» в эталонном ответе

e – количество ошибок в ответе пользователя, ошибкой считается несовпадение символа «слова» ответа пользователя и символа «слова» в эталонном ответе при посимвольном сравнении

s – разница в длинах эталонного и пользовательского «слов» ответа

h – коэффициент ошибки. Если h для каждого «слова» был больше либо равен 0.75, то ответ пользователя считается верным, в противном случае – неверным.

Данная формула была выведена эмпирическим путем, на основании проведенных тестов было выяснено, что формула засчитывает верным ответ в среднем не более чем с двумя опечатками в одном «слове» при среднем количестве «слов» в ответе не более восьми (длина «слова» – от 3 до 12 символов).

Планы на дальнейшую разработку

Ключевыми задачами на ближайшее будущее являются: модификация алгоритма адаптивности путем включения в него большего количества переменных (факторов), модификация алгоритма проверки ответа на задание с открытым ответом, а также изменение балльной системы оценивания ответов на тестовые задания.

Модификация алгоритма адаптивности подразумевает учет серий верных/неверных ответов пользователя по одной или нескольким темам. Также алгоритм будет учитывать результаты предыдущих тестирований, в которые входили темы текущего тестирования для оценки скорости обучения пользователя [4, 5].

Алгоритм проверки ответа на задание с открытым ответом будет также модифицирован с применением метода частотного анализа и поиска ключевых символов (или их набора) в ответе пользователя.


Библиографический список
  1. Кольга В.В. Система оценивания качества образования – Красноярск, 2017, – 266 с.
  2. Аскентова С.М., Андреева В.В., Аникин В.Ю. Внутренняя система оценки качества образования. Направления проектирования и механизмы реализации – М.: Академкнига/Учебник, 2015. – 144 с.
  3. Вергазов Р.И. Система компьютерного тестирования знаний [Текст]: автореф. дис. на соиск. учен. степ. кан. тех. наук (05.13.01) / Вергазов Ринат Ильдусович Исследовательский центр проблем качества подготовки специалистов, г. Москва, 2007 – 21 с.
  4. Постановление Правительства РФ от 22.04.2020 № 563 “О внесении изменений в федеральную целевую программу “Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы”
  5. Постановление Правительства РФ от 22.10.2018 № 1256 “О внесении изменений в некоторые акты Правительства Российской Федерации”


Количество просмотров публикации: Please wait

Все статьи автора «Калашник Глеб Алексеевич»


© Если вы обнаружили нарушение авторских или смежных прав, пожалуйста, незамедлительно сообщите нам об этом по электронной почте или через форму обратной связи.

Связь с автором (комментарии/рецензии к статье)

Оставить комментарий

Вы должны авторизоваться, чтобы оставить комментарий.

Если Вы еще не зарегистрированы на сайте, то Вам необходимо зарегистрироваться:
  • Регистрация