старший преподаватель кафедры “Информатика и технология программирования”

Введение

Эмоции играют важную роль в человеческой жизни. Анализ эмоционального состояния человека даёт возможность отслеживать изменение поведения людей, их отношение к происходящим событиям. Эмоции влияют на когнитивные процессы и принятие решений. Поэтому потребность в определении эмоциональных реакций приобретает все большее значение. Проявление эмоций через телодвижения также остаётся всё ещё слабо изученной областью психологии, которая активно развивается в настоящее время.

Целью данной работы является: анализ эффективности методов автоматического контроля эмоционального состояния пользователя при работе с автоматизированной обучающей системой.

Для достижения поставленной цели были решены следующие исследовательские задачи:

• Провести анализ и исследование методов диагностики эмоционального состояния пользователя, методов контроля эмоционального состояния пользователя и существующих систем диагностики эмоционального состояния пользователя.
• Составить математическое описание модели автоматического контроля эмоционального состояния пользователя при работе с автоматизированной обучающей системой.
• Выполнить программную реализацию модели автоматического контроля эмоционального состояния пользователя при работе с автоматизированной обучающей системой.
• Проверить эффективность реализованных алгоритмов модели автоматического контроля эмоционального состояния пользователя при работе с автоматизированной обучающей системой.

Постановка задачи

Для более точного понимания того, как надо выполнять контроль эмоционального состояния пользователя первоначально необходимо определить его текущее эмоциональное состояния. Для этого был выполнен анализ методов определения эмоционального состояния пользователя такие как: определение состояния с помощью WiFi, с помощью видеоизображения и по эмоциональной реакции при речевом взаимодействии. Был выбран метод, основанный на видеоизображении, т.к. он не требует установки дополнительно оборудования, а достаточно наличия web-камеры для получения изображения и существует достаточно большое количество библиотек, позволяющих выделить контр лица и определить положения глаз, губ и т.д.

Далее был выполнен анализ существующих систем, позволяющих выполнить диагностику эмоционального состояния. Были рассмотрены такие системы как: FaceReader, eMotion Software и GladOrSad, MMER_FEASy — the FacE Analysis System, FaceSecurity. Все рассмотренные системы работают с изображением лица пользователя, полученного от web-камеры.

В заключении были проанализированы методу управления эмоциональным состоянием.

Первой составной частью комплекса управления психическим состоянием является оперативная система экспресс-диагностики психофизиологических возможностей студентов к восприятию учебной информации и к ее переработке в знания, умения и навыки, а также уровня стрессовой напряженности умственной деятельности. Второй составляющий является оперативное реагирование на изменение эмоционального состояния студента в худшую сторону и переключение его внимание на другой вид деятельности.

В качестве критериев для сравнительного анализа программных продуктов, выберем следующие:

A₁ – получение изображения от web-камеры;

A₂ – выделение контура лица на снимке;

A₃– определение эмоционального состояния человека по снимку;

A₄ – адаптация поведения системы в зависимости от эмоционального состояния пользователя;

A₅ – хранение информации об изменении состояния пользователя в БД.

Для определения весов критериев воспользуемся аналитической иерархической процедурой Саати.

Матрица парных сравнений, средние геометрические и веса критериев представлены в таблице 1.

Таблица 1 – Матрица парных сравнений, средние геометрические и веса критериев

Диаграмма весовых коэффициентов для критериев A1, A2, A3, A4, A5 представлена на рис. 1.

Рисунок 1 – Весовые коэффициенты критериев качества

Выполним проверку матрицы попарных сравнений на непротиворечивость.

Суммы столбцов матрицы парных сравнений:

R₁=19; R₂=12,3; R₃=4.87; R₄=2.07; R₅=7.53.

Путем суммирования произведений сумм столбцов матрицы на весовые коэффициенты альтернатив рассчитывается вспомогательная величина L = 5.37. Индексом согласованности ИС = (L-N)/(N-1) = 0.09.

Величина случайной согласованности для размерности матрицы парных сравнений: СлС = 1.12.

Отношение согласованности ОС=ИС/СлС = 0.082. не превышает 0.2, поэтому уточнение матрицы парных сравнений не требуется.

Используя полученные коэффициенты определим интегральный показатель качества для программных продуктов определения эмоционального состояния человека:

1. Система FaceReader
2. Система eMotionSoftware и GladOrSad
3. СистемаMMER_FEASy — the FacE Analysis System
4. Система FaceSecurity
5. Разрабатываемая система

Выберем категориальную шкалу от 0 до 7 (где 0 – качество не удовлетворительно, 7 – предельно достижимый уровень качества на современном этапе) для функциональных возможностей программных продуктов.

Значения весовых коэффициентов a_i соответствующие функциональным возможностям продуктов:

1. получение изображения от web-камеры a₁=0.046;
2. выделение контура лица на снимке a₂=0.087;
3. определение эмоционального состояния человека по снимку a₃=0.258;
4. адаптация поведения системы в зависимости от эмоционального состояния пользователя a₄=0.443;
5. хранение информации об изменении состояния пользователя в БД a₅=0.166.

где ∑a_i = 1.

Определим (по введенной шкале) количественные значения функциональных возможностей X_ij(таблица 2). Вычислим интегральный показатель качества для каждого программного продукта.

Таблица 2 – Интегральные показатели качества

где Q_j=∑a_i*X_ij интегральный показатель качества для j-го программного средства.

Построим лепестковую диаграмму интегрального показателя качества каждого программного продукта (рис. 2).

Рис. 2 – Лепестковая диаграмма интегральных показателей качества программных продуктов

Лепестковая диаграмма значений характеристик качества функциональных возможностей (критериев) представлена на рисунке 3.

Рис. 3 – Лепестковая диаграмма значений функциональных характеристик

На рисунке 4 показана диаграмма верхнего уровня процесса «Обучение и управлением эмоциональным состоянием пользователя».

Рисунок 4 — Диаграмма верхнего уровня процесса «Обучение и управлением эмоциональным состоянием пользователя».

Входной информацией являются следующие данные: лекции и контрольные тесты (лекции загружаются в виде файла rtf, тесты создаются вручную), ответы студента на тесты и изображения пользователя, полученной от web-камеры. Данная входная информация используется на всех этапах процесса обучения.

Выходной информацией в процессе обучения и управления эмоциональным состоянием пользователя являются: результаты оценки знаний студента и значения коэффициентов модели действий пользователя системы.

Исполнителями процесса являются студент, преподаватель и информационная система (ИС*).

Управление процессом осуществляется на основании математической модели автоматизированной обучающей системы и модели управления эмоциональным состоянием пользователя.

На рисунке 5 показана детализация процесса «Обучение и управлением эмоциональным состоянием пользователя».

Рисунок 5 — Декомпозиция диаграммы А1 «Обучение и управлением эмоциональным состоянием пользователя».

Процесс обучения и управления эмоциональным состоянием пользователя осуществляется в пять этапов:

1. «работа с лекциями или тестовыми заданиями» – на данном этапе преподаватель осуществляет ввод лекций, загружаемых из файла в формате rtf, также преподаватель выполняет ввод вопросов и вариантов ответов контрольного теста;
2. «визуализация лекций» – на данном этапе выполняется вывод материала, предназначенного для изучения студентом;
3. «диагностика состояния студента» – система периодически выполняет сохранение изображения лица пользователя, полученного с web-камеры, далее производится анализ данного изображения с выделением контура лица, контуров глаз и губ и определение эмоционального состояния студента, также на данном этапе система принимает решения о необходимости выдачи рекомендаций по изменению состояния пользователя;
4. «тестирование знаний» – на данном этапе система отображает студенту перечень вопросов для определения уровня его знаний по изученному материалу;
5. «сохранение результатов тестирования и диагностики в БД» – на данном этапе выполняется сохранение результатом контроля знаний в БД, а также сохранение полученного эмоционального состояния пользователя в БД.