На данный момент большая часть компаний, специализированных на распознавании лиц, создают свои системы на базе нейронных сетей. И это не случайно, результаты тестирования действительно неплохие. Такие показатели связаны с тем, что искусственные нейронные сети аналогичны биологическим нейронным сетям. 
Тема автоматического распознавания лиц актуальна на данный момент, так как ее развитие защищает персональные данные, улучшает распознавание в местах массового скопления (аэропортах, вокзалах, подземных переходах и т. д.), улучшает сервис компаний, упрощает поиск преступников и многое другое. 
Системы распознавания лиц – важный инструмент защиты людей и способ избавления от повседневной рутины. Системы на базе нейронных сетей на данный момент самые действенные. И данное направление стремительно развивается и будет развиваться.

2. Постановка задачи

В данной работе рассматриваются сверточные нейронные сети. На базе исследования алгоритма, будет получена система, выделяющая характерные точки лиц. На этом основывается распознавание людей. После получения теоретических знаний, будут установлены и импортированы необходимые библиотеки для Python: Keras, TensorFlow, NumPy, OpenCV, Math, PIL Для обучения сети выборка будет состоять из 440 примеров, для тестирования – 3400 примеров.

3. Основная часть

Системы распознавании лиц могут применяться для многих случаев:
- подтверждения присутствия студента на лекции, семинаре экзамене;
- поиска преступников в местах массового скопления, используя базу данных местной полиции;
- оплаты товаров и услуг;
- замены человека на предприятиях, где человеческий фактор может мешать производству;
- контроля доступа.
Подобные системы уже входят в нашу жизнь. Их развитие стремительное, но еще много чего предстоит изучить. Важным элементов в распознавании лиц является выделение характерных точек лица человека.
Поэтому, целью данной работы является создание системы выделения характерных точек лица, реализованное на базе сверточных нейронных сетей.
Для достижения поставленной цели, необходимо выполнить следующие задачи:
1. Изучить компьютерное зрение.
2. Изучить нейронные сети, в частности сверточные нейронные сети.
3. Создать сверточную нейронную сеть для распознавания ключевых точек лица, используя язык программирования – Python.
Компьютерное зрение – набор методов, с помощью которых компьютеры способны видеть интересующие объекты. На первом этапе изображение проходит регистрацию, то есть если сенсорный элемент (датчик) среагировал на объект, то полученный аналоговый сигнал преобразовывается в цифровой. Это нужно для дальнейшего преобразования изображения. Важно понимать, что изображение можно представить в виде функции от двух переменных, соответствующих координатам в пространстве на полученном изображении. Данная функция определяет интенсивность (яркость) пикселя с данными координатами. В итоге получается матрица, с которой уже удобно выполнять дальнейшие действия на компьютере [1].
Для определения лица на изображении и распознавании человека, требуются не только знания компьютерного зрения, но и алгоритмов, которые отвечают за распознавание. Самые лучшие результаты для решения данной проблемы показывают нейронные сети. Нейронные сети – это сети, которые могут обучаться, подобно ребенку. Искусственные нейронные сети аналогичны биологическим нейронным сетям. Поэтому важно понимать, как устроен и работает наш мозг при получении и обработке информации. На рисунке 1 представлена простейшая нейронная сеть, где x – входные данные, W – веса, Y – выходные данные.

Рисунок 1 – Простейшая схема нейронной сети

Рисунок 1 можно представить в виде уравнения (1), где знак умножения – сложные математические действия. Для человека W отвечает за запоминание признаков предмета.

X = W * Y         (1)

Обучение нейронных сетей состоит в том, что нужно найти W, если известны входные и выходные данные [2].

Существует огромное количество видов нейронных сетей:
- нейронные сети прямого распространения (feed forward neural networks, FF или FFNN) и персептроны (perceptrons, P) - базовые модели, комбинирую которые получают новые виды;
- нейронная сеть Хопфилда (Hopfield network, HN) – однослойная сеть, в которой выход каждого нейрона связан со входами остальных нейронов;
- глубокие сети доверия (Deep belief networks, DBN) в своей схеме имеют несколько скрытых слоев, причем, каждая сеть обучает предыдущую;
- сверточные нейронные сети (convolutional neural networks, CNN) и глубокие сверточные нейронные сети (deep convolutional neural networks, DCNN) обычно применяются для обработки изображений.
Это лишь малая часть всех видов архитектур нейросетей.
CNN обычно применяются для обработки изображений. Схема представлена на рисунке 2.

Рисунок 2 – Схема сверточных нейронных сетей

Название такого алгоритма означает, что метод основывается на свертке. Свертка получается в результате линейной фильтрации. Исходные данные: x – положение объекта в данный момент времени t, w(a) – весовая функция, а – возраст изменения. Если применять в каждый момент времени средневзвешенную оценку (2), то полученная функция s обеспечивает сглаженную оценку.

         (2)

Результат такой операции и называется сверткой.

Типичный слой сверточной сети состоит из 3 этапов:
- выполнение нескольких сверток одновременно для получения набора линейных активаций;
- каждая полученная линейная активация проходит через нелинейную активационную функцию, этот этап называют детектор;
- использование пулинга (pooling) объединяет результаты в статистику для улучшения сети [3].
При создании системы, которая может выделять ключевые точки после обучения, использовались следующие библиотеки для Python: Keras (нейронная библиотека, является надстройкой над фрейворком TensorFlow), TensorFlow (библиотека для машинного обучения), NumPy (библиотека для работы с массивами и матрицами), OpenCV (библиотека для машинного зрения), Math (библиотека с математическими и логарифмическими функциями), PIL (библиотек для работы с растровой графикой).
Для обучения сети необходимо выборку разбить на две части: тестовая выборка состояла из 3400 примеров, обучающая – 440 примеров. В результате полученная система показывает следующие значения, представленные на рисунке 3, где loss – функция ошибки, acc – точность на обучающей выборке, val_loss и val_acc – на тестовой выборке, Learning rate – скорость обучения, Epooch – эпоха. Пример выделения ключевых точек показан на рисунке 4, где всего получается 15 точек – по 3 точки на выделение глаза, 1 на нос, по 2 на брови и 4 на губы.

Рисунок 3 – Результаты обучения CNN

Рисунок 4 – пример выделения характерных черт лица

Заключение
В ходе данной работы изучены принципы машинного обучения, изучены алгоритм сверточных нейронных сетей и метод обучения ее, также создана система, выделяющая главные точки лица человека на базе CNN.

Современные технологии искусственного интеллекта (ИИ) и машинного обучения (МО) приобретают все большую популярность и находят применение в различных сферах деятельности. Одним из наиболее перспективных направлений является использование нейронных сетей для решения задач распознавания и классификации. В данной статье рассматриваются возможности и методы применения нейронных сетей для распознавания согласных букв.

История машинного обучения начинается с середины XX века. В 1952 году Артур Самуэль разработал первую самообучающуюся программу для игры в шашки, что стало отправной точкой в развитии МО. Позже, в 1959 году, он начал работу над методами МО для нейронных сетей. С тех пор технологии существенно эволюционировали и получили широкое распространение.

Нейронные сети являются ключевым элементом систем машинного обучения. Они состоят из множества взаимосвязанных нейронов, организованных в слои. Каждый нейрон получает входные данные, обрабатывает их с помощью весовых коэффициентов и передает результат на выход.

Для разработки и обучения нейронных сетей широко используется библиотека TensorFlow, предоставляемая Google. Она обеспечивает высокую производительность и гибкость при создании сложных моделей МО. TensorFlow поддерживает работу как на CPU, так и на GPU, что позволяет значительно ускорить процесс обучения нейронных сетей.

Google Colab предоставляет удобную среду для разработки и обучения моделей машинного обучения. Это облачный сервис, который позволяет использовать мощные вычислительные ресурсы Google без необходимости установки дополнительного программного обеспечения. Colab поддерживает работу с Jupyter Notebook и позволяет совместно работать над проектами в реальном времени​.

Первым шагом в создании системы распознавания является сбор и подготовка данных. Для обучения нейронной сети необходим большой объем данных, содержащий изображения согласных букв. Эти данные проходят этапы предобработки, включая нормализацию и аугментацию, что улучшает качество модели и её способность к обобщению.

Формат данных выборки для обучения train.csv выглядит следующим образом: каждая строка представляет собой описание одного изображения; первый столбец содержит метки классов, к которым принадлежит изображение; оставшиеся столбцы содержат пиксельные значения изображения, например, в виде плоского вектора, где каждое значение соответствует яркости соответствующего пикселя на изображении [1].

У нас будут следующие классы согласных букв:

classes = ["к","л","м","н","п","р","с","т"]

Загрузим и посмотрим на датасет (рисунок 1):

Рисунок 1. Датасет согласных букв

После подготовки данных, создаются и обучаются модели нейронных сетей. Используются различные архитектуры, такие как сверточные нейронные сети (CNN), которые особенно эффективны в задачах распознавания образов. Обучение модели проводится на обучающем наборе данных с последующей проверкой на валидационном наборе для оценки её производительности.

Работа нейронной сети рассматривается в трех моделях.

1.    Двухслойная нейронная сеть.

На первом шаге рассматривается сеть из двух нейронных слоев [2]. Для создания модели используется класс Sequential. На входном слое находятся 700 нейронов. Функция активации (запуска) relu, размер входных данных равен 400 (у нас картинки 20 на 20). На последнем слое должно быть 8 нейронов, так как это количество должно совпадать с количеством классификаций изображений [3] (у нас согласные буквы “к”,”л”,”м”,”н”,”п”,”р”,”с”,”т”). Модель нейронной сети строится с помощью класса Sequential [4].

N = 8

model = Sequential()

model.add(Dense(700, input_dim=400, activation=”relu”))

model.add(Dense( N, activation=”softmax”))

Приступаем к обучению модели с помощью метода fit модели (рисунок 2).

Рисунок 2. Ход обучения нейронной сети

Можно посмотреть, как нейронная сеть делает предсказание на тестовых данных. Для этого применяется метод predict:

Рисунок 3. Валидация нейронной сети

2. Трехслойная нейронная сеть.

Усложним нейронную сеть, сделав 3 слоя. Рассматривается сеть из трех нейронных слоев:

model = Sequential()

model.add(Dense(700, input_dim=400, activation=”relu”))

model.add(Dense(100, activation=”relu”))

model.add(Dense( N, activation=”softmax”))

Остальные шаги проделываются аналогично.

3. Сверточная нейронная сеть.

Полносвязная нейронная сеть недостаточно качественно выполняет работу с изображениями. Прогресс обучения двуслойной нейронной сети и трехслойной нейронной сети растет достаточно медленно, за счет увеличения количества слоев. Более качественный результат можно получить, построив сверточную нейронную сеть:

model = Sequential()

model.add(Conv2D(32, (3, 3),

input_shape=(img_width, img_height, 1), activation=’relu’))

model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Conv2D(64, (3, 3), activation=’relu’))

model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())

model.add( Dense( 700, activation = ‘relu’))

model.add( Dense( N, activation=’softmax’))

Обучение проводится аналогично. По итогам распознавания собственных изображений можно сделать следующий вывод (таблица 1):

Таблица 1 – Качество распознавания изображений нейронными сетями

Подготовим также в Paint собственные изображения и загрузим их на гугл-диск (рисунок 4).

Рисунок 4. Собственные изображения для проверки

работы нейронной сети

Обученная нейронная сеть используется для распознавания согласных букв на новых данных. Модель анализирует входное изображение и выдает прогнозируемую букву с определенной вероятностью. Точность распознавания оценивается на тестовом наборе данных, который не использовался в процессе обучения, что позволяет объективно оценить её эффективность.

Рисунок 5. Распознавание и предсказание нейронной сети

Сверточная нейронная сеть будет, как и ожидалось, давать наилучшее предсказание.

Заключение. Разработка и использование нейронных сетей для распознавания согласных букв демонстрирует высокую эффективность и перспективность данного подхода. Применение библиотек TensorFlow и сервисов, таких как Google Colab, значительно упрощает процесс создания и обучения моделей машинного обучения. Эти технологии открывают новые возможности для автоматизации процессов и повышения точности распознавания в различных приложениях.