Рисунок 1 – Схема единицы нейросети

Можно заметить, что составляющими единицы нейросети, являются синапсы, обеспечивающие связь входные данные и ядро; в то время как ядра нейрона, которое служит для непосредственного анализа входных сигналов; а также аксона, обеспечивающего связь между ядром и следующим слоем нейросети или выходом.

В данной работе был рассмотрен пример использования Google Сolab для машинного обучения. Для его реализации будем использовать GitHub файл с нейросетью. По аналогии с FastAI создадим нейронную сеть, которая будет классифицировать изображения из нашего собcтвенного датасета.

Сначала необходимо подготовить изображения для классификации, будем классифицировать черных медведей и гризли. Из всех взятых изображений с Google Картинки, необходимо удалить все поврежденные или с плохим качеством изображения. Сделать это можно с помощью цикла:

for c in classes:

    print(c)

    verify_images(path/c, delete=True, max_size=500)

Составим датасет, а именно набор данных с которым мы будем работать.

Датасет представляет собой набор изображений для классификации черных медведей (black) и гризли(grizzly), которые будут входными сигналами (рисунок 2).

Рисунок 2 – Датасет классификации

После удачного создания датасета, необходимо начать тренировку нейронной сети. Для этого будем использовать следующую функцию:

learn = create_cnn(data, models.resnet34, metrics=error_rate)

Получим таблицу с данными по тренировке нейросети (рисунок 3):

Рисунок 3 – Тренировка

После удачной тренировки посмотрим интерпретацию полученных результатов (рисунок 4).

Рисунок 4 – Интерпретация классификации

Как видно на рисунке,было правильно распознано 41 изображение черных медведей и 31 картинка с гризли, а так же выявлено несколько ошибок, которые мы рассмотрим внимательнее (рисунок 5).

Рисунок 5 – Ошибочные изображения

Из графика видно, что фотографии не могут быть интерпретированы точно, что влияет на получение результата.

Проведем тестирование обученной нейросети. Возьмем изображение гризли и проверим точность классификации (рисунок 6):

Рисунок 6 – Изображение для теста

Получаем вывод от нейросети:

Category grizzly, а значит классификация произошла верно.

В результате выполненной работы были описаны возможности Google Colab для изучения технологий машинного обучения и нейронных сетей и приведен пример классификации изображений, взятых из Google Картинки.

В данный момент, наиболее распространенными являются следующие методы:

• метод, основанный на классификации по сходству с эталонами, называемый корреляционным;
  
• методы детерминированного и статистического подхода, которые называются признаковыми или синтаксическими.
  

Рассмотрим каждый метод подробнее. Корреляционный метод работает по следующему алгоритму: входное пространство зрения сканируется полным перебором. Достоинством данного метода является помехоустойчивость. А главным недостатком можно считать сложность в реализации. Применяется данный метод в современных системах слежения и навигации.

Синтаксический и признаковый метод работает на основе выбранных признаков, притом признаки одного класса не должны существенно различаться, в то время как необходимо, чтобы признаки разных классов различались радикально. Главным преимуществом является простота в разработке. А главным недостатком можно назвать сложность обработки признаков для классификации объектов.

Главной задачей распознавания динамического объекта, который движется по произвольной траектории, является прогнозирование параметров траектории и восстановление изображения. При реализации методов классификации образов принято рассматривать физическую модель восприятия изображений. Нужно учитывать, что при наблюдении двух объектов с угловым расстоянием α, которое меньше одной угловой минуты, имеет тенденцию сливаться в один объект. Это нам позволит определить оптимальный размер объекта для успешной классификации.

Например, используя метод ключевых точек, мы получим формулу:

где minl – минимальное расстояние между самыми ближайшими точками;

L – расстояние до объекта;

tgα – тангенс углового расстояния.

В данной формуле tgα будет рассчитываться следующим образом:

В данной работе был рассмотрен пример использования alwaysAI для машинного обучения. Для его реализации будем использовать GitHub файл с нейросетью для классификации динамичных объектов для автономного вождения. Сначала необходимо подготовить видеозапись для классификации, будем классифицировать движущиеся и статические объекты на улице. Однако в этом случае нам нужна гораздо более подробные сведения о точном местонахождении пешеходов и велосипедистов при обнаружении объектов, поэтому мы будем использовать метод семантической сегментацией, в которой классификация выполняется попиксельно, а не с помощью рамок.

Удаление пешеходов и велосипедистов из видео

В этой работе будет использоваться модель компьютерного зрения enet для сегментации пешеходов и велосипедистов в каждом кадре видео, а затем классифицировать и выводить результаты для дальнейших действий в зависимости от местоположения пешеходов и велосипедистов. Чтобы упростить работу, мы использовать детекторы для редактирования выходного видео, удаляя пешеходов и велосипедистов из видео.

Сначала необходимо выбрать видео и поместить его в каталог приложения. Сделать это можно с помощью данного фрагмента кода:

Листинг 1 – фрагмент кода программы

Затем мы можем запустить приложение из GitHub, чтобы проанализировать, насколько хорошо оно классифицирует пешеходов и велосипедистов. После запуска приложения и запуска видео получим следующее (рисунок 1):

Рисунок 1 – Пример работы

Как можно заметить, модель enet успешно обнаруживает некоторую часть людей, но, все еще неправильно определяет оставшуюся часть людей и классифицирует велосипеды как мотоциклы, поэтому нам нужно будет предпринять дополнительные шаги, чтобы исправить эту проблему.

Рассмотрим лейблы для модели, нас интересуют ярлыки «Человек», «Водитель» и «Велосипед». Ниже замаскируем только пешеходов и велосипедистов.

def main ():

…

label_to_mask = ['Person', 'Rider', 'Bicycle']

print (“Labels to mask:n{}n”.format(labels_to_mask))

Листинг 2 – Маскировка классов

Видим, что классификация проходит успешнее (рисунок 2).

Рисунок 2 – Пример классификации после маскировки

Чтобы более четко видеть изображение и маску, мы можем разделить их, чтобы мы могли видеть их отдельно вместо того, чтобы видеть маску, наложенную на изображение видеоряда. Для этого мы просто объединим кадр и маску и отправим объединенные изображения как одно изображение в Streamer. Выглядеть это будет следующим образом:

mask = semantic_segmentation.build_image_mask(filtered_class_map)
combined = np.concatenate((frame, mask), axis=0)

      streamer.send_data(combined, text)

Листинг 3 – Объединение видеоряда и меток

Выглядеть это будет следующим образом (рисунок 3):

Рисунок 3 – Объединение меток и изображения

Так как происходит пакетная обработка видео, на самом деле нет необходимости отображать все на экране. Мы можем обработать каждый кадр отдельно и выводить новый видеофайл на Streamer. Для сохранения видеоклипа воспользуемся классом VideoWriter. Также есть необходимость в создании флага, чтобы мы могли легко включать и отключать процесс обработки.

Листинг 4 – обработка видеоряда и создание флага

В результате выполненной работы были описаны возможности alwaysAI для изучения технологий машинного обучения и нейронных сетей и приведен пример классификации видеоряда на основе простой сегментации изображения, маскирования определенных классов и выполнения действий на основе этих масок.