ПОИСК ПОДОБНЫХ ИЗОБРАЖЕНИЙ В БАЗЕ ДАННЫХ ИНДЕКСИРОВАННЫХ ВИДЕО

Ельчанинов В.С.1, Лясин Д.Н.1
1Волжский политехнический институт (филиал) ФГБОУ ВПО " Волгоградский государственный технический университет"

Аннотация
Данная работа посвящена изучению методов индексации и поиска видеоконтента по статическим изображениям.

Ключевые слова: база данных, поиск подобных изображений


SEARCHING SIMILAR IMAGES IN INDEXED VIDEO DATABASE

Elchaninov V.S.1, Lyasin D.N.1
1Volzhskiy Polytechnical Institute, branch of the Volgograd State Technical University

Abstract
This paper is about methods of video content indexing and searching by static images.

Рубрика: 05.00.00 ТЕХНИЧЕСКИЕ НАУКИ

Библиографическая ссылка на статью:
Ельчанинов В.С., Лясин Д.Н. Поиск подобных изображений в базе данных индексированных видео // Современные научные исследования и инновации. 2014. № 5. Ч. 1 [Электронный ресурс]. URL: https://web.snauka.ru/issues/2014/05/34690 (дата обращения: 29.03.2024).

Данная работа посвящена изучению методов индексации и поиска видеоконтента по статическим изображениям. В контексте видео таким изображением является кадр, а изображение, которое подается на вход системы, может быть скриншотом. На данный момент поиск индексированного видео в основном осуществляется по текстовым запросам, но благодаря проведенному исследованию стало возможным находить не только видеофайл, из которого предположительно снят скриншот, но и конкретная позиция кадра во времени.
Для разработки системы индексации и поиска видеоконтента были выбраны методы, связанные со сравнением гистограмм изображений, так как они позволяют достаточно точно различать цветные кадры [2]. Индекс видеофайла включает в себя трехмерные гистограммы (R, G, B) для каждого извлеченного кадра. Во время добавления видео в базу данных, пользователь может выбрать частоту, с которой будут сниматься гистограммы кадров, а так же заполнить дополнительные текстовые поля, облегчающие поиск.
Для поиска по поданному на вход изображению, используются метрики вычисления сходства гистограмм. Вычисляется гистограмма у загруженного изображения, которая последовательно сравнивается со всеми гистограммами всех файлов базы данных.
Для того, чтобы осуществлять точный поиск, гистограммы изображений подвергаются нормализации и масштабированию (т.н. выравнивание [3]). Таким образом, распределение цветов на гистограмме становится более равномерным, что позволяет повысить точность даже при наличии цветного шума в исходном изображении, которое подается на вход поиска.
Основной проблемой поиска и индексации видео являются различные кодеки, которыми можно сжать файлы. Сжатый двумя различными кодеками видеофайл может сильно отличаться по качеству изображения и даже временным характеристикам. Например, может наблюдаться заторможенное воспроизведение сцены при неудачном сжатии. Кроме того, разные форматы видео хранят информацию по-разному, что усложняет создание системы, пригодной к индексации файлов любых форматов.
Однако используемый в данном исследовании метод лишен этих недочетов, так как поиск по цветовым гистограммам не особо чувствителен к качеству изображения, а метод извлечения кадров из видео при помощи библиотеки OpenCV игнорирует временные характеристики, зависящие от сжатия файла.
Существует четыре основных метрики:

1. Корреляция. Для корреляции большая оценка представляет лучшее совпадение чем меньшая. Совершенное совпадение это 1, а совершенное несовпадение -1. Значение 0 указывает на отсутствие корреляции (случайные ассоциации).

,
Где Hi – гистограмма изображения.

2. Хи-квадрат. Для хи-квадрата более низкая оценка означает лучшее совпадение, чем более высокая. Идеальное совпадение равно 0, а совершенное несовпадение не ограничено (зависит от размера гистограммы).

3. Пересечение. Для пересечения, высокая оценка указывает на хорошее совпадение а низкое на плохое. Если обе гистограммы нормированы на 1, то идеальное совпадение это 1, а совершенное несовпадение – 0.

 

4. Расстояние Бхаттачария. Для соответствия Бхаттачария, низкие показатели свидетельствуют о хорошем совпадении, а высокие о плохом. Идеальное совпадение это 0, а совершенное несовпадение 1.


, где ,
N – суммарное число бункеров гистограмм.

В результате тестирования этих метрик выяснилось, что наибольшей точностью на сильно измененных входных изображениях обладает соответствие Бхаттачария, поэтому дальнейшие опыты проводились с использованием этой метрики. Так же, при проведении этой серии опытов, не учитывались текстовые данные, так как целью опыта является именно проверка точности нахождения кадров по гистограммам.


Рисунок 1. Эталонное изображение.

На вход системы подавались последовательно: кадрированное изображение, увеличенное, уменьшенное, размытое, с увеличенной резкостью, с наложенным монохромным шумом, с наложенным шумом случайных цветов, с наложенным шумом высокой интенсивности, а так же с применением сразу нескольких изменений (кадрирование, баланс белого, яркость и насыщенность цветов). Так как поиск производится по гистограммам распределения цветов, наибольшие отклонения поиска ожидаются для входных изображений с измененным контрастом и шумом.

Таблица 1. Результаты поиска
Кадрирование
(область по центру размером 487х368)
Увеличение
(720х480 – 1000х667)
Уменьшение
(720х480 – 400х267)
Размытие
(Гауссово, 20)
Резкость (радиус 18, величина 229) Монохромный шум (интенсивность 100, гамма 200) Цветной шум (интенсивность 100, гамма 200) Интенсивный шум
(интенсивность 250, гамма 200)
Несколько изменений
0.21556 – эталон 0.0082005 – эталон 0.010048 – эталон 0.03432 – эталон 0.087553 – эталон 0.098398 – эталон 0.188602 – эталон 0.183529 – эталон 0.4386 – эталон
0.406477 – образец 1 0.350775
– образец 3
0.349537
– образец 1
0.351575
– образец 3
0.304533
– образец 3
0.299391
– образец 3
0.339462
– образец 3
0.265782
– образец 3
0.508573
– образец 2
0.451949
– образец 2
0.351754
– образец 1
0.349863
– образец 3
0.353683
– образец 1
0.340206
– образец 1
0.316123
– образец 1
0.368527
– образец 1
0.296515
– образец 1
0.514338
– образец 4

Как и ожидалось, наибольшее отклонение от нуля выдает сравнение с изображением, к которому было применено несколько изменений. Кадрирование и наличие шума так же сильно отличается от нуля, но при каждом опыте наилучшее значение выдает именно исходный кадр. 
Минусом данного метода является то, что в расчет берутся только цвета, а не формы. То есть, изображение леса будет считаться похожим на изображение газона, хотя в реальности это не так. Таким образом, метод не подходит для поиска по базе черно-белого кино [1]. Однако, если среди индексированных видео будет то, из которого изъят кадр для поиска, то точность будет высока, что было доказано в результате опыта. Для поиска монохромных изображений более эффективным считается сравнение HSVгистограмм [3]. Для поиска с использованием HSV гистограмм при применении функции нормализации повышается контрастность изображения, что повышает качество поиска.


Библиографический список
  1. Валюх А.А. Алгоритм поиска изображений на основе гистограмм. / Валюх А.А., Тонкошкур Ю.О. // ДонНТУ. – 2011. – т.3
  2. Вражнов Д.А. О качестве работы алгоритмов слежения за объектами видео / Вражнов Д.А., А.В. Шаповалов, В.В. Николаев // Компьютерные исследования и моделирования. – 2012. – т.4, №2, – с. 303-313.
  3. Система справки по библиотеке OpenCV – http://docs.opencv.org/


Количество просмотров публикации: Please wait

Все статьи автора «Ельчанинов Виталий»


© Если вы обнаружили нарушение авторских или смежных прав, пожалуйста, незамедлительно сообщите нам об этом по электронной почте или через форму обратной связи.

Связь с автором (комментарии/рецензии к статье)

Оставить комментарий

Вы должны авторизоваться, чтобы оставить комментарий.

Если Вы еще не зарегистрированы на сайте, то Вам необходимо зарегистрироваться:
  • Регистрация