СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ НА ОСНОВЕ МАТРИЦ ФПЗС

В телевизионных системах при обработке малоконтрастных изображений уменьшается отношение сигнал/шум и возрастает влияние неоднородности приёмников изображений [1].
В видеокамерах на основе ФПЗС выходной сигнал может отличаться на разных участках матрицы из-за того, что при изготовлении невозможно достичь абсолютной точности толщина электродов МОП – накопителя, размеров фоточувствительных ячеек. 
Значение данных факторов меняется от ячейки к ячейке и характеризует шумы ФПЗС. Шумы подразделяются на флуктационные и детерминированные.
Флуктуационные шумы – это шум переноса и шум выходного устройства, который пропорционален корню квадратному из емкости узла считывания. 
Детерминированные шумы – это помехи от тактового питания и геометрические шумы, вызванные неоднородностью чувствительности ячеек ФПЗС и распределения темнового тока (рис. 1). 

Измерить и учесть темновой ток, иногда уравнять чувствительность всех ячеек ФПЗС возможно программными средствами, но это затруднительно при работе в реальном масштабе времени и сопряжено с дополнительными искажениями полезного сигнала.
Предполагаемый способ может быть использован при создании систем технического зрения для пространственно-временной обработки (ПВО) слабоконтрастных медицинских изображений.
Известны способы ПВО изображений на основе матриц ФПЗС и устройство для его реализации [2, 3], заключающиеся в том, что ПВО выполняют путем дискретного накопления зарядов, фотогенерированных под воздействием проецируемого изображения в потенциальных ямах ФПЗС, и перемещают в пространстве изображение относительно матрицы ФПЗС. Время накопления в каждой точке пространства изменяют пропорционально величине отсчетов импульсной характеристики реализуемого пространственно-временного фильтра в зависимости от вида фильтрации.
Недостатки данных способов следующие:
при изменении освещенности сцены происходит более быстрое достижение предельного уровня зарядов в ячейке за время дискретного накопления, что не учитывается в способе и исключает возможность адаптации устройства ПВО к изменению условий наблюдения и, следовательно, может привести к переполнению потенциальных ям матрицы ФПЗС в процессе дискретного накопления зарядов, фотогенерированных под воздействием проецируемого изображения, и внесению искажений при осуществлении ПВО;
неравномерность чувствительности ячеек ФПЗС приводит к паразитной модуляции изображения и, соответственно, ухудшает наблюдение слабоконтрастных объектов.
Предлагаемый способ позволяет выполнять ПВО изображения одновременно с его формированием, обеспечивающую выделение неподвижных и движущихся слабоконтрастных объектов на нестационарном фоне при пониженной неоднородности чувствительности ячеек матрицы прибора с зарядовой связью.
Способ, реализующий ПВО включает следующие последовательные действия: 
проецирование области наблюдения на матрицу фоточувствительных приборов с зарядовой связью изображения; 
дискретное накопления зарядов, фотогенерированных под воздействием проецируемого изображения в потенциальных ямах матрицы фоточувствительных приборов с зарядовой связью; 
взаимное пространственное смещение изображения и матрицы фоточувствительных приборов с зарядовой связью; 
измеряется освещенность проецируемого изображения и в зависимости от величины освещенности формируется сигнал, который управляет длительностью дискретного накопления зарядов Т_{н i,s};
во время накопления с интервалом Т_{н i,s}/m производится синхронный сдвиг проецируемого изображения на одну ячейку матрицы и сдвиг внутри матрицы на одну ячейку в том же пространственном направлении. 
Для осуществления конкретного вида фильтрации необходимо задать параметры перемещения, которые определяют частотные характеристики реализуемого пространственно-временного фильтра, время накопления в каждой точке пространства изменяется пропорционально величине отсчетов импульсной характеристики реализуемого пространственно-временного фильтра в зависимости от вида фильтрации, а между накоплениями осуществляется пауза на время, необходимое для обеспечения постоянства временного интервала между циклами накопления.
Также необходимо учитывать следующее: направление пространственного сдвига определяет направление ослабления неравномерности чувствительности ячеек матрицы, а число m сдвигов – результирующую неравномерность чувствительности ячеек матрицы.
Способ поясняется следующими рассуждениями и рис. 2 – 7. Введение синхронного сдвига проецируемого изображения на один элемент матрицы и сдвиг внутри матрицы на один элемент в том же направлении не приведет к искажению формируемого изображения сцены и истинного объекта на ней так, как взаимное расположение световых точек сцены и соответствующих точек зарядового профиля в ФПЗС до и после сдвига останется неизменным. Различие заключается в том, что после сдвига накопление производится соседними ячейками ФПЗС. Оно используется для понижения неравномерности чувствительности ячеек ФПЗС и ослабления ложных объектов в изображении.
В ячейке ФПЗС, на которую падает световой поток ФР за время накопления соберется заряд [4]
 ,
где  чувствительность ячейки ФПЗС.
Большинство ячеек ФПЗС обладают стандартной чувствительность . Тогда можно записать, что , где  - относительная чувствительность ячейки ФПЗС.
Пусть формирование изображения равномерно освещенной сцены, излучающей световой поток , производится матрицей ФПЗС размерность 5х5 за время , при этом большинство ячеек имеют стандартную чувствительность  , а часть -  (рис. 2). 
Тогда в прототипе сформируется двухуровневый зарядовый профиль (рис. 3). При этом уровни зарядового профиля равны  и  .
Таким образом, ячейки с чувствительностью  сформируют зарядовый профиль, образующий пространственный ложный объект – вертикальная линия, амплитуда которого будет равна
 
и будет определяться неравномерностью чувствительности ячеек ФПЗС.

Рисунок 2. Матрица чувствительности ФПЗС

Рисунок 3. Двухуровневый зарядовый профиль в ФПЗС

При выделении вертикальных линий предлагаемым способом разобьем стадию накопления на два этапа длительностью  между, которыми произведем сдвиг по горизонтали на одну ячейку матрицы. В результате первого этапа получим двухуровневый зарядовый профиль (рис. 4), причем и . 
Вид зарядового профиля после сдвига представлен на рис.5. В результате второго этапа (без учета первого этапа накопления) получим двухуровневый зарядовый профиль (рис. 6), причем  и . 
В результате суммирования зарядовых профилей, представленных на рис.5, 6 получим окончательный результат (рис. 7). Полученный зарядовый профиль тоже будет двух уровневым, причем  и 
Следовательно, амплитуда пространственного ложного объекта – вертикальная линия будет равна и будет определяться половинным значением неравномерности чувствительности ячеек ФПЗС.
Рассмотрим конкретный случай обработки – производится обработка двумерным фильтром с маской 7х7.

Рисунок 4. Двухуровневый зарядовый профиль в ФПЗС после первого этапа накопления

В этом случае в процессе обработки будет произведено 49 синхронных сдвигов изображения сцены и зарядового профиля внутри ФПЗС. В результате изображение (рис.1) преобразуется в изображение, представленное на рис.8. Сигналы шумов в одной строке ФПЗС до и после обработки имеют следующий вид (рис.9). Из рис. 8, 9 видно, что несмотря на улучшение (близость к постоянной величине), уровень шумов в данном случае достаточно высок. В целом по изображению динамический диапазон усиленных шумов исходно был больше 18, а после обработки снизился до 2. Это указывает на необходимость предварительного отбора матриц ФПЗС с минимальным уровнем шумов.

Таким образом, рассмотренный способ выполняет пространственно – временную обработку изображения одновременно с его формированием, обеспечивающую выделение неподвижных и движущихся слабоконтрастных объектов на нестационарном фоне, при пониженной неоднородности чувствительности ячеек матрицы прибора с зарядовой связью и обеспечивает ослабление ложных пространственных объектов.

1. Пресс Ф.П. Фоточувствительные приборы с зарядовой связью.  М.: Радио и связь, 1991. 264 с.
2. Патент РФ №2216117, МПК7 H04N 5/14, 10.11.2003. Способ пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью и устройство для его реализации / В.П.Егоров: ФИПС, 2003.
3. Коротких В.М., Тищенко А.И., Рябов С.П. Шумы телевизионных камер, нормировка по элементу с максимальным динамическим диапазоном. ST URL: http://elib.altstu.ru/elib/books/Files/va1999_2/pages/23/pap_23.html (дата обращения 05.06.2017)

Все статьи автора «ingmgb»