Вейвлет-преобразование – современное обобщение спектрального анализа, которое, в отличие от традиционно применяемого для анализа сигналов Фурье-преобразования, обеспечивает двумерную развертку исследуемого одномерного сигнала. При этом частота и координата рассматриваются как независимые переменные.

Основная проблема в задаче идентификации по голосу заключается в поиске такого метода параметризации исходных образцов голоса, который позволил бы выделить из исходного сигнала индивидуальные особенности говорящего. При этом обладающий не слишком высокой вычислительной сложностью и формирующий максимально компактные характеристические векторы образцов голоса.

Большая часть подобных методов (MFCC, LPCC) основана на преобразовании Фурье и предположении о квазистационарности речевого сигнала на коротких промежутках времени (10-30 мс), что является всего лишь допущением.

Эта статья посвящена анализу применимости в задачах текстонезависмой идентификации ряда методов параметризации основанных на вейвлет-преобразованиях с различными базисами и более популярных методов, использующих для параметризации мэл-частотные кепстральные коэффициенты и кепстральные коэффициенты на основе линейного предсказания.

Описание конкурирующих методик

Задача параметризации речевого сигнала стоит наиболее остро и до сих пор не решена в полной мере. К наиболее популярным методам параметризации можно отнести кепстральный анализ и анализ спектра модуляции.

Большинство современных алгоритмов параметризации сосредотачивают усилия на извлечении частотной характеристики речевого тракта человека, отбрасывая при этом характеристики сигнала возбуждения.

Для отделения сигнала возбуждения от сигнала речевого тракта прибегают к кепстральному анализу. Схематически этот метод представлен на рисунке 1.

Рисунок 1 – Схема вычисления кепста

где FFT – блок быстрого преобразования Фурье сигнала (БПФ), LOG – блок логарифмирования спектра, IFFT – блок обратного быстрого преобразования Фурье (ОБПФ).

После параметризации сигнала такими алгоритмами формируется K n-мерных характеристических векторов, где K равно числу фреймов, а n – числу используемых кепстральных коэффициентов (обычно от 10 до 40), которые передаются используемому в системе классификатору.

Методика параметризации образцов

В задаче текстонезависимой идентификации по голосу характер и длительность высказывания, по которому требуется идентифицировать диктора, априори неизвестны. Поэтому при параметризации на первый план выходит выделение артикуляционных особенностей говорящего в моменты межфонемных переходов в его речи. Преобразование Фурье плохо подходит для параметризации нестационарных сигналов подобного рода, поэтому нами было принято решение проанализировать перспективы применения дискретного вейвлет-преобразования для этой задачи.

В исследовательских целях нами был разработан метод, основанный на пакетном вейлвет-преобразовании, схема которого представлена на рисунке 2.

Рисунок 2 – Схема пакетного вейвлет-преобразования

Схематически реализованный метод представлен ниже:

Рисунок 3 – Схема метода

Где ПБВП – пакетное вейвлет-преобразование (в исследовании использовались вейвлет-базисы Добеши, Simlet и Coiflet различных порядков) с числом уровней декомпозиции от 2 до 8.

ТKЕО (Teager Kaiser Energy Operator ) –  

где: N = Len/2^n

где: Len – длина кадра в отсчетах сигнала, а n – число уровней декомпозиции

применяемый для каждого из 2^n полученных поддиапазонов, чтобы сформировать характеристический вектор размерностью 2^n, где n – число уровней декомпозиции сигнала.

Перед обработкой сигнала проводилось предусиление (pre-emphasis), нормализация 

Где: µ – среднее арифметическое

ơ – среднеквадратичное отклонение

и разбиение на непересекающиеся кадры длиной от 256 до 4096 отсчетов сигнала.

Сформированные векторы признаков передавались классификатору, работающему по алгоритму «K ближайших соседей»[4], где K выбрано равным 36, в качестве меры расстояния используется Евклидова метрика.

Для проведения исследования использовались образцы голосов из бесплатного корпуса Chains (CHAracterizing Individual Speakers)[], содержащего образцы голосов 36 дикторов записанных в два этапа с разницей в два месяца в различном окружении. Формат: mono, 16000Гц, 16 бит PCM Всего 1332 образца общей длительностью около 360 минут.

Результаты исследования

Первый этап исследования заключался в определении оптимального вейлвет-базиса для разложения сигнала. При этом использовались кадры длиной 512 отсчетов и 5 уровней разложения. В качестве классификатора использовался алгоритм ближайшего соседа. Для обучения системы были использованы фрагменты длиной ~2,5 минуты для каждого диктора. В качестве тестовых образцов использовались все остальные доступные в корпусе Chains фрагменты. Всего в количестве 1296 образцов голоса для 36 дикторов. Для сравнения приводятся результаты алгоритмов параметризации LPCC и MFCC, полученные на том же наборе данных.

По результатам этого этапа в качестве вейвлет-базиса был выбран базис Добеши-20.

Рисунок 4 – Сравнительная эффективность методов параметеризации

Второй этап заключался в определение оптимальной длины анализируемого кадра для метода.

Рисунок 5 – Зависимость точности идентификации от длины кадра

Наибольший процент распознавания удалось получить с использованием окна в 1024 отсчета сигнала.

На третьем этапе устанавливалась зависимость качества идентификации от количества уровней вейвлет-разложения сигнала.

Рисунок 6 – Зависимость точности идентификации от числа уровней разложения

При малом количестве уровней разложения размерность характеристического вектора невелика и идентификация проходит быстрее, но точность распознавания падает. С увеличением количества уровней разложения растет только вычислительная сложность параметризации и сравнения образцов – точность идентификации же не только не растет, но даже несколько снижается.

Последний этап заключался в определении минимально необходимой длительности тренировочных и тестовых образцов для идентификации диктора.

Сначала при фиксированном наборе из 1296 образцов голосов 36 дикторов длина тренировочных образцов голоса для каждого диктора изменялась от 2 до 18 с :

Рисунок 7 – Зависимость точности идентификации от длительности обучающих материалов

Длительность обучающих образцов перестает оказывать заметное влияние на процент успешной идентификации при достижении значения ~16 c

Также было исследовано влияние длительности тестового образца на точность идентификации. Для этого при фиксированной длительности обучающих образцов (порядка 1 минуты), изменялась длительность образцов голоса 36 дикторов, используемых для эксперимента.

Точность идентификации практически перестает возрастать при увеличении длительности тестовых образцов более 5 с

Рисунок 8 – Зависимость точности идентификации от длительности тестовых образцов

Заключение

Проведенное исследование позволяет утверждать, что использование вейвлет-преобразования для параметризации голосовых образцов позволяет добиться сопоставимой с популярными методами на основе кепстрального анализа точности текстонезависимой идентификации по голосу. Из рассмотренных базисов наилучшие результаты обеспечивает базис добеши 20 порядка с длиной кадра 1536 отсчетов сигнала и 5-ю уровнями разложения.

, (1)

где  – плотность потока нейтронов группы k в точке с координатой ;  – коэффициент диффузии нейтронов k-й группы;  – суммарное макросечение поглощения и рассеяния нейтронов группы k; К_эф– эффективный коэффициент размножения нейтронов;  – доля нейтронов группы k в нейтронах деления;  – макроскопическое сечение деления на нейтронах k-й группы;  – среднее число нейтронов деления на один поглощенный нейтрон;  – макроскопическое сечение рассеяния нейтронов группы l в группу k; М– количество энергетических групп нейтронов.

Многими исследователями при этом отмечались определенные фильтрующие свойства таких уравнений, состоящие, например, в том, что случайные, в основном высокочастотные, изменения свойств среды, описываемой данными уравнениями, приводят к появлению ярко выраженных низкочастотных гармонических составляющих в результатах расчета [3,4].

Исследования, проведенные автором настоящей статьи, показали, что в еще большей степени, чем само диффузионное уравнение процесса переноса нейтронов, похожими фильтрующими свойствами обладают групповые макроконстанты уравнения (1). В частности, серия расчетов, выполненных на одномерной модели реактора, позволила установить, что при использовании для НФР макроконстант, отфильтрованных цифровым фильтром нижних частот (рис.1) с заданной частотой среза , получается поле нейтронов, в котором практически отсутствуют гармонические составляющие выше . Рассмотренный в работе одномерный случай не снижает общности изложения, а лишь повышает наглядность проведенных расчетов.

Рис 1. Амплитудно-частотная характеристика  цифрового фильтра нижних частот, использованного для фильтрации макроконстант диффузионного уравнения:
1- идеальный ФНЧ; 2- реальный ФНЧ.

При выполнении цифровой фильтрации макроконстант учитывалось, что они представляют собой обычные числовые последовательности конечной длины. Например, в каждом i-м узле расчетной сетки известно макроскопическое сечение деления . В совокупности для всех узлов сетки значения  образуют одномерный массив – он обрабатывался фильтром нижних частот с заданной частотой среза . При этом цифровой фильтр должен вносить как можно меньшую погрешность в обрабатываемые данные, для чего его расчет должен быть выполнен с высокой точностью с тем, чтобы погрешность цифровой фильтрации не превышала 0,1%. Аналогично формировались и обрабатывались массивы для всех остальных макроконстант уравнения (1).

Таким образом, при фильтрации, то есть сглаживании, макроконстант среды устраняются высокочастотные составляющие поля нейтронов, то есть фактически получается только его макроход. Этот результат является принципиально важным, так как позволяет корректно и быстро рассчитать макрополе нейтронов на грубой сетке и по-новому организовать нейтронно-физический расчет, значительно сократив общее число итераций и время счета.

Алгоритм CORDIC нашел свой путь в различных приложениях, включая математический сопроцессор 8087, калькулятор HP-35, радиолокационные сигнальные процессоры и робототехнику. CORDIC-алгоритмы также были предложены для вычисления дискретного преобразования Фурье, дискретного косинуса, дискретного преобразования Хартли и Чирпа-Z, фильтрации, сингулярной декомпозиции и решения линейных систем.

В этой статье делается попытка исследовать существующие алгоритмы CORDIC, ориентируясь на реализацию в программируемых пользователем вентильных матрицах (FPGA).

Итеративную архитектуру CORDIC можно получить просто путем дублирования каждого из трех разностных уравнений в аппаратном обеспечении, как показано на рисунке 1.

Рисунок 1 – итеративная архитектура CORDIC

При работе начальные значения загружаются через мультиплексоры в регистры x, y и z. Затем в каждом из следующих n циклов синхронизации значения из регистров передаются через сдвиги и сумматоры-вычитатели, а результаты помещаются обратно в регистры. Сдвиги изменяются на каждой итерации, чтобы вызвать нужный сдвиг для итерации. Аналогично, адрес ПЗУ увеличивается на каждой итерации, так что соответствующее значение элементарного угла представляется на сумматор-вычитатель z. На последней итерации результаты считываются непосредственно из сумматоров-вычитателей. Очевидно, что требуется простая машина состояния, чтобы отслеживать текущую итерацию и выбирать степень сдвига и адрес ПЗУ для каждой итерации. Данная конструкция использует дорожки данных по всему слову (так называемый бит-параллельный дизайн). Бит-параллельные переключатели сдвига переменных плохо отображают архитектуры FPGA из-за высокой потребности в вентиляторах. Если они реализованы, эти переключатели обычно потребуют нескольких уровней логики (то есть сигнал должен будет проходить через несколько ячеек FPGA). Результатом является плохое быстродействие при использовании большого количества логических ячеек.

Более компактная конструкция возможна с использованием битовой последовательной арифметики. Упрощенная логика в бит-последовательном дизайне позволяют работать с гораздо более высокой тактовой частотой, чем эквивалентная параллельная конструкция бит. Разумеется, для каждой итерации дизайн также должен быть синхронизирован w раз (w – ширина слова данных). Бит-последовательный дизайн состоит из трехбитовых последовательных сумматоров-вычитателей, трех сдвиговых регистров и последовательного постоянного запоминающего устройства (ПЗУ). Каждый регистр сдвига имеет длину, равную ширине слова. Также есть некоторые мультиплексоры для выбора отводов сдвиговых регистров для сдвинутых вправо перекрестных терминов (сдвиг выполняется с использованием бит-задержек в последовательных системах бит). В этой конструкции для каждой из n-итераций требуются w-часы, где w – точность сумматоров. При работе мультиплексоры нагрузки слева открываются для периодов времени w для инициализации регистров x, y и z (эти регистры также могут быть загружены параллельно для инициализации). После загрузки, данные сдвигаются прямо через последовательные сумматоры-вычитатели и возвращаются в левый конец регистра. Каждая итерация требует, чтобы w часы возвращали результат в регистр. В начале каждой итерации машина состояния управления считывает знак регистра y (или z) и соответственно устанавливает элементы управления добавлением/вычитанием. Во время n-й итерации результаты могут считываться с выходов последовательных сумматоров, а следующие данные инициализации сдвигаются в регистры.

Простота последовательного проектирования бит очевидна из рисунка 2.

Рисунок 2 – бит последовательный итерационный CORDIC

Даже в этом случае проводка мультиплексоров с переключением крана может представлять проблемы в некоторых ПЛИС. Тем не менее, межсоединение минимально и логика между регистрами проста. Возможность использования крайних битовых тактовых частот составляет большое количество тактовых циклов, необходимых для завершения каждого поворота.

Рассмотренные раннее процессоры CORDIC являются итеративными, что означает, что процессор должен выполнять итерации в n раз быстрее скорости передачи данных. Процесс итерации может развернуться, так что каждый из n элементов обработки всегда выполняет одну и ту же итерацию. Развернутый CORDIC процессор показан на рисунке 4.

Рисунок 3 – развернутый CORDIC процессор

Развертывание процессора приводит к двум значительным упрощениям. Сначала переключатели имеют фиксированный сдвиг, что означает, что они могут быть реализованы в проводке. Во-вторых, значения поиска для аккумулятора угла распределяются как константы для каждого сумматора в цепочке накопления углов. Эти константы могут быть жестко связаны, и не требуют хранения. Весь процессор CORDIC сводится к массиву взаимосвязанных сумматоров-вычитателей. Необходимость в регистрах также устранена, что делает развернутый процессор строго комбинаторным. Задержка в результирующей схеме будет существенной, но время обработки уменьшается от времени, требуемого итеративной схемой. В большинстве случаев, особенно в ПЛИС, нет смысла использовать такую ​​крупную комбинаторную схему. В случае большинства архитектур FPGA уже есть регистры, присутствующие в каждой логической ячейке, поэтому добавление регистров конвейера не требует аппаратных затрат.

Развернутый процессор также может быть преобразован в последовательный бит. Каждый сумматор-вычитатель заменяется последовательным устройством, разделенным w-разрядными регистрами сдвига. Регистры сдвига необходимы для извлечения знака элемента y или z до того, как первые биты достигнут следующих сумматор-вычитателей. Правые сдвинутые поперечные члены берутся из фиксированных отводов в сдвиговых регистрах. Также необходим некоторый метод расширения знака для сдвинутых членов. На рисунке 4 показаны две итерации бит-последовательного процессора CORDIC, реализованные в FPGA Atmel 6005 или NSC Clay31.

Рисунок 4 – две итерации бит-последовательного процессора CORDIC

Обратите внимание, что кросс-термин берется из разных отводов сдвигового регистра на каждой итерации. Этот конкретный процессор используется для вычисления величины вектора. Поскольку это процесс векторного режима, и угол результата не требуется, нет необходимости в аккумуляторе угла. На рисунке 6 показана деталь вычитания сумматора для этой конструкции. Для более высокой производительности требуются параллельные процессоры с несколькими бит или развернутый параллельный конвейер. До недавнего времени FPGA не имели требуемой комбинации логических и маршрутизирующих ресурсов для создания параллельного процессора. Это в основном связано с большим количеством перекрестной маршрутизации, требуемой между регистрами x и y на каждой стадии. Кроме того, производительность уменьшается при увеличении ширины слова из-за разброса по всем сумматорам. Серия Xilinx 4000E имеет достаточную маршрутизацию для реализации достаточно компактного параллельного конвейера CORDIC. Его специальная логика переноса обеспечивает приемлемую производительность для сумматоров.

Алгоритмы CORDIC, представленные в этой статье, хорошо известны в исследовательских и суперкомпьютерных кругах. Тем не менее, мой опыт показывает, что большинство современных аппаратных схем DSP выполняются инженерами, которые практически не имеют аналогов в аппаратно-эффективных алгоритмах DSP. Новые разработчики DSP должны ознакомиться с этими алгоритмами и методами их реализации в ПЛИС, чтобы оставаться конкурентоспособными. Алгоритм CORDIC является мощным инструментом в панели инструментов DSP. В этой статье показано, что инструмент можно использовать на вычислительных машинах на базе ПЛИС, которые являются вероятной основой для систем DSP следующего поколения.

В настоящее время БПФ реализуется в основном с помощью ЦПОС и ПЛИС. Значительное увеличение емкости и производительности микросхем программируемой логики облегчает реализацию алгоритмов БПФ. Статья содержит описание модуля быстрого преобразования Фурье, предназначенного для семейства ПЛИС Xilinx. Как упоминалось выше, БПФ является алгоритмом для вычисления ДПФ, который является методом разложения дискретного периодического сигнала в ряд тригонометрических функций. Теоретический метод был разработан французским физиком и математиком Ж. Б. Фурье, который доказал, что любой дискретный периодический сигнал может быть представлен комбинацией простых тригонометрических функций (синус и косинус).

Существует два типа преобразований Фурье – действительный ДПФ и комплексный ДПФ. Для реализации БПФ необходимо использовать комплексный ДПФ. Предположим, что введен дискретный сигнал X (k), состоящий из N выборок. ДПФ будет выглядеть следующим образом:

Комплексные уравнения компонентов W_N в английской литературе часто называют фактором twiddle factor (поворачивающий коэффициент), и также могут быть выражены комбинацией синусов и косинусов:

Количество входных выборок N обычно равно степени 2 , хотя доступны методы для расчета БПФ для произвольного количества входных выборок. При малом значении N время вычисления ДПФ прямым методом и методом БПФ сопоставимы. Однако с увеличением размерности входного сигнала преимущества БПФ в скорости вычислений могут достигать сотен раз. Рассмотрим более подробно реализацию метода БПФ, Кули–Туки для входного сигнала с размером 128 выборок.

Суть БПФ заключается в том, что входной сигнал имеет большую размерность N, в этом случае 128 делится на N сигналов одного измерения. Затем для каждого отдельного сигнала рассчитывают спектр, то есть происходит переход от временной области к частотной области. На последнем этапе N отдельных спектров объединяются в один спектр. Первый этап разделения входного сигнала называется декомпозицией. Он применяет так называемую бит-реверсную адресацию. Например, отсчеты входного сигнала нумеруются в порядке 0, 1, 2, 3 и т. д.

Для формирования бит-реверсной последовательности необходимо единицы адреса отсчёта в двоичной форме переставить в обратном порядке, как показано в таблице. Для адресации 128 выборок требуется семь битов адреса. В таблице показаны первые девять отсчетов, все остальные счетчики бит-реверсального адреса вычисляются аналогичным образом. После бит-реверной сортировки входные отсчеты должны выполняться в порядке 0, 64, 32, 96, 16, 80 и т. д. А затем для каждого отдельного сигнала рассчитывается спектр. На данном этапе, не требуется каких-либо действий программного обеспечения, так как спектр одного сигнала равен соответствующиму ДПФ базисного сигнала. Последний шаг БПФ состоит в объединении отдельных спектров. Этот шаг является самым сложным и требует нескольких этапов. Основная операция объединения спектров, показанных на рисунке 1, называется «бабочкой» (butterfly).

Рисунок 1- базовая операция БПФ

Алгоритм, в котором операция «бабочка» выполняется одновременно для двух входных сигналов, называемых БПФ с основанием 2. Этот алгоритм рассматривается в этой статье. Другим распространненым основанием БПФ является 4. Операция «бабочка», в свою очередь, состоит из нескольких этапов. Сначала второй входной сигнал IN2 умножается на коэффициент W_N (коэффициент поворота). Затем первый выходной сигнал OUT1 получается путем суммирования результата умножения первого входного сигнала IN1. Второй выходной сигнал представляет собой разность между первым входным сигналом IN1 и результатом умножения. Для полной унификации размерности спектра N выборок требуется log2N циклов операций «бабочка». Когда размеры 128 требуют 7 циклов, и каждый цикл состоит из 64 операций, так как при основании 2 одна базовая операция БПФ включает в себя два входных отсчета.

Полная схема БПФ для 128 выборок довольно громоздка, поэтому на рисунке 2 в качестве примера показана схема БПФ для 8 выборок, которая состоит из трех циклов (log28). В зависимости от процедуры использования коэффициентов поворота и операций «бабочка» различают БПФ с прореживанием во времени и БПФ прореживанием по частоте. На рисунке 2 показан алгоритм с прореживанием во времени, тот же алгоритм реализован в модуле для ПЛИС; видно, что входные выборки сортируются в соответствии с обращением бит-реверсного адреса. Во время первого цикла для всех «бабочек», используюется тот же самый коэффициент поворота W0. Пары отсчетов для второго цикла формируются согласно рисунку 2, поэтому поворачивающие коэффициенты начинают чередоваться: для первой «бабочки» коэффициент W0, а для второй – W2, третьего и четвертого – коэффициенты W0 и W2 соответственно.

Рисунок 2- БПФ для 8-ми разрядного входного сигнала

В течение третьего цикла используются все коэффициенты поворота W0 – W3. Обратите внимание, что общее количество коэффициентов twiddle равно половине размерности входного сигнала, то есть для ввода размерности 128 выборок потребуется 64 коэффициента. Пары сигналов в этом случае будут сформированы аналогично БПФ для 8 образцов. В течение первого цикла умножение будет выполняться с коэффициентом поворота W0, тогда как второй цикл будет чередовать коэффициенты W0 и W32, в течение третьего цикла будут чередовать коэффициенты W0-W16-W32-W48, в течение четвертого цикла W0-W8 -W16-W24-W32-W40-W48-W56.

Таким образом, количество задействованных коэффициентов будет увеличиваться, и в течение последнего седьмого цикла будет задействован весь 64 поворачивающих коэффициента.

В настоящее время существует большое количество алгоритмов БПФ с разной производительностью, размерами, вычислительными ресурсами и другими параметрами. Важной характеристикой реализации алгоритма БПФ является арифметика, используемая для расчетов (плавающая или фиксированная точка). Реализация алгоритма с плавающей точкой имеет высокую точность, но является сложным и дорогостоящим вычислительным ресурсом. В приложениях, которые не требуют высокой точности, более простая реализация алгоритма БПФ с фиксированной точкой оправдана, так как для этого требуется меньшее количество ресурсов, что важно для ПЛИС. Модуль БПФ, описанный в статье, показал удовлетворительные результаты в тестировании и подходит для приложений, которые не требуют высокой точности.

В теории информации энтропия является мерой неопределенности в отношении событий, связанных с сообщениями, которые могут иметь ту или иную вероятность [1]. Передача сообщений от источника к получателю осуществляется посредством сигналов. В то же время сигналы, как таковые, могут иметь случайный характер (например, сигнал белого шума) или соответствовать некоторому функциональному описанию (например, периодический сигнал). В первом случае они характеризуются полной неопределенностью, а во втором являются в некоторой степени предсказуемыми. С этой точки зрения ниже рассматривается способ оценки уровня неопределенности цифровых сигналов, для чего вводится парадигма нормы энтропии и анализируется поведение нормы энтропии цифровой обработке сигналов.

Определение нормы энтропии

Для характеристики независимых случайных событий с N возможными исходами в теории информации используется понятие энтропии [1]. Последняя определяется как количество информации, приходящейся на символ передаваемого сообщения, и выражается равенством:

H = – _n log_η p_n       (1)

где:
p_n - вероятность n-го состояния
η – основание логарифма

Заметим, что в равенстве (1) величина энтропии параметрически зависит от з. Эту зависимость, очевидно, можно исключить путем нормирования:

Ĥ =  H/log_η N      (2)

В то же время для равновероятных событий p_n = 1/N, и, таким образом:

     (3)

где H_max - максимально возможное значение энтропии [1].

С учетом (2) окончательно получаем:

Ĥ =  H/ H_max      (4)

где Ĥ будем называть нормой энтропии.

Норма энтропии цифрового сигнала

Цифровой сигнал представляет собой последовательность, каждый элемент которой принимает одно из значений в диапазоне изменения амплитуды сигнала [2]. Общее количество таких элементов определяется в виде:

N = A / δ       (5)

где:
A - диапазон изменения амплитуды сигнала
δ - шаг квантования сигнала

Элементы такой последовательности можно рассматривать как независимые случайные события, для информационной оценки которых применима формула (1). Вероятности p_n таких событий определяются частотой, с которой отдельные элементы встречаются в последовательности оцифрованных значений сигнала.

Наглядной аналогией нормы энтропии цифрового сигнала может служить игральная кость с N гранями, где «событием» является выпадение одной из граней с числом от 1 до N. При этом все события являются равновероятными, и норма энтропии равна единице или, эквивалентно, 100%.

Ниже приведены теоретические значения нормы энтропии для некоторых элементарных сигналов, рассматриваемых в теории цифровой обработки сигналов [2].

Таблица 1. Норма энтропии в случае элементарных сигналов.

Заметим что, оценка нормы энтропии для любых других цифровых сигналов может быть определена только путем компьютерного моделирования.

Определение нормы энтропии белого шума

При компьютерном моделировании нормы энтропии в случае цифрового сигнала типа белого шума использовались генераторы псевдослучайных чисел (ПСЧ) с равномерным распределением [3]. Ниже на рис. 1 можно видеть, что значения нормы энтропии зависят от длины анализируемого фрагмента цифрового сигнала.

В то же время значения нормы энтропии могут различаться для двух неконгруэнтных генераторов псевдослучайных чисел – ГПСЧ-1 и ГПСЧ-2 (рис. 1). Тем не менее, в обоих случаях с увеличением длины фрагмента L оценка нормы энтропии приближается к теоретическому пределу, равному 100%.

Определение нормы энтропии сложного сигнала

Рассмотрим цифровой сигнал в виде суммы:

       (6)

где:
a_k , b_k , c_k - амплитуда, частота и фаза k-й гармоники, соответственно
L - длина спектра
M - уровень сложности сигнала

В связи с этим представляет интерес зависимость нормы энтропии от уровня сложности сигнала. На рис. 2 представлены результаты определения нормы энтропии на базе достаточно длинной последовательности (6), причем S1 соответствует варианту с фиксированными амплитудами, а S2 – случайному выбору амплитуд в заданном диапазоне. Примечательно, что наименьшее значение нормы энтропии при этом достигается в случае моногармонического сигнала, т.е. при M = 1.

На рис. 2 хорошо видно, что по мере повышения уровня сложности сигнала, его норма энтропии увеличивается и стремится к некоторому значению, однако меньшему нормы энтропии для сигнала типа белого шума.

Шум квантования сигнала и норма энтропии

Одним из важных этапов аналого-цифрового преобразования является квантование сигнала [4]. При этом в результате округления до определённого разряда или отбрасывания младших разрядов возникает шум квантования. При корректном квантовании, ошибки квантования не коррелированы с сигналом и могут рассматриваться как аддитивный шум (рис. 3).

В то же время, шум квантования, очевидно, влияет на анализируемую величину нормы энтропии. Это подтверждается результатами компьютерного моделирования для моногармонического сигнала, изображенного на рис. 3.

Таблица 2. Влияние шума квантования на значение нормы энтропии.

Заметим, что последнее значение нормы энтропии в Таблице 2 соответствует уровню шума 90 дБ, т.е. его практическому отсутствию. Таким образом, можно сделать вывод, что с увеличением количества уровней квантования сигнала вклад шумовой составляющей в норму энтропии цифрового гармонического сигнала уменьшается.

Влияние цифровой обработки сигналов на норму энтропии

Одним из наиболее часто встречающихся видов цифровой обработки сигналов является цифровая фильтрация. Рассмотрим класс цифровых фильтров с конечной импульсной характеристикой (КИХ). Передаточная функция КИХ фильтра в z-плоскости имеет вид [2]:

S(z) =        (7)

где w(k) - импульсная характеристика КИХ фильтра.

При этом процесс фильтрации представляется дискретной линейной сверткой:

y(n) =        (8)

где y(n) и x(n) являются элементами входной и выходной последовательностями цифрового сигнала.

Аналитическое определение нормы энтропии цифрового сигнала на выходе КИХ фильтра на основе равенств (7) и (8) не представляется возможным. Однако соответствующую оценку можно получить путем компьютерного моделирования. В качестве примера рассмотрим два КИХ фильтра нижних частот с коэффициентами вида:

     (8)

где:
P - порядок фильтра
ν - частота среза

Заметим, что выражение (8) определяет импульсную характеристику КИХ фильтра. В качестве примера, для компьютерного моделирования были выбраны два КИХ фильтра с импульсными характеристиками, изображенными на рис. 4.

В Таблице 3 ниже представлены результаты компьютерного моделирования с КИХ и БИХ (см. ниже) фильтрами и входным сигналом типа белого шума, который генерировался с помощью стандартного генератора ПСЧ.

Таблица 3. Определение нормы энтропии (НЭ) при цифровой фильтрации белого шума.

Из Таблицы 3 также следует, что значение нормы энтропии снижается по мере уменьшения частоты среза фильтра. Этот вывод качественно можно объяснить тем, что фильтр нижних частот подавляет верхнюю часть спектра белого шума в соответствии с частотой среза и, таким образом, уменьшает степень неопределенности сигнала.

Для оценки влияния цифровой фильтрации на норму энтропии сигнала можно использовать также фильтры с бесконечной импульсной характеристикой (БИХ), которые описываются дробно-рациональной функцией вида [2]:

      (9)

где M - порядок фильтра и L = M

Результаты компьютерного моделирования прохождения сигнала белого шума через эллиптический БИХ фильтр 5-го порядка представлены в Таблице 3 [5]. Коэффициенты передаточной функции этого фильтра в соответствии с выражением (9) (при L = M) приведены ниже в Таблице 4.

Таблица 4. Коэффициенты эллиптического фильтра 5-го порядка.

Обсуждение полученных результатов

В соответствии с данными компьютерного моделирования (рис. 1) оценка нормы энтропии для сигнала типа белого шума, моделируемого генератором ПСЧ, по мере увеличения длины последовательности стремится к некоторому предельному значению, равному 100%. Очевидно, что чем ближе эта оценка к 100%, тем в большей степени ПСЧ соответствует идеальной случайной последовательности. С этой точки зрения, норма энтропии может быть использована для качественной оценки генераторов ПСЧ в моделях методов Монте-Карло [6]. Кроме того, парадигма нормы энтропии применима к любой совокупности данных, таких как фондовые или демографические индексы. При этом может быть определено, в какой степени эти данные можно считать случайными. Обобщая полученные результаты, можно утверждать, что прохождение сигнала через любую линейную систему с передаточными функциями вида (7) или (9) приводит к снижению нормы энтропии сигнала, и, следовательно, к уменьшению степени неопределенности сигнала.

Выводы

Рассмотрен способ оценки степени неопределенности цифровых сигналов с использованием парадигмы нормы энтропии сигнала. Показано, что норма энтропии цифровых сигналов изменяется в пределах от нуля, в случае постоянного сигнала, до единицы, в случае белого шума. В качестве приложения, норма энтропии может быть использована для оценки качества генераторов ПСЧ в моделях методов Монте-Карло или для оценки любой совокупности данных, таких как фондовые индексы или сигналы неизвестного происхождения. Показано, что при прохождении сигнала через любую цифровую систему с передаточной функцией в z-плоскости норма энтропии цифрового сигнала уменьшается.