Речевое взаимодействие для человека является привычным, позволяет увеличить скорость взаимодействия с ЭВМ. Распознавание речи может трактоваться как преобразование речи диктора в текст, распознавание команды с последующим её выполнением, выделение из речи каких-либо параметров – все это в разных источниках может попасть под это определение.

Несмотря на достаточный прогресс в данном направлении исследований, автоматическое распознавание речи продолжает оставаться достаточно сложной задачей. Это объясняется рядом характерных особенностей речевого сигнала, которые значительно затрудняют решение этих задач.

Все известные методы распознавания речи не позволяют определить конкретный вид анализа и параметры речевого сигнала, которые могут дать наилучший результат. Поэтому, разработка алгоритмов работы для систем распознавания речи сводятся к анализу уже существующих систем. Также производится поочередное рассмотрение методов параметризации сигнала и экспериментальное исследованию их эффективности.

Постановка задачи

Целью работы является нахождение эффективного алгоритма для распознавания команды из потока входного звукового сигнала, которая заранее определена набором команд; выполнение практической реализации алгоритма.

Для достижения цели необходимо произвести выделение из исходного речевого сигнала информативных характеристик, которые полноценно описывают исходный сигнал, но требуют меньших вычислительных затрат при обработке. Далее производится сравнение массивов информативных признаков анализируемой команды и образца произношения. На основании произведенного анализа, выбирается текстовое представление наиболее схожего образца и выводится пользователю.

Вычисление мел-частотных кепстральных коэффициентов (MFCC)

Коэффициенты MFCC хорошо зарекомендовали себя в задачах распознавания речи. По сравнению с альтернативными методами выделения признаков из речевого сигнала (LPC, PLP), результаты распознавания были лучше [1].

На рисунке 1 представлен процесс вычисления MFCC [2]. На первом шаге вычисляются компоненты спектра Фурье. Далее спектр сглаживается при помощи операции свертки с треугольными окнами.

Рисунок 1 – Процесс вычисления кепстральных коэффициентов

Формально операция сглаживания определяется следующим образом:

где c _i , i=0, …, N/2  – спектр сигнала;

К – количество окон;

m_ij – величина j-ой оконной функции.

Оконная функция выражается через величины a_j – начало j-ого треугольного окна следующим образом:

Окончательно MFCC коэффициенты получаются при помощи дискретного косинус-преобразования:

MFCC преобразование по сути является сжатием спектральных данных, что значительно упрощает дальнейшее сравнение распознаваемой команды с набором эталонных команд за счет уменьшения размерности вектора признаков.

В качестве итоговых значений берутся первые несколько коэффициентов дискретного косинусного преобразования.

Классический метод динамического трансформирования времени (DTW)

DTW относится к методам динамического программирования. Он используется для сравнения распознаваемого сигнала с эталонами и учитывает динамические изменения во времени [3].

Метод динамического трансформирования времени вычисляет оптимальную последовательность трансформации времени для двух временных рядов.

Пусть дано два временных ряда Q и C длиной соответственно n и m:

Q=q₁,q₂,…,q_n,   C=c₁,c₂,…,c_m

По этим последовательностям строится путь наименьшей стоимости.

Определим матрицу Ω^n∙m  так, чтобы её элемент соответствовал расстоянию между i-ым и j-ым элементами последовательностей Q и C, т.е. соответствовал выравниванию между q_i и c_j. Возьмем евклидово расстояние:

По матрице Ω построим путь W. Этот путь показывает соответствие между Q и C. k-ый элемент W определяется как w_k = (i, j). Путь W имеет следующий вид:

W=w₁,w₂,…,w_k,…,w_K,

где К – длина пути.

К удовлетворяет следующему условию:

min(m,n)≤K<m+n-1

Путь W должен удовлетворять следующим ограничениям:

1. Граничные условия

Обычно допускают, что w₁ = (1, 1) и w_K = (n, m). Таким образом начало и конец W находятся на диагонали в противоположных углах Ω.

2. Непрерывность

Обход последовательности происходит постепенно – за один шаг индексы i-ый и j-ый увеличиваются не больше, чем на единицу. Пусть w_k = (a,b) и w_k-1 = (p,q), тогда:

a-p≤1, b-q≤1

Данное ограничение необходимо, чтобы в шаге пути W брали участие только соседние элементы матрицы.

3. Монотонность

Пусть w_k = (a,b) и w_k-1 = (p,q), тога

a-p≥0, b-q≥0

Это ограничение необходимо, чтобы точки W монотонно перемещались во времени.

Путей, которые удовлетворяют этим трем условиям, может быть очень много. Поэтому необходимо выбрать путь, на котором достигается минимум стоимости пути:

Знаменатель К необходим, чтобы учесть разную длину W.

Таким образом, путь наименьшей стоимости (выравнивающий путь) для последовательностей Q и C – это путь W, на котором достигается минимум стоимости пути DTW(Q,C).

Классический алгоритм поиска пути с минимальной стоимостью рекурсивно находит длину пути наименьшей стоимости γ_i,j для каждого элемента матрицы Ω:

Сравнение входного образа с набором эталонов

Задачей распознавания образов является сопоставление входного образа с определенным существующим классом (моделью команды). Цель распознавания – оценить модель команды, к которой входные данные принадлежат с большей вероятностью [4].

Задание системы распознавания речи состоит в том, чтобы по речевому сигналу правильно идентифицировать сказанную диктором команду. Это соответствует оптимальному критерию, который может быть выражен:

где   – выходная гипотеза фразы;

w – произнесенная последовательность слов;

W – набор всех возможных последовательностей слов;

O – последовательность векторов признаков, вычисленных по входному речевому сигналу.

Экспериментальные исследования

Для обучения системы распознавания речи использовались 10 команд, надиктованные четырьмя дикторами (3 мужских голоса и 1 женский).

Для тестирования было сформировано 2 теста. Каждый тест состоит из полного набора команд, который озвучило 2 диктора с мужским голосом, причем голосом одного был записан также обучающий набор.

Обучение производилось по очереди на голосе каждого диктора по отдельности, а потом – с использованием всех голосов. После каждого из пяти обучений производилось тестирование.

При обучении на голосе только одного диктора средняя вероятность распознавания составила 46%, зависимости качества распознавания от голоса диктора не наблюдалось. При обучении на голосах одновременно всех дикторов вероятность распознавания повысилась до 70%.

Выводы

В работе рассмотрена структура системы распознавания речи. Описана комбинация метода получения информативных признаков речевого сигнала (MFCC) с методом сравнения последовательностей векторов признаков. Метод сравнения (DTW) позволяет учитывать различную скорость произнесения команды. Также описан критерий оптимальности, который позволяет выбрать модель команды, соответствующую входному сигналу. Проведены экспериментальные исследования.

С момента появления первых компьютеров ученые работают над решением проблемы автоматического распознавания речи. За эти годы были разработаны различные методы распознавания, созданы работоспособные системы для английского, китайского и целого ряда европейских языков, дающие достаточно высокий процент распознавания. Однако в настоящее время не существует коммерчески успешных систем для распознавания слитной русской речи.

С целью стимулирования исследований в области речевых технологий в России и СНГ международной компанией «Центр речевых технологий» и Санкт-Петербургским национальным исследовательским университетом информационных технологий, механики и оптики в 2013 г. был объявлен конкурс «Родная речь – 2013» с главным призом в сто тысяч рублей. Задача конкурсантов заключалась в разработке прототипа системы распознавания слитной русской речи за один месяц. Подобные конкурсы еще больше подчеркивают важность исследований в этом направлении.

Большинство известных методов распознавания слитной русской речи основаны на применении акустических и языковых моделей в распознавании фраз и отдельных участков речи, в то время как цифровая (битовая) составляющая сигнала остается без внимания. Звук в цифровом виде представляет собой некоторую последовательность нулей и единиц, или битов, проанализировав которую можно составить аналитические выражения и математическую модель для его распознавания. Так в любом звуковом файле T можно выделить: минимальный T_min и максимальный T_max элементы, наиболее часто встречающийся элемент T_ч, среднее значение T_ср элементов последовательности и т. д.

При цифровом анализе записей отдельных букв также возникает ряд проблем. Во-первых, необходимо согласовать распределение битов со скоростью произнесения той или иной буквы, т. е. перед проведением анализа файлов необходимо нормировать их по скорости, либо выявлять закономерности в очередности следования битов, независящие от скорости произнесения звуков. Второй проблемой является влияние эмоциональной окраски на цифровой состав файла. Очевидно, что записи одних и тех же звуков, произнесенных под влиянием разных эмоций, будут иметь различный битовый состав. Таким образом, предстоит вычленить отдельные биты или последовательности битов, которые не зависят от эмоциональной окраски речи. Кроме того, нужно учитывать наличие индивидуальных особенностей речи каждого диктора [1, 2].

В связи с вышесказанным, предлагается следующий способ распознавания гласных букв в слитной русской речи, который основан на использовании возможностей многомерного нечеткого интервально-логического регулятора, разработанного автором, принцип работы которого приведен в статьях [3, 4].

Схема системы распознавания речи приведена на рис. 1.

Рисунок 1 – Схема системы распознавания речи

Для подготовки файлов, содержащих гласные звуки, предлагается проведение следующего эксперимента.

В помещении с допустимым уровнем шума и стандартной акустикой производится запись гласных звуков русского языка, произносимых несколькими дикторами. Каждый гласный звук произносится диктором несколько раз, при этом варьируется скорость произнесения, громкость и эмоциональная окраска. Таким образом, создается банк записей, которые предстоит проанализировать с помощью разрабатываемой программы. По результатам анализа полученные последовательности битов сравниваются между собой и выводится некий усредненный цифровой код каждого гласного звука.

Порядок анализа файла, содержащего звуковой фрагмент, имеет вид:

1. Производим интервализацию файла, то есть делим файл на n равных частей, отсекая оставшиеся байты с начала и конца файла, в предположении, что данные байты содержат шум.

Алгоритм интервализации файлов следующий:

а) получаем количество интервалов разбивки n;

б) разбиваем файл на n равных частей. В случае, если размер файла в байтах не делится нацело на n, находим число байт, которые требуется отсечь, это остаток от деления на n. Например, если размер файла – 75 байт, а число интервалов – 7, то остаток от деления равен 5. Далее делим полученный остаток на 2, частное будет равным 2, остаток 1. Тогда

Начало файла = частное + остаток + 1,

Конец файла = размер файла – частное.

Затем разбиваем усеченный файл на n частей.

2. Производим различные методы анализа [5, 6]. Так автором предлагается следующий метод интерпретации файлов, содержащих звуки, в виде последовательности байтов:

– внутри каждого интервала разбивки находим наиболее часто встречающийся байт;

– представляем звук в виде последовательности этих байтов;

– на основании ряда экспериментов находим в каких диапазонах лежат байты внутри каждого интервала для каждого звука, представляющего определенную букву русского алфавита.

Схема интервализации звукового файла представлена на рис. 2, где m – размер звукового файла в байтах; T ⁽¹⁾, T ⁽²⁾, …, T ⁽ⁿ⁾ – n интервалов разбивки; T_ч⁽¹⁾, T_ч⁽²⁾, …, T_ч⁽ⁿ⁾ – наиболее часто встречающиеся байты внутри интервалов разбивки T ⁽¹⁾, T ⁽²⁾, …, T ⁽ⁿ⁾; T_ч и T_ч‘ – наиболее часто встречающиеся байты в звуковом файле и в последовательности T_ч⁽¹⁾, T_ч⁽²⁾, …, T_ч⁽ⁿ⁾ соответственно.

Рисунок 2 – Схема интервализации звукового файла в многомерном интервально-логическом регуляторе

На рисунке 3 представлено окно программного обеспечения для анализа звуковых файлов, разработанного автором.

Рисунок 3 – Скриншот системы для анализа звуковых файлов

На данном этапе разработки анализатор гласных букв позволяет варьировать количество интервалов разбивки, выявлять часто встречающиеся байты как в целом файле, так и в каждом отдельном интервале, и получать цифровой код звука в виде последовательности байтов, согласно установленному числу интервалов. На следующем этапе предполагается реализовать механизм сравнения цифровых кодов одного и того же гласного звука, полученных в результате анализа записей разных дикторов.

В результате эксперимента гласный звук “а”, записанный одним диктором 10 раз, но c разной скоростью произнесения и эмоциональной окраской, и разбитый на 10 интервалов имеет коды, приведенные в табл. 1.

Таблица 1 – Цифровые коды гласного звука “а”

Из таблицы 1 видно, что байты гласного звука “а” внутри десятого интервала разбивки принимают всего два значения – 32 и 255; внутри третьего и пятого интервалов лежат в диапазоне значений [248; 255] и [243; 254] соответственно. Значения внутри остальных интервалов колеблются в диапазоне значений целого байта.

Это говорит о том, что необходим более детальный анализ цифровой структуры файлов с увеличением числа интервалов разбивки, как в целом файле, так и внутри отдельных интервалов. Так для описанного выше эксперимента необходима разбивка третьего и пятого интервалов с целью выявления более точных диапазонов значений байтов или для их подтверждения.

Таблицы, полученные в ходе экспериментов, в перспективе позволят получить цифровые коды гласных звуков для русского языка в виде последовательности байтов (или битов).