Газетный корпус якутского корпуса [1,2] разрабатывается для создания автоматических систем коррекции языка, автоматической разметки текста и развития прочих вычислительных технологий в отношении якутского языка, на материалах газет на якутском языке.

Таблицы частот употребления букв раньше использовали в системах дешифровки сообщений, так шифры замены не могли скрывать частоты употребления букв. В данное время частотные таблицы можно использовать для автоматического исправления некорректного распознанного символа в системах сканирования документов, в системах распознавания речи, а также в других интеллектуальных системах [3].

В ходе анализа газетного корпуса на якутском языке было проанализировано более трех тысяч текстов с общим количеством букв равным 7298065. Содержание текстов это в основном новостная хроника.

Для анализа текстов был составлен скрипт на язык php, с использованием библиотеки Multibyte Strings Function. Данные корпуса хранятся в базе данных MySQL с кодировкой UTF-8. Скрипт, написанный автором, получил на выходе статистический массив с указанием, сколько раз буква встречается в корпусе.

В таблице 1 приведены буквы якутского алфавита, с выделением национальных букв и указанием количество буквы в корпусе, а также с вычисленной частотой в процентах.

Таблица 1. Частотная таблица символов якутского языка.

Якутский язык в своем происхождении не имеет букв «е», «в», «я», «ц», «ф», «з», «ж», «ш», «ю», «щ», «ъ» и «ё», эти буквы были заимствованы из русского языка. По таблице 1 четко видно, что частота употребления большинства этих букв (кроме «е») меньше 0,4%, и эти буквы встречаются в тексте на якутском языке в названиях различных объектов, компаний, имен собственных и других словах имеющих иностранное происхождение.

Для сравнения частот употребления букв якутского языка с другим тюркским языком, был выбран татарский язык [4]. Из алфавита татарского языка была сделана выборка букв совпадающих с русским языком.

В таблице 2 идет сравнение частоты употребления букв якутского, татарского и русского алфавитов. Данные о частоте букв русского языка получены из работы [5].В национальном корпусе русского языка анализ сделан по 505266851 буквам.

Таблица 2. Сравнение частот употребления букв якутского, татарского и русского языка

Для расчета корреляции якутского и русского языка с использованием формулы (1), была высчитана корреляционная функция, значение который оказалось равной 0,60. Данное число показывает насколько могут совпадать частоты употребления букв в текстах на якутском и русском языке.

                                                       (1)

В результате работы получена частотная таблица употребления букв якутского языка в национальном газетном корпусе. Это таблица будет полезна для систем статистической обработки текста на якутском языке, для систем автоматической коррекции текста. Произведено сравнение частот употребления букв в якутском, татарском и русских языках.

Для идентификации якутского языка автором были разработаны и исследованы словарный метод определения языка [4], метод, использующий газетный корпус [5,6], метод биграмм [7].

Определения языка сообщений с помощью нахождения национальных букв не имеет большой перспективы, так как текст может состоять только из букв русского алфавита, также может быть написан с помощью транслитерации, а также может быть документом на другом языке использующий такие же буквы (староабхазкий, алтайский, марийский, башкирский и другие тюркские языки), согласно стандарта Unicode 6.3.

Разброс точности определения языка с помощью метода биграмм составляет большую величину, так как в якутском языке могут быть использованы сами слова из русского языка и иностранных языков, а также их фонетизированные варианты. Например, слова из слова«бизнес» – «бизинес», «бизнестыыр», «бизнеска», «биисинэс», «биизинес», «биисиньэс» или же слово «ватсап» – «ватсаптаа», «ватсаабы». Так как нововведенные слова не обладают устойчивым фонетизированным вариантом написания, они могут быть написаны разными способами, что усложняет их идентификацию. Такие варианты слов приводят к большому количеству совпадений биграмм для идентификации языка, что снижает точность идентификации.

Словарный метод обладает небольшим процентом совпадений, что не позволяет повысить точность идентификации языка без алгоритма создания из словарных слов словоформ используемых в письменности и речи.

Метод, использующий базу данных словаря газетного корпуса, обладает большим процентом совпадений словоформ, но только в случае достаточно больших текстов и в случае грамматические правильно написанных слов. При определении языка текста из Интернет-форумов метод дает большой процент ошибок.

Метод идентификации языка с помощью триграмм позволяет распознавать язык сообщения и при случае текстового сообщения с большим количеством орфографических ошибок. Такие тексты часто встречаются в сообщениях из Интернет-форумов, так как очень часто пользователи форумов набирают тексты на якутском языке с помощью транслита.

Для создания базы данных триграмм была использована база словаря газетного корпуса якутского языка объемом более 100 тыс. словоформ.

База данных триграмм была очищена от триграмм использующих буквы «в», «ж», «я», «ц», «ш», «щ», «з», «ъ», «ф», «ю». Данные буквы не являются типичными для якутского языка и обычно такие буквы используются в словах из русского и иностранных языков. Так необходимо учесть особенности языка, то есть отсутствие звуков состоящих из трех подряд согласных звуков («кст» и т.д.), подряд идущих гласных, кроме длинных гласных («аа», «уу», «ии», «оо», «ээ», «ыы», «үү», «өө») и дифтонгов («ыа», «үө», «иэ», «уо»), а также диграфов («дь» и «нь»), использующих мягкий знак.

Очистка базы триграмм уменьшает процент идентификации текста в случае текст русском языке до 25%, а текста на якутском языке до 80%.

Задача увеличения уникальных биграмм и триграмм может быть также решена с использованием словаря содержащих слова только с фонетизированными вариантами слов. Но процент биграмм и триграмм одинаково встречающихся в русском и якутском языке все равно составляет около 20%. Например, имеется слова заимствованные из тюркского языка («балык»), с одинаковым графическим представлением, но разным смыслом («баран» – рус., «иссякать» или частица речи в якутском языке), а также слова с совпадениями в большой части слова («оборона» – «оборон»). Якутский язык включается в себя большое количество заимствований из русского языка, новые понятия и существительные, что увеличивает процент совпадения с русским языком. Заимствованные слова в тексте якутском языке приобретают суффиксы якутского языка («мелиорацияны» – мелиорацию).

Учет частоты употребления биграмм и триграмм, а также ввод весовых коэффициентов позволяет учесть биграммы и триграммы якутского языка. Корреляция частоты употребления символов якутского и русского языка достигает 60%, что указывает на большое количество совпадений в частотной области [8].

Выбор базы данных триграмм обеспечивает достаточную точность определения языка текстового сообщения при разной длине текста и в случае наличия орфографических ошибок, в среднем до 60%. Учет грамматических особенностей якутского языка увеличивает точность идентификации языка текстового в среднем до 80%.

За прошедшее время количество естественных языков имеющих представление в виде машинного корпуса увеличилось до сотен. Размеры корпусов к 2015 году достигли несколько сотен миллионов слов, например национальный корпус русского языка имеет размер в 364 млн. словоупотреблений (Данные с сайта http://www.ruscorpora.ru/). Национальные корпуса языков народов России имеют различные размеры, например письменный корпус татарского языка, имеет объем более 116 млн. словоупотреблений и 1,5 словоформ (сайт http://corpus.tatfolk.ru/). Развиваются машинные корпуса также башкирского и тувинского языка [1,2].

Какой объем корпуса в словоупотреблениях необходим для языка? Русский язык отличается от английского видами словообразования через суффиксы и префиксы, что должно увеличить размер корпуса. Якутский язык относиться к языкам агглютинативным языкам, в которых слова образуются за счет суффиксов. Для агглютинативных языков объем нужен несколько больше размером, чем для языков флективного типа.  В зависимости от типа языка и видов словообразования необходимо увеличить объем машинного корпуса. Для оценки необходимого размера машинного корпуса был использован газетный корпус якутского языка размером в 12 млн. 583 тыс. словоупотреблений [3,4].

Для подсчета словоупотреблений и словоформ автором был создан программный скрипт на языке PHP и с использованием базы данных MySQL. Подсчет словоформ велся с шагом тысячу словоупотреблений. На рисунке 1 показан график роста словоформ от числа словоупотреблений, где четко виден рост нелинейный рост словоформ до 7 млн. словоупотреблений и линейная зависимость после данного рубежа.

Рисунок 1. Зависимость числа словоформ от словоупотреблений.

На рисунке 2 показан рост зависимость разницы числа словоформ от словоупотреблений, шаг измерений взят 10 тыс.словоупотреблений. Всплеск графика на 5 млн. объясняется изменением источника текста. После отсчета в 7 млн. рост словоформ в среднем составляет примерно 200 словоформ на 10 тыс.словоупотреблений, то есть примерно 2%.

Заключение

По результатам исследования можно сказать что основной объем машинного корпуса заключен в объеме до 7 млн. словоупотреблений. Дальнейший рост объема словоформ будет более-менее линейным и составляет примерно 2% от количества словоупотреблений. Для прогнозирования для более крупного машинного корпуса размером от десятков и сотен миллионов словоупотреблений необходимо произвести сбор материала.

Жанровая сбалансированность корпуса также влияет на количество словоформ, поэтому необходим более широкий обхват жанров и балансировка корпуса.

Якутский  язык относится к языкам агглютинативного типа, то есть к языкам, словообразование которых происходить присоединением аффиксов, к таким языкам относятся все тюркские языки. Для развития методов компьютерной обработки якутского языка был создан газетный корпус, объем которого составляет более 12 млн. словоупотреблений, количество словоформ более 350 тыс. [3-4].

Для определения языка текста были применены методы словаря [5], метод биграмм [6], с помощью словаря газетного корпуса,  триграмм [8]. Словарный метод обладает низким качеством определения языка, так как существует большая зависимость от словаря, метод биграмм является более точным, чем словарный метод, но при определении языков принадлежащих к одной группе показывает большую вероятность неверного определения. Метод триграмм обладает более высокой вероятностью точного определения языка, но есть необходимость в выборе и составлении словаря триграмм [9].

Обычно в ранних работах применялся порог в 50%, но с увеличением базы данных триграмм встал вопрос об определении порога триграмм, так как это влияет на точность определения языка.

Введем понятия вероятность определения слова, которая зависит от того, сколько триграмм в слове относятся к якутскому языку. Если слово относится к словарю, из которого были собраны триграммы, то слово имеет 100% триграмм с происхождением из якутского языка.

Для исследования были выбраны тексты на русском и якутском языке, в равном количестве, то 100 текстов с обоих языков. Каждый текст был обработан определителем языка, был выведен процент вероятности определения слова как якутского, подсчитано количество слов соответствующий вероятности определения слов. По полученным результатам, выведены графики на рисунке 1.

Рис.1 Зависимость порога определения от вероятности определения слова

На рисунке 1 показана зависимость определения языка текста от вероятности определения слов (♦ – якутский язык, ■ – русский язык).

Если возьмем порог 25%, то вероятность определения текста как якутского составить 97% в случае текста на якутском языке и 70% в случае текста на русском языке. Если порог будет 50%, то вероятности будут соответственно 90% и 40%, в случае порога 75%, вероятности составят около 85% и 25%. В случае порога 100%, вероятности составят 79% и 14%.

Максимальная разница между двумя вероятности равняется 66% и лежит в промежутке между 80% и 85%. Оптимальным является порог значений 80%.

В тексте на якутском языке встречаются заимствованные слова, написанные по правилам русского языка, данные слова снижают вероятность определения якутского языка.

Заключение

Для программного определителя якутского языка с помощью триграмм оптимальным порогом является значение 80%. Имеется зависимость от размера базы триграмм, но при достаточно большом размере данная зависимость становится незначительной и зависит уже от фонетизации заимствованных слов.