Идентификация языка текстового сообщения является ключевым элементов для автоматической обработки текста в мультиязычной среде, такой как сеть Интернет. Во многих странах ведутся исследования по повышении точности определения языка текстового документа  [1,2] и коротких сообщений [3]. Распространенные языки мира исследованы и имеют средства для программной идентификации. Языки народов России не очень широко представлены в сети Интернет и часто не имеют средств для автоматической обработки.

Для идентификации якутского языка автором были разработаны и исследованы словарный метод определения языка [4], метод, использующий газетный корпус [5,6], метод биграмм [7].

Определения языка сообщений с помощью нахождения национальных букв не имеет большой перспективы, так как текст может состоять только из букв русского алфавита, также может быть написан с помощью транслитерации, а также может быть документом на другом языке использующий такие же буквы (староабхазкий, алтайский, марийский, башкирский и другие тюркские языки), согласно стандарта Unicode 6.3.

Разброс точности определения языка с помощью метода биграмм составляет большую величину, так как в якутском языке могут быть использованы сами слова из русского языка и иностранных языков, а также их фонетизированные варианты. Например, слова из слова«бизнес» – «бизинес», «бизнестыыр», «бизнеска», «биисинэс», «биизинес», «биисиньэс» или же слово «ватсап» – «ватсаптаа», «ватсаабы». Так как нововведенные слова не обладают устойчивым фонетизированным вариантом написания, они могут быть написаны разными способами, что усложняет их идентификацию. Такие варианты слов приводят к большому количеству совпадений биграмм для идентификации языка, что снижает точность идентификации.

Словарный метод обладает небольшим процентом совпадений, что не позволяет повысить точность идентификации языка без алгоритма создания из словарных слов словоформ используемых в письменности и речи.

Метод, использующий базу данных словаря газетного корпуса, обладает большим процентом совпадений словоформ, но только в случае достаточно больших текстов и в случае грамматические правильно написанных слов. При определении языка текста из Интернет-форумов метод дает большой процент ошибок.

Метод идентификации языка с помощью триграмм позволяет распознавать язык сообщения и при случае текстового сообщения с большим количеством орфографических ошибок. Такие тексты часто встречаются в сообщениях из Интернет-форумов, так как очень часто пользователи форумов набирают тексты на якутском языке с помощью транслита.

Для создания базы данных триграмм была использована база словаря газетного корпуса якутского языка объемом более 100 тыс. словоформ.

База данных триграмм была очищена от триграмм использующих буквы «в», «ж», «я», «ц», «ш», «щ», «з», «ъ», «ф», «ю». Данные буквы не являются типичными для якутского языка и обычно такие буквы используются в словах из русского и иностранных языков. Так необходимо учесть особенности языка, то есть отсутствие звуков состоящих из трех подряд согласных звуков («кст» и т.д.), подряд идущих гласных, кроме длинных гласных («аа», «уу», «ии», «оо», «ээ», «ыы», «үү», «өө») и дифтонгов («ыа», «үө», «иэ», «уо»), а также диграфов («дь» и «нь»), использующих мягкий знак.

Очистка базы триграмм уменьшает процент идентификации текста в случае текст русском языке до 25%, а текста на якутском языке до 80%.

Задача увеличения уникальных биграмм и триграмм может быть также решена с использованием словаря содержащих слова только с фонетизированными вариантами слов. Но процент биграмм и триграмм одинаково встречающихся в русском и якутском языке все равно составляет около 20%. Например, имеется слова заимствованные из тюркского языка («балык»), с одинаковым графическим представлением, но разным смыслом («баран» – рус., «иссякать» или частица речи в якутском языке), а также слова с совпадениями в большой части слова («оборона» – «оборон»). Якутский язык включается в себя большое количество заимствований из русского языка, новые понятия и существительные, что увеличивает процент совпадения с русским языком. Заимствованные слова в тексте якутском языке приобретают суффиксы якутского языка («мелиорацияны» – мелиорацию).

Учет частоты употребления биграмм и триграмм, а также ввод весовых коэффициентов позволяет учесть биграммы и триграммы якутского языка. Корреляция частоты употребления символов якутского и русского языка достигает 60%, что указывает на большое количество совпадений в частотной области [8].

Выбор базы данных триграмм обеспечивает достаточную точность определения языка текстового сообщения при разной длине текста и в случае наличия орфографических ошибок, в среднем до 60%. Учет грамматических особенностей якутского языка увеличивает точность идентификации языка текстового в среднем до 80%.

1. Botha G.R., Barnard E. Factors that affect the accuracy of text-based language identification / [Электронный ресурс] — Режим доступа. — URL: http://www.researchgate.net/publication/30510468_Factors_that_affect_the_accuracy_of_text-based_language_identification (дата обращения: 13.07.14).
2. Mandl T., Shramko M., Tartakovski O. et al. Language Identification in Multi-lingual Web-Documents / [Электронный ресурс] — Режим доступа. —URL: http://link.springer.com/chapter/10.1007/11765448_14 (дата обращения: 13.07.14).
3. Gottron T., Lipka N.A Comparison of Language Identification Approaches on Short, Query-Style Texts / [Электронный ресурс] — Режим доступа. — URL: http://link.springer.com/chapter/10.1007/978-3-642-12275-0_59 (дата обращения: 13.07.14).
4. Леонтьев Н.А. Словарное определение якутского языка в текстовом сообщении // Научная перспектива. — 2014. — № 2(48). — С. 97—98.
5. Леонтьев Н.А. Идентификация языка текстового сообщения с помощью газетного корпуса якутского языка // Universum: Технические науки : электрон. научн. журн. – 2014. – № 8 (9). / [Электронный ресурс] URL: http://www.7universum.com/en/tech/archive/item/1539 (дата обращения: 10.11.2014).
6. Леонтьев Н.А. Национальный корпус интернет-сайтов газет на якутском языке / Журнал научных и прикладных исследований. Уфа: Инфинити. — 2014. — № 4. — С. 35—36.
7. Леонтьев Н.А. Распознавание языка текстовых сообщений с помощью биграмм на материалах якутского языка // Современное состояние естественных и технических наук. М: ООО “Издательство “Спутник+”, 2014. — XIV. — С. 88—91.
8. Леонтьев Н.А. Частоты употребления букв якутского языка в газетном корпусе [Электронный ресурс] //Современные научные исследования и инновации. -2014. -№ 7. -Режим доступа: http://web.snauka.ru/issues/2014/07/36069 (дата обращения: 12.07.2014).

Все статьи автора «Леонтьев Ньургун Анатольевич»