Электронный научно-практический журнал «Современные научные исследования и инновации» » частоты употребления букв https://web.snauka.ru Sat, 18 Apr 2026 09:41:14 +0000 ru hourly 1 http://wordpress.org/?v=3.2.1 Частоты употребления букв якутского языка в газетном корпусе https://web.snauka.ru/issues/2014/07/36069 https://web.snauka.ru/issues/2014/07/36069#comments Sat, 12 Jul 2014 13:50:48 +0000 Леонтьев Ньургун Анатольевич https://web.snauka.ru/?p=36069 Языковые корпуса на других языках существуют давно, со времен развития вычислительной техники и лингвистики. Одним из используемых является Национальный корпус русского языка, который является сбалансированным. Он содержит тексты из разных источников, таких как литературные, газетные, поэтические и т.д.

Газетный корпус якутского корпуса [1,2] разрабатывается для создания автоматических систем коррекции языка, автоматической разметки текста и развития прочих вычислительных технологий в отношении якутского языка, на материалах газет на якутском языке.

Таблицы частот употребления букв раньше использовали в системах дешифровки сообщений, так шифры замены не могли скрывать частоты употребления букв. В данное время частотные таблицы можно использовать для автоматического исправления некорректного распознанного символа в системах сканирования документов, в системах распознавания речи, а также в других интеллектуальных системах [3].

В ходе анализа газетного корпуса на якутском языке было проанализировано более трех тысяч текстов с общим количеством букв равным 7298065. Содержание текстов это в основном новостная хроника.

Для анализа текстов был составлен скрипт на язык php, с использованием библиотеки Multibyte Strings Function. Данные корпуса хранятся в базе данных MySQL с кодировкой UTF-8. Скрипт, написанный автором, получил на выходе статистический массив с указанием, сколько раз буква встречается в корпусе.

В таблице 1 приведены буквы якутского алфавита, с выделением национальных букв и указанием количество буквы в корпусе, а также с вычисленной частотой в процентах.

Таблица 1. Частотная таблица символов якутского языка.

Буква

Количество

Частота, %

а

955045

13,09

т

540274

7,40

н

521022

7,14

р

508160

6,96

э

499112

6,84

и

473880

6,49

ы

420468

5,76

л

384091

5,26

у

356213

4,88

о

353088

4,84

с

285290

3,91

б

259584

3,56

к

240207

3,29

х

177011

2,43

д

165190

2,26

ү

157683

2,16

г

115679

1,59

м

115419

1,58

й

114828

1,57

ө

109188

1,50

һ

105586

1,45

п

80167

1,10

ҕ

68323

0,94

е

59599

0,82

ь

59582

0,82

ч

52993

0,73

ҥ

43078

0,59

в

29412

0,40

я

14230

0,19

ц

8329

0,11

ф

7927

0,11

з

7841

0,11

ж

2777

0,04

ш

2449

0,03

ю

2214

0,03

щ

1290

0,02

ъ

752

0,01

ё

84

0,001

Якутский язык в своем происхождении не имеет букв «е», «в», «я», «ц», «ф», «з», «ж», «ш», «ю», «щ», «ъ» и «ё», эти буквы были заимствованы из русского языка. По таблице 1 четко видно, что частота употребления большинства этих букв (кроме «е») меньше 0,4%, и эти буквы встречаются в тексте на якутском языке в названиях различных объектов, компаний, имен собственных и других словах имеющих иностранное происхождение.

Для сравнения частот употребления букв якутского языка с другим тюркским языком, был выбран татарский язык [4]. Из алфавита татарского языка была сделана выборка букв совпадающих с русским языком.

В таблице 2 идет сравнение частоты употребления букв якутского, татарского и русского алфавитов. Данные о частоте букв русского языка получены из работы [5].В национальном корпусе русского языка анализ сделан по 505266851 буквам.

Таблица 2. Сравнение частот употребления букв якутского, татарского и русского языка

Буква

Якутский язык, %

Татарский язык, %

Русский язык, %

а

13,08

11

7,99

б

3,55

3,3

1,59

в

0,40

0,4

4,53

г

1,58

3

1,68

ҕ

0,93

-

-

д

2,26

2,8

2,97

е

0,81

7

8,48

ё

0,001

0,01

ж

0,04

0,1

0,94

з

0,11

1,9

1,64

и

6,49

4,3

7,36

й

1,57

1,4

1,2

к

3,29

5,6

3,48

л

5,26

6,4

4,34

м

1,58

2,6

3,2

н

7,13

7,2

6,7

ҥ

0,59

-

-

о

4,84

1,4

10,98

ө

1,49

-

-

п

1,10

1,8

2,8

р

6,96

6,6

4,74

с

3,91

2,5

5,47

һ

1,45

-

-

т

7,40

4,5

6,31

у

4,88

2,6

2,61

ү

2,16

-

-

ф

0,11

0,3

0,26

х

2,43

0,5

0,96

ц

0,11

0,1

0,48

ч

0,73

1,5

1,45

ш

0,033

2

0,71

щ

0,018

0,1

0,36

ъ

0,01

0,1

0,03

ы

5,76

6,4

1,89

ь

0,82

0,3

1,73

э

6,84

0,2

0,33

ю

0,03

0,2

0,63

я

0,19

1

2

Для расчета корреляции якутского и русского языка с использованием формулы (1), была высчитана корреляционная функция, значение который оказалось равной 0,60. Данное число показывает насколько могут совпадать частоты употребления букв в текстах на якутском и русском языке.

                                                       (1)

В результате работы получена частотная таблица употребления букв якутского языка в национальном газетном корпусе. Это таблица будет полезна для систем статистической обработки текста на якутском языке, для систем автоматической коррекции текста. Произведено сравнение частот употребления букв в якутском, татарском и русских языках.

]]> https://web.snauka.ru/issues/2014/07/36069/feed 0