<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>Электронный научно-практический журнал «Современные научные исследования и инновации» &#187; триграммы</title>
	<atom:link href="http://web.snauka.ru/issues/tag/trigrammyi/feed" rel="self" type="application/rss+xml" />
	<link>https://web.snauka.ru</link>
	<description></description>
	<lastBuildDate>Fri, 17 Apr 2026 07:29:22 +0000</lastBuildDate>
	<language>ru</language>
	<sy:updatePeriod>hourly</sy:updatePeriod>
	<sy:updateFrequency>1</sy:updateFrequency>
	<generator>http://wordpress.org/?v=3.2.1</generator>
		<item>
		<title>Определение порога вероятности триграмм в программном определителе языка</title>
		<link>https://web.snauka.ru/issues/2016/04/65995</link>
		<comments>https://web.snauka.ru/issues/2016/04/65995#comments</comments>
		<pubDate>Sat, 30 Apr 2016 16:41:07 +0000</pubDate>
		<dc:creator>Леонтьев Ньургун Анатольевич</dc:creator>
				<category><![CDATA[05.00.00 ТЕХНИЧЕСКИЕ НАУКИ]]></category>
		<category><![CDATA[газетный корпус]]></category>
		<category><![CDATA[корпусная лингвистика]]></category>
		<category><![CDATA[определитель языка]]></category>
		<category><![CDATA[триграммы]]></category>
		<category><![CDATA[якутский язык]]></category>

		<guid isPermaLink="false">https://web.snauka.ru/?p=65995</guid>
		<description><![CDATA[Компьютерная корпусная лингвистика развивает компьютерные методы анализа и обработки языков, развитие получило в середине двадцатого века, с развитие вычислительной техники и программного обеспечения. Наибольшое развитие получили английский язык и европейские языки, в нашей стране развиваются русский язык и в том числе, языки народов Российской Федерации, таких как башкирский [1], дагестанские языки [2], татарский и другие. [...]]]></description>
			<content:encoded><![CDATA[<p>Компьютерная корпусная лингвистика развивает компьютерные методы анализа и обработки языков, развитие получило в середине двадцатого века, с развитие вычислительной техники и программного обеспечения. Наибольшое развитие получили английский язык и европейские языки, в нашей стране развиваются русский язык и в том числе, языки народов Российской Федерации, таких как башкирский [1], дагестанские языки [2], татарский и другие.</p>
<p>Якутский  язык относится к языкам агглютинативного типа, то есть к языкам, словообразование которых происходить присоединением аффиксов, к таким языкам относятся все тюркские языки. Для развития методов компьютерной обработки якутского языка был создан газетный корпус, объем которого составляет более 12 млн. словоупотреблений, количество словоформ более 350 тыс. [3-4].</p>
<p>Для определения языка текста были применены методы словаря [5], метод биграмм [6], с помощью словаря газетного корпуса,  триграмм [8]. Словарный метод обладает низким качеством определения языка, так как существует большая зависимость от словаря, метод биграмм является более точным, чем словарный метод, но при определении языков принадлежащих к одной группе показывает большую вероятность неверного определения. Метод триграмм обладает более высокой вероятностью точного определения языка, но есть необходимость в выборе и составлении словаря триграмм [9].</p>
<p>Обычно в ранних работах применялся порог в 50%, но с увеличением базы данных триграмм встал вопрос об определении порога триграмм, так как это влияет на точность определения языка.</p>
<p>Введем понятия вероятность определения слова, которая зависит от того, сколько триграмм в слове относятся к якутскому языку. Если слово относится к словарю, из которого были собраны триграммы, то слово имеет 100% триграмм с происхождением из якутского языка.</p>
<p>Для исследования были выбраны тексты на русском и якутском языке, в равном количестве, то 100 текстов с обоих языков. Каждый текст был обработан определителем языка, был выведен процент вероятности определения слова как якутского, подсчитано количество слов соответствующий вероятности определения слов. По полученным результатам, выведены графики на рисунке 1.</p>
<p style="text-align: center;"><a href="https://web.snauka.ru/issues/2016/04/65995/trig" rel="attachment wp-att-65996"><img src="https://web.snauka.ru/wp-content/uploads/2016/03/trig.png" alt="Рис.1" width="822" height="358" /></a></p>
<p style="text-align: center;">Рис.1 Зависимость порога определения от вероятности определения слова</p>
<p>На рисунке 1 показана зависимость определения языка текста от вероятности определения слов (<span style="color: #333399;">♦</span> &#8211; якутский язык, <span style="color: #ff00ff;">■</span> &#8211; русский язык).</p>
<p>Если возьмем порог 25%, то вероятность определения текста как якутского составить 97% в случае текста на якутском языке и 70% в случае текста на русском языке. Если порог будет 50%, то вероятности будут соответственно 90% и 40%, в случае порога 75%, вероятности составят около 85% и 25%. В случае порога 100%, вероятности составят 79% и 14%.</p>
<p>Максимальная разница между двумя вероятности равняется 66% и лежит в промежутке между 80% и 85%. Оптимальным является порог значений 80%.</p>
<p>В тексте на якутском языке встречаются заимствованные слова, написанные по правилам русского языка, данные слова снижают вероятность определения якутского языка.</p>
<p><strong>Заключение</strong></p>
<p>Для программного определителя якутского языка с помощью триграмм оптимальным порогом является значение 80%. Имеется зависимость от размера базы триграмм, но при достаточно большом размере данная зависимость становится незначительной и зависит уже от фонетизации заимствованных слов.</p>
]]></content:encoded>
			<wfw:commentRss>https://web.snauka.ru/issues/2016/04/65995/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
	</channel>
</rss>
