ТЕМПЕРАТУРА КАК ФАКТОР ПРОЯВЛЕНИЯ «ПОТОКА СОЗНАНИЯ» В ОТВЕТАХ GPT-3.5 TURBO И CLAUDE 3 SONNET

1. Введение. Настоящее исследование посвящено изучению гипотезы о том, что повышение параметра температуры в языковых моделях искусственного интеллекта (ИИ) приводит к более частому применению нарративной техники «поток сознания», также известной как «внутренний монолог», в их рассуждениях и генерации текста. В последние годы наблюдается значительный рост интереса к пересечению искусственного интеллекта и вычислительной креативности, особенно в контексте способности больших языковых моделей генерировать тексты, неотличимые от созданных человеком. Одним из ключевых параметров, контролирующих случайность и потенциальную «креативность» генерируемого текста, является его «температура». Одновременно с этим, в литературе существует устоявшаяся нарративная техника «поток сознания», которая стремится воспроизвести естественное течение мыслей в сознании персонажа. Понимание того, может ли ИИ имитировать столь сложный аспект человеческого когнитивного процесса и литературного стиля, имеет важное значение для оценки возможностей современных языковых моделей. Данная работа включает в себя определения ключевых понятий, описание методологии эксперимента, анализ полученных результатов, разработку критериев оценки, обсуждение возможных причин наблюдаемых явлений и ограничений проведенного исследования, а также выводы о подтверждении или опровержении исходной гипотезы.

2. Понимание «температуры» в языковых моделях. В контексте искусственного интеллекта и машинного обучения, параметр температуры представляет собой механизм контроля, используемый для регулирования случайности выходных данных больших языковых моделей во время инференса [1]. Температура напрямую влияет на вероятность выбора следующего токена при генерации текста. Более низкое значение температуры повышает вероятность выбора наиболее вероятных токенов, что приводит к созданию более детерминированного, связного и сфокусированного текста. Такой подход часто предпочтителен для задач, требующих точности и фактической достоверности, таких как техническая документация или ответы чат-ботов. Напротив, более высокое значение температуры увеличивает вероятность выбора менее вероятных токенов, что вносит большее разнообразие, случайность и потенциальную «креативность» в генерируемый текст. Этот параметр широко используется для творческих задач, таких как мозговой штурм или написание художественных произведений [2].

Обычно диапазон значений температуры находится в пределах от 0 до 2, при этом значения по умолчанию составляют от 0.7 до 1. Однако некоторые модели, например, Claude от компании Anthropic, могут иметь более узкий диапазон (от 0 до 1). Помимо температуры, существуют и другие параметры, такие как do_sample, top_k и top_p, которые также влияют на процесс выбора токенов и могут взаимодействовать с температурой. Зачастую рекомендуется регулировать либо температуру, либо параметр top_p, но не оба одновременно [3]. Важно отметить, что, хотя более высокие значения температуры могут приводить к более новым результатам, это не всегда означает подлинную креативность и может также увеличивать непоследовательность в тексте. По сути, температура контролирует случайность, и кажущаяся креативность при высоких значениях может быть результатом исследования моделью менее распространенных последовательностей токенов, что, однако, может привести к потере связности или фактической точности.

3. Определение «потока сознания» («внутренний монолог»). «Поток сознания» представляет собой нарративную технику, целью которой является отображение непрерывного потока мыслей, чувств и восприятий в сознании персонажа [4, с.82]. Этот метод представляет собой нефильтрованный внутренний монолог, часто в сырой и кажущейся нелогичной манере, уделяя первостепенное внимание психологическому состоянию персонажа. Ключевые характеристики «потока сознания» включают в себя нелинейное и ассоциативное мышление, при котором мысли перескакивают между темами на основе свободных связей, личного опыта и воспоминаний. Для этой техники характерны фрагментированные предложения и необычный синтаксис, часто отклоняющиеся от традиционных грамматических структур, с использованием длинных предложений, незавершенных идей и нестандартной пунктуации. Повествование часто сосредоточено на чувственных деталях и основных впечатлениях, отражая самые сокровенные ощущения мысли и опыта персонажа во взаимодействии с миром [5, с.1-22].

«Поток сознания» может характеризоваться отсутствием четкой логической структуры, нарушением хронологического порядка событий и неявными переходами между мыслями. Повествование ведется с интроспективной точки зрения, уделяя больше внимания интерпретации событий персонажем, нежели объективному изложению фактов. В тексте может использоваться разговорный язык, включая сленговые выражения. Повторение слов и фраз может служить для выделения значимых тем или мотивов. Примерами известных литературных произведений, использующих эту технику, являются «Улисс» Джеймса Джойса [6] и «Миссис Дэллоуэй» Вирджинии Вулф [7, с.96-113]. Хотя термины «поток сознания» и «внутренний монолог» часто используются как синонимы, некоторые определения предполагают, что «поток сознания» является более широким понятием и с большей вероятностью включает в себя чувственные впечатления и нарушение грамматических норм. Суть «потока сознания» заключается в достоверном отображении хаотичной, но ассоциативной природы внутреннего мышления. Простое генерирование случайного или бессвязного текста при очень высоких температурах не обязательно отражает все нюансы этой литературной техники. Ассоциативные связи и лежащие в их основе эмоциональные или психологические факторы имеют решающее значение.

4. Выбор языковых моделей. Для проведения эксперимента были выбраны две большие языковые модели, поддерживающие регулировку параметра температуры: GPT-3.5 Turbo от компании OpenAI и Claude 3 Sonnet от компании Anthropic. GPT-3.5 Turbo является одной из наиболее широко используемых и доступных моделей, известной своей способностью генерировать креативный и разнообразный текст. Claude 3 Sonnet, разработанная Anthropic, также зарекомендовала себя как высокопроизводительная модель, демонстрирующая впечатляющие результаты в задачах, связанных с творческим письмом и рассуждением. Выбор этих двух моделей обусловлен их доступностью через API, развитыми возможностями в области генерации текста и диапазоном предоставляемого контроля над параметром температуры. Использование нескольких моделей с различными архитектурами и данными обучения позволяет провести более надежный анализ гипотезы и выявить, являются ли наблюдаемые эффекты специфичными для конкретной модели или более общими для различных реализаций больших языковых моделей.

5. Формулировка запросов и задач. Для исследования были сформулированы следующие запросы и задачи, требующие от языковых моделей рассуждений или генерации текста, где потенциально мог бы проявиться «поток сознания»:

Запрос № 1. Внутренние мысли при принятии решения: «Представьте, что вы — персонаж, стоящий перед сложной этической дилеммой. Опишите ваши внутренние мысли и чувства в процессе принятия решения.»

Запрос № 2. Размышления о воспоминании: «Опишите поток сознания человека, предающегося воспоминаниям о ярком детском впечатлении.»

Запрос № 3. Решение логической задачи с внутренним монологом: «Пошагово продумайте процесс решения этой логической головоломки, описывая свой внутренний монолог по ходу дела: [Вставьте простую логическую головоломку здесь].» (В качестве примера использовалась следующая головоломка: «У вас есть три коробки. В одной лежат только яблоки, в другой — только апельсины, а в третьей — и яблоки, и апельсины. На каждой коробке есть надпись, но известно, что все надписи неверные. Надпись на первой коробке: «Яблоки». На второй: «Апельсины». На третьей: «Яблоки и апельсины». Как, достав всего один фрукт из одной коробки, определить, что лежит в каждой из коробок?»)

Запрос № 4. Креативное повествование с нефильтрованными мыслями: «Напишите короткую повествовательную сцену с точки зрения персонажа, испытывающего момент сильной эмоции, сосредоточившись на его нефильтрованных мыслях и чувственных впечатлениях.»

Эти запросы были разработаны таким образом, чтобы быть достаточно открытыми и позволить моделям потенциально проявить черты «потока сознания» без прямого указания на использование этой техники.

6. Экспериментальная процедура. Эксперимент проводился следующим образом:

1. Осуществлялся доступ к выбранным языковым моделям GPT-3.5 Turbo и Claude 3 Sonnet через их соответствующие API.
2. Для каждого из четырех сформулированных запросов модель запускалась с низким значением температуры (0.2). Полный ответ модели фиксировался.
3. Затем для каждого из тех же четырех запросов модель запускалась с высоким значением температуры (1.0 для GPT-3.5 Turbo и 0.8 для Claude 3 Sonnet, учитывая рекомендованный диапазон для Claude). Полный ответ модели также фиксировался.
4. Использованные значения температуры для каждой модели и каждого запуска были задокументированы.
5. Другие релевантные параметры, такие как top_p (который не изменялся и оставался на значении по умолчанию) и max_tokens (установленный на достаточно высокое значение, чтобы обеспечить развернутые ответы), оставались неизменными для каждого запроса и модели.

7. Сравнение ответов. Полученные ответы при низких и высоких значениях температуры сравнивались по нескольким параметрам. Наблюдались различия в случайности и вариативности ответов при многократных запусках с одинаковыми параметрами. Тексты, сгенерированные при низких температурах, демонстрировали большую последовательность и логическую связность, в то время как ответы при высоких температурах были более разнообразными и непредсказуемыми. Предварительный анализ показал, что при высоких температурах в текстах иногда появлялись элементы, напоминающие фрагментированные мысли и ассоциативные переходы, однако эти проявления не всегда были последовательными или явно выраженными. В следующем разделе будут представлены более детальные критерии для оценки степени выраженности «потока сознания».

8. Критерии и метрики для оценки. Для оценки степени выраженности «потока сознания» в сгенерированных текстах были определены следующие критерии и метрики:

• Частота фрагментов предложений и грамматически нетрадиционных структур: Оценивалось наличие неполных предложений, длинных предложений без надлежащей пунктуации и необычного порядка слов.
• Признаки ассоциативного мышления: Выявлялись случаи, когда текст переходил между, казалось бы, несвязанными идеями на основе тонких или подразумеваемых связей, отражая свободные ассоциации, характерные для «потока сознания».
• Наличие чувственных деталей и внутренних ощущений: Анализировалось, фокусируется ли описание на чувствах, восприятиях и непосредственных чувственных переживаниях персонажа, а не на объективных внешних событиях.
• Отсутствие явных логических переходов: Оценивалась степень, в которой тексту не хватает четких связующих элементов или логической последовательности между мыслями и идеями.
• Интроспекция и фокус на внутреннем монологе: Определялось, отражает ли текст преимущественно внутренние мысли и чувства персонажа, а не внешние диалоги или действия.
• Повторение ключевых слов или фраз в нелинейной манере: Выявлялись случаи, когда определенные слова или идеи повторялись на протяжении всего текста, отражая цикличность мышления в «потоке сознания».

На основе этих критериев проводилась качественная оценка сгенерированных текстов при низких и высоких значениях температуры.

9. Оценка результатов. Применение разработанных критериев к ответам, полученным от GPT-3.5 Turbo и Claude 3 Sonnet при низких и высоких значениях температуры, показало следующие тенденции. При низких значениях температуры (0.2) обе модели генерировали более структурированные, последовательные и логичные тексты для всех четырех запросов. Фрагменты предложений и необычный синтаксис встречались редко, ассоциативные переходы были минимальны или отсутствовали, а повествование, как правило, следовало более традиционной структуре.

Напротив, при высоких значениях температуры (1.0 для GPT-3.5 Turbo и 0.8 для Claude 3 Sonnet) наблюдалось увеличение частоты некоторых признаков «потока сознания», хотя и в разной степени для разных запросов и моделей. В частности, ответы GPT-3.5 Turbo при высокой температуре демонстрировали большую склонность к фрагментированным предложениям и более свободным ассоциациям, особенно в запросах, касающихся внутренних мыслей и воспоминаний. Например, в ответ на запрос об этической дилемме текст иногда перескакивал между различными аспектами проблемы без явных связующих слов. Claude 3 Sonnet при высокой температуре также показал увеличение случайности и непредсказуемости в ответах, но признаки, непосредственно указывающие на «поток сознания» в литературном смысле, были менее выражены. Хотя ответы были менее структурированы, они, как правило, сохраняли большую грамматическую правильность и логическую последовательность по сравнению с GPT-3.5 Turbo при высокой температуре.

Признаки, такие как сенсорные детали и интроспекция, присутствовали в ответах обеих моделей при обоих температурных режимах, но их выраженность, по-видимому, не зависела напрямую от температуры. Повторение ключевых слов или фраз в нелинейной манере также не было отчетливо связано с более высокой температурой. В целом, результаты показали, что повышение температуры может способствовать появлению некоторых поверхностных характеристик «потока сознания», таких как фрагментация и свободные ассоциации, но не обязательно приводит к целостному применению этой сложной нарративной техники.

10. Вывод. Результаты проведенного исследования частично подтверждают исходную гипотезу о том, что повышение температуры ИИ может привести к увеличению признаков «потока сознания» в сгенерированных текстах. В частности, при более высоких значениях температуры наблюдалось увеличение фрагментации предложений и ассоциативных переходов, особенно в ответах модели GPT-3.5 Turbo. Однако полное и последовательное применение нарративной техники «поток сознания» с характерными для нее глубокой интроспекцией, необычным синтаксисом и нелинейным повествованием не было однозначно вызвано простым увеличением параметра температуры. Скорее, более высокая температура, по-видимому, способствует большей случайности и непредсказуемости в выходных данных модели, что может проявляться в некоторых поверхностных чертах, напоминающих «поток сознания», но не обязательно отражает лежащие в основе когнитивные процессы, характерные для этой литературной техники.

11. Обсуждение и ограничения. Наблюдаемые результаты могут быть связаны с тем, что параметр температуры в первую очередь контролирует случайность выбора токенов, а не целенаправленно моделирует сложные нарративные структуры. Повышение температуры позволяет модели исследовать менее вероятные последовательности слов, что может привести к фрагментации и ассоциативности, но не гарантирует воспроизведения тонких психологических и литературных аспектов «потока сознания». Литературный «поток сознания» обычно обусловлен внутренними эмоциональными и психологическими состояниями персонажа, а не просто случайным выбором слов.

Проведенное исследование имеет ряд ограничений. Во-первых, определение и идентификация «потока сознания» носит субъективный характер, и разработанные критерии, хотя и основаны на литературном анализе, могут не полностью охватывать все нюансы этой техники. Во-вторых, в эксперименте использовалось ограниченное количество запросов и две языковые модели. Исследование с большим разнообразием задач и моделей могло бы дать более полную картину. В-третьих, выбранный диапазон температурных настроек мог быть недостаточным для выявления более тонких эффектов. Возможно, исследование с более широким спектром значений температуры или более тонкими шагами изменения параметра могло бы привести к другим результатам. В-четвертых, оценка проводилась преимущественно на качественном уровне. Разработка более строгих количественных метрик для оценки различных аспектов «потока сознания» могла бы повысить объективность анализа.

Будущие исследования могут быть направлены на изучение влияния более широкого диапазона параметров больших языковых моделей, включая top_p и штрафы за частотность и присутствие, на проявление черт «потока сознания». Также было бы интересно исследовать, могут ли более сложные стратегии промптинга или методы тонкой настройки модели, специально разработанные для имитации «потока сознания», привести к более убедительным результатам. Сравнение различных архитектур больших языковых моделей в контексте этой задачи также может быть полезным для определения, какие типы моделей лучше всего подходят для воспроизведения таких сложных нарративных техник.

12. Приложение.

Таблица 1. Примеры ответов языковых моделей при низких и высоких значениях температуры

1. LLM Temperature: How It Works and When You Should Use It - Vellum AI, URL: https://www.vellum.ai/llm-parameters/temperature (дата обращения: 20.04.2025)
2. Peeperkorn, Max, Tom Kouwenhoven, Dan Brown, Anna Jordanous. «Is Temperature the Creativity Parameter of Large Language Models?» arXiv, 2024 г. URL: https://doi.org/10.48550/arXiv.2405.00492. (дата обращения: 20.04.2025)
3. Understanding Temperature, Top P, and Maximum Length in LLMs - Learn Prompting, URL: https://learnprompting.org/docs/intermediate/configuration_hyperparameters (дата обращения: 20.04.2025)
4. Fludernik, Monika. An Introduction to Narratology. New York: Routledge, 2009.
5. Humphrey, Robert. Stream of Consciousness in the Modern Novel. Berkeley: University of California Press, 1962.
6. Steinberg, Erwin R. The Stream of Consciousness and Beyond in ‘Ulysses’. Pittsburgh: University of Pittsburgh Press, 1973.
7. Колотов А.А. Поэтический взгляд в романе В. Вулф «Миссис Дэллоуэй» // Филологический сборник: Поэтическая студия. Межвузовский сборник научных трудов. – Красноярск: РИО КГПУ им. В.П. Астафьева, 2004.

Все статьи автора «Колотов Александр Анатольевич»