Немного про Chain-of-Thoughts (Цепочку размышлений)

Главные проблемы БЯМ (Больших языковых моделей):

• Решение сложных логических проблем (Поиск неявно заданной информации)

• Безопасность (Противодействие взломам и этичность поведения)

• Галлюцинации (Генерация новой информации, которая не соответствует действительности)

Все проблемы комплексные, взаимно пересекающиеся. Когда решается сложная задача, мы ожидаем от модели чего-то нового, чего мы не знаем и не писали в запросе: то есть модель должна сгенерировать информацию, которая не представлена в запросе. Когда мы просим модель что-то найти, то ожидаем, что она напишет информацию, которая представлена в запросе. Часто сложная задача включает в себя поиск информации в запросе: тут уже видно противоречие, с которым сталкивается модель.

Введение

По первым проблемам OpenAI недавно нанесла удар с помощью новой модели. Новая модель использует технику Цепочку Размышлений Chain-of-Thoughts для решения задач.

При этом компания продолжает придерживаться принципа минималистичного интерфейса:

• Пользователь вводит промпт

• Модель внутри производит с ним ступенчатые действия

• Пользователь получает суммированный ответ, что значительно снижает трудозатраты пользователя Все это сопровождается прикольной анимацией, в которой показаны этапы "размышлений" модели: это делает все более интуитивно понятным. На основе нескольких заявлений можно сделать определенные выводы:

• Внутренний диалог будет скрыт от пользователя в дальнейшем

• Увеличение времени размышлений рассматривается как благо (Думатель передает привет), подразумевая более глубокую и тщательную обработку информации.

• Модель не хочет быть полиглотом, возможно для оптимизации использования токенов или специализации датасета. Однако с русским языком она работает вполне прилично.

• Модель пожирает огромное количество токенов в сравнении с существующими, да и цена кусается, не говоря уж об ограничении доступа по апи к ней

• Модель лучше работает с прямыми и четкими инструкциями

Абстрактно выражаясь, модель содержит цикл, в котором прогоняются входные данные. На каждом этапе цикла они обогащаются синтетической информацией. Причем в двух этапах: на первом генерируется "некая" инструкция, на втором получается ответ модели. В модели существует некий механизм выхода из цикла. Вся или какая-то часть информации проводится через суммаризацию. Как именно, реализована это модель мне неизвестно, но логика процесса достаточно очевидна:

1. Цикл может быть реализован как внутри модели, так и как внешний инструмент

2. Инструкция может быть фиксированной, выбираемой или генерируемой моделью

3. Ответ модели может генерироваться внутренней моделью или внешней

4. Цикл может управляться как моделью, так и неким внешним инструментом

5. Суммаризация может управляться как внутренней моделью, так и внешней

6. Пять пунктов выше это неизвестные переменные, которые будут влиять на качество итогового ответа. Возникает вопрос: должны ли все пять пунктов будут синтезироваться моделью или нет? Если нет, то сколько лучше отдать на синтез? Должна ли на каком-то этапе добавляться несинтетическая информация или нет? Должен ли пользователь видеть процесс мышления или нет, или частично не должен?

Вне зависимости от эффективности модели, а она есть, такой подход будет иметь долгосрочные последствия для всей индустрии: сколько данных будет ожидаться от пользователя, будут ли синтетические данные показаны пользователю и так далее.

Что такое Цепочка Размышлений?

Цепочку размышлений можно реализовать, в определенном варианте, можно реализовать не только с дорогущей о1, но и со всеми существующими моделями.

Каким образом?

Давайте разберемся подробнее, что имеется ввиду.

Структурно она представляет некий набор сообщений, который последовательно отправляется модели. Ключевой момент: к этому набору сообщений добавляются ответы модели. В самом стандартном сценарии, цепочка каждый раз удлиняется на ответ модели и запрос пользователя. Чем же отличается это от просто огромного промпта, одной простыней отправленного модели?

От значительного куска информации отправленного одновременно, это отличается следующими пунктами:

• Структурированностью: возникает структура вместо единого ответа.

• Поэтапностью: появляются этапы взаимодействия, детализируя взаимодействие с БЯМ.

• Интерактивностью: каждый этап может быть независимо изменен. То есть тем, что это тот самый диалог, который ведет пользователь, с любым чатом.

Пример цепочки сообщений:

• Вот у меня есть такая проблема. Как ее решить?

• Ответ 1

• Напиши мне недостатки решения

• Ответ 2

• Придумай как победить недостатки

• Ответ 3

• Дай мне конечное решение

• Ответ 4

Стоит отметить, что все вопросы имеют крайне общий и абстрактный характер. Индивидуальный смысл добавляется уникальными текстами, в которых описана проблема пользователя, его ситуация, его возможности и т.п. Отвечая на запросы синтезированными ответами модель одновременно адаптируется к контексту беседы и углубляет понимание проблемы как свое, так и пользователя.

В модель цепочка размышлений отправляется по нарастающей: сначала первый вопрос, потом первая пара вопрос-ответ и второй вопрос и т.д. Диалог усложняется и обрастает данными на каждом этапе. Технически Цепочка Размышлений гораздо более прожорлива на токены, чем единая простыня: это дороже и медленнее(из-за количества токенов на отправку). Также она плохо работает с пост-отправкой, потому что для отправки следующего сообщение необходимо дождаться получения ответа на предыдущие. Поэтому я практически не использовал gpt-4, до появления gpt-4o-mini.

Цепочка Размышлений может помочь понять модель лучше:

• Вот у меня есть такая проблема. Как ее решить? На втором этапе, будет отправлено не просто второе сообщение, а первое сообщение, ответ на него и второе сообщение:

• Вот у меня есть такая проблема. Как ее решить?

• Ответ модели 1

• Указание добавить синтетические данные модели. Данные, которые помогут понять "как думает модель"

• Ответ модели 2

• Запрос итогового решения

Для модели Цепочка Размышлений будет выглядеть как текст, размеченный внутри как запросы пользователя, ее ответы и системные инструкции(по возможности). И она будет принимать его все в большем и большем количестве.

В данном случае, длительность цикла и момент окончания цикла будут фиксированы: они будут зависеть от количества вопрос, которые вы задаете. Дополнительно, вы можете самостоятельно контролировать работу модели на каждом этапе диалога. Инструкции могут быть как фиксированными, так и созданными при участии БЯМ.

К Цепочке Размышления следует относиться как к методу разбиения информации, которая предоставляется модели. Любая ваша проблема, с которой вы обращаетесь к модели, имеет определенные нюансы важные конкретно для вас. Эти нюансы необходимо предоставить модели, чтобы она подготовила максимально качественный ответ.

Эта информация состоит из следующих частей:

• Ваши инструкции в Цепочке Размышления могут варьироваться от простых запросов до сложных, многоуровневых задач. Они могут включать в себя просьбы о создании текста, анализа данных, формулирования аргументов и т.д. Главное здесь - ясность и точность ваших инструкций, чтобы модель могла корректно понять ваши требования.

• Ваши примеры играют важную роль в Цепочке Размышления. Они помогают модели понять, какого рода ответы вы ожидаете. Это могут быть как "хорошие" примеры, которые показывают желаемый результат, так и "плохие", которые помогают избегать нежелательных ответов.

Фактически, для создания Цепочки Размышления можно использовать любую модель, если позволяет размер контекста. Это интересный и многогранный инструмент для управления моделью. Для успешного использования Цепочки Размышления важно учитывать контекст. Это может включать в себя предыдущие запросы, информацию о пользователе, текущие обстоятельства и т.д. Наконец, Цепочка Размышления является динамическим процессом. Вы можете добавлять новые инструкции и примеры по мере необходимости, корректируя ответы модели и улучшая результаты.