Привет! На связи команда Робота Макса — цифрового ассистента Госуслуг.
В декабре 2024 года вышла бета-версия Робота Макса с генеративной нейросетью. После запуска мы анализировали обратную связь о новой версии. Сейчас решили рассказать, что сделали, чтобы Робот Макс отвечал точнее и обрабатывал большее количество вопросов.
Начнём с небольшой предыстории. На портале 1,5 тысячи услуг и 5 тысяч страниц с информацией. Больше 110 млн пользователей, 700 млн заказов услуг в год.
Робот Макс помогает получать услуги и рассказывает о них доступным языком. Например, с его помощью можно записаться в МВД, получить выписку об остатке материнского капитала, узнать про загранпаспорт нового образца, отключить радиоточку или подать лесную декларацию (ну а вдруг).
Роботу Максу четыре года. За это время он «подрос»:
-
в 2021 году провёл 93 млн консультаций, а в 2024 — 1 млрд
-
в 2021 году DAU — 0,5 млн, в 2024 — 2 млн
-
в 2022 году CSAT — 30%, в 2024 году — 68%. В 2021 году ещё не могли оценивать ответы, поэтому данные только с 2022 года
О том, как появился цифровой ассистент, какая у него цель и что скрыто под капотом, рассказывали ранее на Хабре. Также писали про конструктор диалогов: что это такое, к чему стремимся в ответах и как удалось сократить время на вывод новых текстов про услуги — читайте в статье.
Оглавление
-
1.1. Провели качественное исследование аудитории
1.2. Внедрили большую языковую модель
1.3. Создали RAG-систему
Какой путь прошли
Мы поняли, что Робот Макс классный, но ещё несовершенный: точность его ответов — 80%. Но однозначный и шаблонный ответ не всегда подойдёт, тут как раз и нужны генеративные нейросети.
«Что ж, значит, пришло время меняться», — сказали мы на одной из стратсессий осенью 2023 года, когда решили «подружить» LLM и Робота Макса и обновить его внешний вид. После этого за несколько дней уже в январе 2024 года собрали первый прототип, защитили проект и приступили к работе.
Провели качественное исследование аудитории
Новый облик цифрового ассистента и внедрение большой нейросети неслучайны. Часть этих изменений — результат качественного глубинного исследования (JTBD) ключевых сегментов аудитории Госуслуг. Что в итоге:
-
опросили респондентов самых разных возрастов: 15-35 лет, 36-50 лет и 51+
-
подтвердили продуктовые гипотезы о том, что изменения нужны и будут ценны
-
конкретизировали проблемы пользователей и их причины
-
получили много инсайтов о том, как развивать Робота Макса дальше
-
поняли, что люди ценят и хотят сохранить в цифровом ассистенте, а что требует доработки
Мы ещё раз убедились в том, что пользователям важно как можно скорее и в одном месте получить услуги без бумажной волокиты, избежать стресса при взаимодействии с госорганами, сократить время на поиск ответа и уделить освободившееся время себе и семье. Также узнали, чем именно неудобен Робот Макс и как с помощью LLM мы можем решить эти проблемы.
|
Проблема |
Как решили в новой версии |
|
Не знает ответа на вопрос, либо плохо отвечает на низкочастотный уникальный вопрос |
Использует агрегированную базу знаний из всех материалов на Госуслугах. В старой версии он обращается к готовым ответам и не создаёт что-то новое сам |
|
Отвечает только заранее подготовленным текстом, не умеет отвечать конкретно |
С помощью LLM извлекает информацию из текста для точного ответа |
|
Непонятно, как пользоваться Роботом Максом |
Добавили инструкции о том, как пользоваться новой версией, оценить качество ответов и переключиться на прошлую версию |
|
Не всегда понимает запрос |
Робот Макс с LLM понимает большее количество вопросов благодаря векторному поиску по контенту |
|
Непонятные названия кнопок |
Изменили подход к наименованию кнопок для ответов с LLM |
После исследования аудитории, анализа потребностей и задач заметили, что не все задачи пользователей закрываются без проблем. Стало понятно, что нужно:
-
научить Робота Макса распознавать разные запросы: в утвердительной или вопросительной форме, только с ключевыми словами или в виде длинного предложения
-
повысить точность и качество ответов
-
внедрить генеративную нейросеть
-
расширить базу знаний и загрузить в неё все материалы с Госуслуг, чтобы при ответе у Робота Макса было больше данных
Внедрили большую языковую модель
Теперь генеративная нейросеть создаёт короткие и нешаблонные ответы, учитывает контекст диалога или создаёт пошаговые инструкции из разных источников. Это означает, что можно задать вопрос Роботу Максу так же, как спросили бы у человека.
Сначала модель выдавала некорректные ответы. Чтобы это исправить, внедрили Retrieval Augmented Generation (RAG).
Создали RAG-систему
Модель может отвечать неправильно на вопрос пользователя, потому что при создании ответа ориентируется на те данные, на которых она обучалась. В какой-то момент эти данные могут стать неактуальными. Во всех случаях это критично для пользователей, которые пришли получить точную информацию на Госуслугах.
Чтобы модель учитывала все нужные и актуальные материалы, мы создали RAG-систему и свою базу знаний. RAG — это технология, которая «подключает» языковые модели к дополнительной информации из внешних источников.
В свою базу загрузили все материалы с Госуслуг: новости с портала, информацию из раздела «Интересно и полезно» и ответы на популярные вопросы. Важная составляющая RAG-системы — это поиск документов, которые далее передаются в модель как контекст вопроса. Важно, чтобы эти документы были релевантные, иначе мы только запутаем модель и получим неверный ответ.
Мы сравнили несколько типов поиска документов — полнотекстовый, векторный и гибридный. Решили применять поиск с использованием векторизации от Яндекса.
В ходе векторизации выходные данные и текст преобразуются в числовой формат — векторы. Эта процедура нужна для семантического поиска информации в базе знаний. Такой поиск работает по принципу геометрической близости семантически близких элементов текста. Это работает так: в базе хранятся векторы документов, запрос векторизуется, мы ищем наиболее близкие документы к запросу.
В итоге Робот Макс отвечает на сложные и персонализированные вопросы с помощью LLM. Чтобы определить категорию вопроса, наша команда разработала собственный классификатор на основе нейронной модели, которая решает, стоит ли передавать запрос в разработанную RAG-систему. В этом процессе используется в том числе few-shot классификатор от Яндекса — он работает на модели YandexGPT 4 Pro.
Научились учитывать все вопросы пользователя
Теперь Робот Макс учитывает контекст сессии с пользователем. Для этого мы используем дообученную (fine-tuning, метод LoRA) модель YandexGPT 4 Lite. Она перефразирует вопрос, а затем большая модель последнего поколения генерирует ответ.
Например, если спросить об оформлении загранпаспорта для ребёнка, а в следующем вопросе узнать «а чем новый отличается от старого», то Робот Макс поймёт, о чём речь, и поддержит диалог.
В версии без GPT Робот Макс подобрал для ответа несколько материалов по ключевым словам «старый и новый» без учёта контекста.
LLM vs Робот Макс: что в итоге изменилось
Лаконично отвечает. Робот Макс научился извлекать информацию — теперь на конкретные вопросы он даёт ответ без лишней информации.
Не теряется при сложных вопросах. Например, потерять загранпаспорт в другой стране — стрессовая и нетипичная ситуация, и Робот Макс даёт сразу пошаговую инструкцию.
Создаёт инструкции по запросу. В GPT-версии Робот Макс создаёт инструкции, если понимает из вопроса, что пользователю нужен порядок действий. В старой версии он предлагает кнопки, для которых команда заранее пишет ответы и настраивает поиск. При таком подходе сложно покрыть все вопросы, особенно похожие.
Ссылается на источники. В нейросетевых ответах есть ссылки на источники — так пользователь сможет проверить или уточнить информацию. Также в кнопках появились ссылки на материалы по теме — это наша отдельная разработка.
Мы не отключаем прошлого Робота Макса: обе версии будут работать параллельно. GPT-версия ещё неидеальна, постепенно будем расширять аудиторию и к концу года эта версия будет работать как основной режим.
Как переключиться на GPT-версию
Авторизуйтесь на Госуслугах. В диалоге с Роботом Максом нажмите на переключатель вверху экрана. Если используете мобильное приложение, предварительно обновите его до последней версии и затем переключитесь на GPT-версию.
Если захотите отключить новую версию, появится форма обратной связи — напишите нам свои впечатления и расскажите, что понравилось, а что — нет. Обратная связь позволит нам дообучить эту версию и улучшить цифрового ассистента. Мы только в начале пути и видим большой потенциал в нейросетевой версии. А ещё скоро расскажем про новый облик Робота Макса: какие исследования проводили для этого, почему он изменился и как.
С вами были авторы статьи из команды Робота Макса: Аня Митрофанова, главред, Света Тихомирова, PO, и Никита Устриков, CPO.
Расскажите в комментариях, как вам обновлённый Робот Макс? Будете использовать GPT-версию? Также готовы ответить на ваши вопросы.
Автор: Nikita_Us
