«Окно» в LLM: как компании из России найти безопасную альтернативу ChatGPT

в 12:07, , рубрики: AI, api, artificial intelligence, chatgpt, ИИ, искусственный интеллект, маскирование данных, облачные сервисы

Привет! Меня зовут Петр Мицов, я продакт-менеджер в Just AI. Одно из ключевых направлений нашей компании — разработка решений на базе генеративного AI для бизнеса.

Поскольку мы создаем продукты для работы с большими языковыми моделями, нам важно знать, сталкиваются ли российские компании с проблемами и трудностями при интеграции популярных облачных LLM в свои программные решения. Чтобы это выяснить, мы проверили две гипотезы: имеют ли компании проблемы с доступом к ChatGPT API и является ли блокером отправка в облако конфиденциальных данных? О результатах эксперимента и безопасных альтернативах ChatGPT API я расскажу в этой статье.

Фаворит среди LLM

Согласно Вордстату, наиболее популярной облачной языковой моделью в русскоязычном сегменте остается ChatGPT. Интерес к API ChatGPT больше, чем к API других популярных облачных моделей вместе взятых.

Количество запросов за июль 2024 (Яндекс Вордстат)

Количество запросов за июль 2024 (Яндекс Вордстат)

Но как найти компании, которые уже внедряют ChatGPT, чтобы провести опрос и выяснить реальную картину?

Решение оказалось удивительно простым — вакансии на HeadHunter. Введя в поисковую строку «ChatGPT» и «LLM», мы быстро нашли компании, ищущие специалистов с навыками программирования и знанием OpenAI API. Далее вышли на контакт с техническими специалистами этих компаний через Linkedin и Telegram. В течение недели нам удалось собрать контакты и провести интервью с представителями нескольких десятков компаний.

Кому с ChatGPT жить хорошо

Основная часть проведенных интервью показала, что большинство компаний, интегрирующих ChatGPT в свои решения, не сталкивается со значительными трудностями при доступе и оплате услуг сервиса OpenAI. Вопрос конфиденциальности данных также менее критичен, чем можно было бы подумать. Компании, работающие с чувствительной информацией, разработали специализированные скрипты для анонимизации данных перед отправкой в OpenAI, что позволяет минимизировать риски утечки. Однако качество маскирования данных с помощью таких скриптов вызывает вопросы. Мы в Just AI постоянно работаем над повышением точности выделения и замены именованных сущностей (ФИО, локации и т.д.) в нашем продукте Jay Guard и знаем, насколько непростой является эта задача. NER-модели для русского языка далеко не всегда точно распознают фамилии, а использование для этого LLM требует большого объема вычислительных мощностей. В таком случае задача анонимизации может стать и вовсе нерентабельной.

Self-hosted LLM

Но есть и компании, которым приходится преодолевать серьезные препятствия, чтобы задействовать потенциал LLM в своих бизнес-процессах. В основном это касается тех, кто взаимодействует с государственными учреждениями или организациями, обязующимися строго соблюдать федеральный закон о персональных данных. Эти компании, несмотря на признание возможностей ChatGPT, вынуждены искать альтернативы из-за регуляторных ограничений.

Альтернативу они находят в больших языковых моделях с открытым исходным кодом (self-hosted LLM), которые могут быть развернуты локально на серверах компании. Специалисты таких компаний проводят длительные эксперименты, чтобы выбрать подходящую модель, наиболее сопоставимую по качеству с ChatGPT. Самостоятельная установка и тестирование таких моделей требует значительных ресурсов — времени, денег и экспертизы в области MLOps. Поэтому только небольшая часть компаний в России может позволить себе вариант с локальным развертыванием моделей. 

Как протестировать и выбрать подходящую LLM?

Понимая потребности рынка и имея результаты проблемных интервью, команда Just AI разработала приложение Multi Chat. Этот уникальный инструмент позволяет тестировать и сравнивать различные генеративные модели как облачные, так и self-hosted.

В числе поддерживаемых моделей:

  • ChatGPT

  • Gemini

  • Claude

  • GigaChat

  • YandexGPT

  • Llama 3.1

  • Qwen2

Приложение доступно на платформе Caila.

Пользователи могут одновременно вести диалог с выбранными моделями, следя за генерацией ответов в реальном времени. В конце диалога можно оценить ответы и выбрать наиболее подходящую модель по совокупности параметров. Это упрощает процесс экспериментального сравнения моделей и позволяет быстро найти оптимальное решение для конкретные задачи.

Приложение Multi Chat позволяет тестировать и сравнивать различные генеративные модели

Приложение Multi Chat позволяет тестировать и сравнивать различные генеративные модели

Кроме того, платформа Caila поддерживает установку локально на сервера компании для обеспечения максимальной безопасности. А для маскировки и фильтрации чувствительных данных можно подключить систему Jay Guard. Инструмент позволяет компаниям настроить параметры замены данных на основе собственных политик безопасности, интегрировать их со своими клиентскими базами данных и использовать заранее заготовленные пресеты. В результате все данные, уходящие из закрытого контура компаний во внешние LLM, анонимизируются и отправляются в безопасном виде.

А какие LLM использует в работе ваша компания? С какими челленджами сталкивались при интеграциидообучении и как решали? Делитесь своим опытом и мыслями в комментариях.

Автор: just_ai

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js