Рубрика «lora-адаптеры»

В нашей работе с большими языковыми моделями (LLMs), один из самых популярных вопросов касается их дообучения. Каждый второй клиент спрашивает, нужно ли проводить дополнительное обучение модели.

В большинстве случаев ответ — нет, это не требуется. Современные LLM достаточно хороши для многих коммерческих задач даже без до-обучения. Например, для бота, который помогает заказывать цветы в цветочном магазине. Более того, у них обычно нет данных для этого, и нет, 20 примеров диалогов которые у них есть (и даже 200) не подходят.

Читать полностью »

Как настроить LLM на локальном сервере? Краткое руководство для ML-специалистов - 1

Привет! Все чаще коллеги из ML замечают, что компаниям нравятся возможности ChatGPT, но далеко не каждая готова передавать данные во внешние АРІ и жертвовать своей безопасностью. В результате команды начинают внедрять open source-LLM, развернутые локально. Чтобы осуществить этот процесс, инженерам нужно выполнить две задачи.

  • Сделать удобную «песочницу» для экспериментов, чтобы быстро проверять гипотезы для бизнеса.
  • Эффективно масштабировать найденные кейсы внутри компании, по возможности снижая затраты на ресурсы.

В статье рассказываем, какие есть проблемы у open source-LLM и как оптимизировать инференс модели с помощью квантизации и LoRA-адаптеров. Подробности под катом!

Автор: Алексей Гончаров, основатель платформы Compressa.ai для разработки GenAI-решений на своих серверах.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js