LoRA — популярный метод дообучения больших моделей на небольших датасетах, однако на этапе инференса низкоранговые адаптеры работают неэффективно, а их объединение с весами требует хранения отдельной полной копии модели для каждого адаптера.
MultiLoRA решает эту проблему, позволяя одновременно выполнять инференс с несколькими адаптерами на основе одной базовой модели.
В статье мы сравним производительность MultiLoRA-инференса в двух популярных фреймворках — vLLM и TensorRT-LLMЧитать полностью »
Поговорим об методике дообучения LLM… спортсменке, комсомолке и просто красавице - LoRA, которая если и не снимается в кино, то может сделать фильмы качественней и интереснее для зрителя. Исторические данные проката и состава творческих групп в перспективе позволяют работать с ансамблевыми моделями машинного обучения для прогнозирования сборов и просмотров в кино, и улучшать данные и путем их подбора «гиперпараметров»Читать полностью »
Привет! Меня зовут Денис Березуцкий, я старший инженер по разработке ПО искусственного интеллекта в YADRO. В ML-команде мы разрабатываем системы, которые облегчают работу нашим заказчикам с помощью текстовых генеративных нейросетей: реализуем Читать полностью »
У каждого программиста микроконтроллеров с опытом формируется коллекция решенных багов. Баги появляются и исчезают, как вспышки на Солнце. Некоторые из них весьма эпичные.
Самый типичный баг - это зависание прошивки. Переслали мигать heart beat LEDы, UART-CLI перестала отвечать на команды. В таких случаях не надо подвергаться конвульсиям, судорогам и парралличу. Надо спокойно разбираться в ситуации.
Данная статья нужна в первую очередь мне как некоторый Safe point. Чтобы я мог ссылаться на свой опыт, а также использовать в будущем для своих проектных работ.
Начну, пожалуй, с истоков, как вообще всё началось и зачем я решил добровольно взять на себя ответственность переустанавливать Windows.
Тут сейчас начинается длинная жизненная история, так что, кто хочет сразу перейти к делу, листайте в конец***.
В нашей работе с большими языковыми моделями (LLMs), один из самых популярных вопросов касается их дообучения. Каждый второй клиент спрашивает, нужно ли проводить дополнительное обучение модели.
В большинстве случаев ответ — нет, это не требуется. Современные LLM достаточно хороши для многих коммерческих задач даже без до-обучения. Например, для бота, который помогает заказывать цветы в цветочном магазине. Более того, у них обычно нет данных для этого, и нет, 20 примеров диалогов которые у них есть (и даже 200) не подходят.
Наша команда в Positive Technologies занимается анализом безопасности смарт-контрактов, исследованием уязвимостей и разработкой инструментов для их обнаружения. Идея использовать LLMЧитать полностью »
Сколько раз вы были свидетелями судейства на хакатонах, которое, на первый взгляд, казалось неверным? Думаем, таких случаев было много.
Сегодня мы посмотрим на результаты AI Product Hack и постараемся разобраться в том, кто после присуждения мест оказался прав: раздосадованные поражением участники команд или судьи.
В частности мы будем рассматривать кейс компании Raft - “Мониторинг токсичного контента в AI-продуктах”.
