Рубрика «языковые модели» - 2

Все работают на RAG

Все работают на RAG

RAG-системы становятся все популярнее в корпоративной среде, но их эффективное внедрение и качественная оценка остается сложной задачей. Один из типичных примеров — создание чат-ботов, отвечающих на вопросы пользователей с опорой на корпоративную базу знаний. И которые, вроде бы, заводятся и работают, и делают это даже неплохо, но всегда хочется получше.

Читать полностью »

T-Lite и T-Pro – открытые русскоязычные опенсорс-модели на 7 и на 32 млрд параметров - 1

Всем привет! Я Толя Потапов, MLE в Т-Банке. Руковожу командой разработки фундаментальных моделей. 

Читать полностью »

Очередь за RAG'ом

Очередь за RAG'ом

Когда хайп захватывает умы, кажется, что любое техническое решение должно строиться вокруг новой модной технологии и что теперь-то мы ух заживем! Сегодня у нас на хайпе RAG (Retrieval-Augmented Generation), вчера — NFT, позавчера — блокчейн везде и всюду. Давайте попробуем разобраться, нужен ли RAG на самом деле, или это просто «новый блокчейн» и через год все набьют шишки и забудут о нем.

Читать полностью »

Человек и LLM: как построить метрики для оценки моделей - 1

Привет, меня зовут Ирина Барская, и я руководитель службы аналитики и исследований в Яндексе. А это значит, что я и моя команда каждый день думаем, как оценивать качество работы генеративных моделей, какие при этом смотреть метрики, как вообще понять, хорошая ли модель у нас получилась.

Читать полностью »

На связи группа фундаментальных исследований MTS AI. В этой статье мы расскажем про дроп трех маленьких моделей Cotype-Nano, Cotype-Nano-4bit и Cotype-Nano-CPU. Расскажем, как нам удалось достичь 1 места на RuGeneralArena  в своей весовой категории.

Как мы создали LLM-модель Cotype Nano - 1

Почему мы решили создать маленькие LLM

Читать полностью »

Разработчикам приложений Generative AI стоит обратить внимание на новую коллекцию моделей Qwen 2.5 и Qwen 2.5 Coder. С сентября 2024 года эти модели привлекают внимание разработчиков благодаря своей эффективности.

Эти модели созданы Alibaba Cloud и предлагают много полезных для AI-сообщества функций.

Во-первых, веса Qwen 2.5 доступны в версиях от 0.5B параметров — это очень легковесная модель — до 72B. Посередине есть 3, 7, 14 и 32B, каждую из которых вполне можно запускать локально, если у вас есть, например RTX 3080 с 16ГБ видеопамяти. В этом поможет квантизация (особенно в случае с 32B). Квантованные веса в форматах Читать полностью »

Еще недавно словосочетание «искусственный интеллект» (ИИ) применялось для обозначения довольно далеких от интеллекта вещей, таких как алгоритмы решения слабоформализуемых задач. Ситуация изменилась с появлением известного чат-бота: нейронная сеть, обученная угадывать очередное слово в тексте, начала демонстрировать настолько осмысленное поведение, что применение к ней эпитета «интеллектуальная» больше не выглядело насмешкой над здравым смыслом.

Читать полностью »

Wolfram Natural Language Understanding или спасение для студентов - 1

Wolfram — крутая штука. Сколько школьников получило из-за него пятерку, а сколько студентов зачет, не сосчитать...

Устроено все просто: плохой ученик загружает задачку и получает приятный результат с хорошей оценкой. Все задачи считаются алгоритмически.

Хоть скопируй лабораторную по физике...

Читать полностью »

Привет! Я Сергей, продакт направления AI в Битрикс24. Последний год мы активно внедряем нейросети в наш продукт, и я хочу поделиться опытом, который может сэкономить вам время и деньги.

Оказалось, что выбор правильной модели нейросети — это целое искусство. Размеры контекста, лицензии, поддержка языков, способы доступа — от этих параметров голова идет кругом. Но разобраться в них критически важно, если вы не хотите потратить кучу времени и денег впустую.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js