Рубрика «языковые модели»

Привет! Мы, команда NLP‑исследователей из AIRI и Сбера, опубликовали недавно результаты исследования того, как языковые модели справляются с химическими задачами. Дело в том, что в последние годы интеграция методов обработки естественного языка в области химии неуклонно растёт, и это открывает новые горизонты для открытия лекарств. Однако возникает важный вопрос: действительно ли современные языковые модели научились понимать молекулы, или они просто запоминают их текстовые представления?

Чтобы выяснить это, мы создали ♡AMOREЧитать полностью »

Модели T-lite и T-pro: training report - 1

Привет! Я Дима Стоянов, MLE в команде разработки фундаментальных моделей. Мы продолжаем рассказывать о наших моделях T-lite и T-pro. Общие характеристики и результаты бенчмарков описывали в предыдущей публикации. В этой статье раскроем детали предобучения: от подготовки данных до финальных экспериментов, а совсем скоро поделимся особенностями этапа post-training.

Читать полностью »

Современные языковые модели (они же LLM, они же Large Language Models) становятся все более востребованными практически во всех сферах. LLM уже не просто инструмент, а важнейшая часть технологического прогресса, позволяющая автоматизировать работу с текстами, проводить анализ данных, генерировать контент и даже серьезно помогать в обучении.

Читать полностью »

Сейчас на фоне стремительной популяризации нейросетей, в России появилось достаточно много сервисов и агрегаторов, обеспечивающих удобный доступ к популярным языковым моделям без использования VPN. Однако при выборе подходящего решения мы зачастую сталкиваемся с проблемой разношерстной тарификация: у одних внутренняя валюта, у других стоимость за слова, третьи считают символы или количество токенов в запросе.

Читать полностью »

Цель — научиться создавать модульные (multi-stage) системы на базе LLM, а затем оптимизировать промпты (инструкции и примеры) таким образом, чтобы итоговая метрика качества (accuracy, retrieval score и т.п.) превышала вариант с ручным подбором текста промпта.

Почему нужны многошаговые LM-программы и оптимизация промпта

Современные большие языковые модели (LLM) — например, GPT, Llama и пр. — отлично справляются с задачами на понимание и генерацию текста, однако:

  1. Часто «галлюцинируют» (выдумывают детали),

  2. Читать полностью »

Нейронкам делегируют многое, но остаются сложности — LLM в научной деятельности и работе с кодом - 1

Недавно мы провели обзор исследований, посвященных работе с большими языковыми моделями в ЦОД. Обсудили, почему происходят сбои при обучении моделей и применимость LLM в кибербезопасности.

Читать полностью »

Хочу поддержать жанр статей «что под капотом» и рассказать подробности реализации проекта code-magic.com — базы данных сниппетов со смысловым поиском.

Как появилась идея проекта

Читать полностью »

В 2024 году популярными словами и постоянной темой для обсуждения в IT были большие языковые модели (LLM), обработка естественного языка (NLP), искусственный интеллект и создание ценностей. Однако вкатиться в эту экосистему без подготовки может быть довольно сложно. Давайте начнём с того, что рассмотрим понятие генерации с дополненной выборкой (Retrieval Augmented Generation, RAG), чтобы лучше понять эту технологию и возможность её использования в наших цифровых продуктах.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js