Главная

Рубрика «llm» - 17

Qwen 2.5 и Qwen 2.5 Coder — перспективная коллекция LLM для систем агентов

2024-11-25 в 8:39, admin, рубрики: AI, artificial intelligence, gpt-4, llm, qwen, языковые модели

Разработчикам приложений Generative AI стоит обратить внимание на новую коллекцию моделей Qwen 2.5 и Qwen 2.5 Coder. С сентября 2024 года эти модели привлекают внимание разработчиков благодаря своей эффективности.

Эти модели созданы Alibaba Cloud и предлагают много полезных для AI-сообщества функций.

Во-первых, веса Qwen 2.5 доступны в версиях от 0.5B параметров — это очень легковесная модель — до 72B. Посередине есть 3, 7, 14 и 32B, каждую из которых вполне можно запускать локально, если у вас есть, например RTX 3080 с 16ГБ видеопамяти. В этом поможет квантизация (особенно в случае с 32B). Квантованные веса в форматах Читать полностью »

Оптимизируем дообучение LLM: теория + гайд

2024-11-24 в 13:15, admin, рубрики: Fine-tuning, llm, PEFT, гайд, файнтюнинг

В эпоху стремительного развития искусственного интеллекта большие языковые модели (Large Language Models, LLM) становятся неотъемлемой частью множества приложений – от интеллектуальных чат-ботов до систем анализа данных.

Так уж сложилось, что эффективное применение больших языковых моделей не обходится без тонкой настройки, потому что базовые модели, обученные на обобщенных данных, могут не учитывать уникальные особенности конкретных задач или доменов. Тонкая настройка позволяет адаптировать модель к специфическим требованиям приложения, что улучшает ее точность [1].

Читать полностью »

Драма вокруг OpenAI и гонка за AGI

2024-11-24 в 12:33, admin, рубрики: elonmusk, llm, ml, OpenAI

TL;DR Вольная художественная интерпретация поста John Rush и комментариев под ним.

Короткая версия доступна в виде поста.

Что такое AGI?

Читать полностью »

Полное руководство по оценке компонентов системы RAG: что необходимо знать

2024-11-24 в 9:35, admin, рубрики: bleu, llm, Meteor, MyScaleDB, rag, rouge, Оценка RAG, Оценка извлечения, системы RAG

Системы дополненной генерации (RAG) были разработаны для улучшения качества ответа крупной языковой модели (LLM). Когда пользователь отправляет запрос, система RAG извлекает релевантную информацию из векторной базы данных и передает ее в LLM в качестве контекста. Затем LLM использует этот контекст для генерации ответа для пользователя. Этот процесс значительно улучшает качество ответов LLM с меньшим количеством «галлюцинаций».

Читать полностью »

Сказка для программистов в арабском стиле, написанная LLM. «Волшебная лампа Аладдина»

2024-11-24 в 8:58, admin, рубрики: llm, ИИ, искусственный интеллект

Я давно хотел узнать, может ли LLM написать интересный рассказ так, как это делает писатель.
Насколько будет хорош литературный стиль и высока художественная выразительность?
Достаточно ли качественно будет создан сюжет и интересны герои повествования?
Насколько хорош и уместен юмор?

Читать полностью »

Забыть не значит удалить: SURE — новый устойчивый к квантованию метод «забывания» в LLM

2024-11-22 в 12:09, admin, рубрики: llm, llm-модели, Machine unlearning, machine unlearning для LLM, SURE

Привет, на связи Елена Кузнецова, специалист по автоматизации Шерпа Роботикс. Сегодня я перевела для вас статью на очень важную тему, в ней затрагивается проблема удаления персональных и других важных данных из LLM моделей. В статье особенно интересно то, как команда учёных нашла лазейку с помощью которой смогла успешно восстанавливать такие «удалённые» данные.

Читать полностью »

Разрабатывали Telegram-бота для доступа к ChatGPT, а в итоге сделали интерфейс для взаимодействия с внешними LLM

2024-11-22 в 11:23, admin, рубрики: GigaChat, llm, OpenAI, yandexgpt, ИИ, Чат-боты

Читать полностью »

Как мы обучали LLM для поиска уязвимостей в смарт-контрактах Solidity

2024-11-22 в 10:09, admin, рубрики: blockchain, chatgpt, llama3.1, llm, lora, solidity, уязвимости

Наша команда в Positive Technologies занимается анализом безопасности смарт-контрактов, исследованием уязвимостей и разработкой инструментов для их обнаружения. Идея использовать LLMЧитать полностью »

Hippo-RAG: Долговременная память для LLM, вдохновленная нейробиологией

2024-11-22 в 5:00, admin, рубрики: llm, machine learning, natural language processing, rag, retrieval, retrieval augmented generation, transformer, Transformers

Ученые часто вдохновляется нашими или животными биологическими структурами: CNN, MLP, Backprop, и для многих других исследований можно найти сходства в реальном мире. Недавно вышла статья, которая делает то же самое, но для RAG (Retrieval-Augmented Generation). В некотором роде, это недостающая современным LLM долгосрочная память. Это понятно, а причем тут неокортекст, гиппокамп и другие сложные слова? Давайте посмотрим.

Читать полностью »