Исследователи используют идеи теории игр, чтобы улучшить большие языковые модели и сделать их более последовательными.
Рубрика «языковые модели» - 4
Теория игр может сделать ИИ более корректным и эффективным
2024-08-21 в 8:35, admin, рубрики: llm, игра в консенсус, искусственный интеллект, теория игр, языковые моделиГайд по работе языковых моделей для начинающих
2024-08-20 в 15:32, admin, рубрики: BERT, gpt, llm, nlp, nlp (natural language processing), pytorch, TensorFlow, обработка естественного языка, языковая модель, языковые моделиДля того, чтобы распознавать естественную человеческую речь, используют специальные модели — языковые. Они умеют воспринимать содержание текста, продолжать предложения и вести осмысленный диалог.
Вместе с дата-сайентистом и биоинформатиком Марией Дьяковой подготовили подробный гайд о том, как устроены самые популярные языковые модели и что нужно знать, чтобы начать с ними работать.
Установка LLM на скромном VPS
2024-07-24 в 9:00, admin, рубрики: Chat Arena, CopilotKit, Cosmopolitan Libc, huggingface, LibreChat, llama.cpp, llamafile, llm, Ollama, OpenCompass, ruvds_статьи, Tabby, vps, языковые модели
«Я тебя завалю, если ещё раз упомянешь AI», — писал автор нашумевшей статьи. В самом деле, хайп вокруг ИИ всем надоел. Но мы всё-таки рискнём поговорить о том, какую LLM поставить на своём сервере и зачем.
Сразу упомянем, что на серверах RUVDS установлены видеокарты NVIDIA Quadro P4000 (на фото). Карты довольно слабенькие, так что подойдут скорее для проектов в образовательных целях и т. д. Тем более что под VPS выделяется максимум 1 ГБ видеопамяти. Но даже в таких спартанских условиях можно запустить LLM.
Кстати, о VPS с видеокартой. Несколько лет назад мы уже писали о сферах их применения и даже проводили тесты. Всё это можно найти здесь.Читать полностью »
Яндекс разработал и выложил в опенсорс YaFSDP — инструмент для ускорения обучения LLM и сокращения расходов на GPU
2024-06-11 в 9:00, admin, рубрики: gpu, llm, ml, open source, машинное обучение, опенсорс яндекса, языковые модели, яндексСегодня мы выкладываем в опенсорс наш новый инструмент — алгоритм YaFSDP, который помогает существенно ускорить процесс обучения больших языковых моделей.
В этой статье мы расскажем о том, как можно организовать обучение больших языковых моделей на кластере и какие проблемы при этом возникают. Рассмотрим альтернативные методы ZeRo и FSDP, которые помогают организовать этот процесс. И объясним, чем YaFSDP отличается от них.
Генеративный ИИ — это просто «замыленный JPEG интернета», который убедительно косит под интеллект
2023-11-23 в 5:44, admin, рубрики: chatgpt, gpt, jpeg, llm, галлюцинации, генеративные модели, ИИ, искусственный интеллект, языковые моделиИИ чат‑боты любят ловить глюки и выдавать всякую чушь. Так массово, что словом 2023 года признали «галлюцинировать». В чем причина такого явления? Является ли генеративный ИИ интеллектом (спойлер — и да, и нет)? И что общего у ChatGPT и копировального аппарата Xerox? Разбираемся, осмысляя базовую логику работы языковых моделей.
Небольшое вступление или "в чем суть проблемы?"
Кебриджский словарь признал Читать полностью »
От полиглота к эксперту: модели mGPT для малых языков России и стран СНГ
2023-08-22 в 9:43, admin, рубрики: llm, low resource languages, mgpt, multilingual language models, nlp, малые языки россии, языковые модели
Не так давно мы рассказывали про то, как обучили модель-полиглот mGPT, которая говорит на 61 языке. Этим летом мы выложили большую мультиязычную модель (претрейн) mGPT-13B под открытой лицензией MIT.
Как маленькая нейроязыковая модель в Клавиатуре победила серверные подсказки
2023-08-02 в 9:02, admin, рубрики: Алгоритмы, Блог компании Яндекс, искусственный интеллект, клавиатуры, команда яндекс.клавиатуры, машинное обучение, разработка мобильных приложений, языковые модели, яндекс, яндекс.клавиатура
Основная задача любой мобильной клавиатуры — помогать пользователям в общении, а именно — вводить текст быстро и без ошибок. Этого можно достичь при помощи разных компонентов: подсказок, автокорректа, тап-модели, голосового ввода, ввода Читать полностью »
Сбер открывает доступ к нейросетевой модели ruGPT-3.5
2023-07-20 в 8:02, admin, рубрики: large language model, llm, natural language processing, nlp, open source, rugpt, ruGPT-3.5, sberdevices, Блог компании SberDevices, Блог компании Сбер, искусственный интеллект, Компьютерная лингвистика, языковые модели
Друзья, свершилось. Сегодня мы рады сообщить вам о релизе в открытый доступ нейросетевой модели, которая лежит в основе сервиса GigaChat.
Про то, что такое GigaChat и как мы его обучаем, вы можете прочитать в нашей предыдущей статьеЧитать полностью »
RuGPT3. Исследование вариантов циклическим перебором
2023-07-02 в 5:32, admin, рубрики: deep learning, gpt, machine learning, natural language processing, nlp, rugpt3, генеративные модели, искусственные нейронные сети, искусственный интеллект, машинное обучение, обработка естественного языка, языковые моделиRuGPT3 - коллекция генеративных моделей от Сбер
Проводим автоматическое тестирование циклическим перебором вариантов
Работаем в Colab, тестируем Small, Mediub, Large.
Параметры генерации совершенно неоптимизированы - это первый заход, чтобы посмотреть исходную ситуацию и сравнивать по мере улучшения.
Читать полностью »
OpenAssistant: Вышла бесплатная открытая альтернатива ChatGPT
2023-04-14 в 11:28, admin, рубрики: llama, open source, openassistant, будущее здесь, ИИ, ИИ и машинное обучение, искусственный интеллект, машинное обучение, языковые модели
Участники открытого сообщества LAION-AI выпустили в открытый доступ первые обученные модели OA_SFT_Llama_30B и OA_SFT_Llama_13B. и запустили ИИ-чатбот OpenAssistantЧитать полностью »