Рубрика «языковые модели»

в 11:07, , рубрики: matmul-free, языковые модели

Нейросети любой архитектуры построены на перемножении матриц. Например, трансформеры из входного вектора создают (тоже перемножением) три матрицы, Q, K и V, которые затем несколько раз перемножаются на пути к получению выходного вектора. Именно умножение матриц  с его  кубической сложностью (если не прибегать к разного рода ухищрениям) занимает большую часть вычислительных мощностей.

Поэтому возникает естественное желание облегчить эту самую массивную часть вычислений и ускорить таким образом любую архитектуру. Периодически возникают новые подходы и идеи, тут расскажем о последней громкой статье по этой теме — Читать полностью »

в 14:45, , рубрики: chatgpt, llm, ИИ, ИИ и машинное обучение, когнитивные искажения, языковые модели

Человеческий разум, столь сложный и удивительный, далеко не безупречен. Десятилетия исследований в области когнитивной психологии показали, что наше мышление подвержено систематическим ошибкам, известным как когнитивные искажения. Например, Канеман и Тверски открыли глаза на то, как часто мы подвергаемся влиянию искажений, даже когда абсолютно уверены в рациональности принятого решения. Мы склонны видеть мир не таким, какой он есть, а сквозь призму собственных предубеждений и упрощений. Но что, если эти же искажения проявляются и у искусственного интеллекта?

Читать полностью »

в 8:35, , рубрики: llm, игра в консенсус, искусственный интеллект, теория игр, языковые модели
Теория игр может сделать ИИ более корректным и эффективным - 1

Исследователи используют идеи теории игр, чтобы улучшить большие языковые модели и сделать их более последовательными.

Читать полностью »

в 15:32, , рубрики: BERT, gpt, llm, nlp, nlp (natural language processing), pytorch, TensorFlow, обработка естественного языка, языковая модель, языковые модели

Для того, чтобы распознавать естественную человеческую речь, используют специальные модели — языковые. Они умеют воспринимать содержание текста, продолжать предложения и вести осмысленный диалог.

Вместе с дата-сайентистом и биоинформатиком Марией Дьяковой подготовили подробный гайд о том, как устроены самые популярные языковые модели и что нужно знать, чтобы начать с ними работать.

Читать полностью »

в 9:00, , рубрики: Chat Arena, CopilotKit, Cosmopolitan Libc, huggingface, LibreChat, llama.cpp, llamafile, llm, Ollama, OpenCompass, ruvds_статьи, Tabby, vps, языковые модели

Установка LLM на скромном VPS - 1


«Я тебя завалю, если ещё раз упомянешь AI», — писал автор нашумевшей статьи. В самом деле, хайп вокруг ИИ всем надоел. Но мы всё-таки рискнём поговорить о том, какую LLM поставить на своём сервере и зачем.

Сразу упомянем, что на серверах RUVDS установлены видеокарты NVIDIA Quadro P4000 (на фото). Карты довольно слабенькие, так что подойдут скорее для проектов в образовательных целях и т. д. Тем более что под VPS выделяется максимум 1 ГБ видеопамяти. Но даже в таких спартанских условиях можно запустить LLM.

Кстати, о VPS с видеокартой. Несколько лет назад мы уже писали о сферах их применения и даже проводили тесты. Всё это можно найти здесь.Читать полностью »

в 9:00, , рубрики: gpu, llm, ml, open source, машинное обучение, опенсорс яндекса, языковые модели, яндекс

Сегодня мы выкладываем в опенсорс наш новый инструмент — алгоритм YaFSDP, который помогает существенно ускорить процесс обучения больших языковых моделей.

В этой статье мы расскажем о том, как можно организовать обучение больших языковых моделей на кластере и какие проблемы при этом возникают. Рассмотрим альтернативные методы ZeRo и FSDP, которые помогают организовать этот процесс. И объясним, чем YaFSDP отличается от них.

Читать полностью »

в 5:44, , рубрики: chatgpt, gpt, jpeg, llm, галлюцинации, генеративные модели, ИИ, искусственный интеллект, языковые модели

ИИ чат‑боты любят ловить глюки и выдавать всякую чушь. Так массово, что словом 2023 года признали «галлюцинировать». В чем причина такого явления? Является ли генеративный ИИ интеллектом (спойлер — и да, и нет)? И что общего у ChatGPT и копировального аппарата Xerox? Разбираемся, осмысляя базовую логику работы языковых моделей.

Небольшое вступление или "в чем суть проблемы?"

Кебриджский словарь признал Читать полностью »

в 9:43, , рубрики: llm, low resource languages, mgpt, multilingual language models, nlp, малые языки россии, языковые модели
Малые языки дожили до будущего

Малые языки дожили до будущего

Не так давно мы рассказывали про то, как обучили модель-полиглот mGPT, которая говорит на 61 языке. Этим летом мы выложили большую мультиязычную модель (претрейн) mGPT-13B под открытой лицензией MIT.

Читать полностью »

в 9:02, , рубрики: Алгоритмы, Блог компании Яндекс, искусственный интеллект, клавиатуры, команда яндекс.клавиатуры, машинное обучение, разработка мобильных приложений, языковые модели, яндекс, яндекс.клавиатура
Как маленькая нейроязыковая модель в Клавиатуре победила серверные подсказки - 1

Основная задача любой мобильной клавиатуры — помогать пользователям в общении, а именно — вводить текст быстро и без ошибок. Этого можно достичь при помощи разных компонентов: подсказок, автокорректа, тап-модели, голосового ввода, ввода Читать полностью »

в 8:02, , рубрики: large language model, llm, natural language processing, nlp, open source, rugpt, ruGPT-3.5, sberdevices, Блог компании SberDevices, Блог компании Сбер, искусственный интеллект, Компьютерная лингвистика, языковые модели
Сбер открывает доступ к нейросетевой модели ruGPT-3.5 - 1

Друзья, свершилось. Сегодня мы рады сообщить вам о релизе в открытый доступ нейросетевой модели, которая лежит в основе сервиса GigaChat.

Про то, что такое GigaChat и как мы его обучаем, вы можете прочитать в нашей предыдущей статьеЧитать полностью »

12
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js