Рубрика «huggingface»

в 7:07, , рубрики: huggingface, llama, llama3.1, supervised fine-tuning, weights & biases

Привет, чемпионы! С каждым днем появляется все больше и больше LLM, их показатели растут с таким же темпом. Но в определенных областях они до сих пор не слишком хороши, так как на этапе предобучения не выгодно охватывать узкие домены - легче модели скормить общие данные, а потом дообучить.

Секунду, слишком много терминов на один пиксель: что такое предобучение и "дообучение"? Практически все современные "чатовые" модели выпускаются не до конца обученные, чтобы в случае неудовлетворенности пользователя результатам генерации, он смог дообучить под свои данные.

ДообучениеЧитать полностью »

в 9:00, , рубрики: Chat Arena, CopilotKit, Cosmopolitan Libc, huggingface, LibreChat, llama.cpp, llamafile, llm, Ollama, OpenCompass, ruvds_статьи, Tabby, vps, языковые модели

Установка LLM на скромном VPS - 1


«Я тебя завалю, если ещё раз упомянешь AI», — писал автор нашумевшей статьи. В самом деле, хайп вокруг ИИ всем надоел. Но мы всё-таки рискнём поговорить о том, какую LLM поставить на своём сервере и зачем.

Сразу упомянем, что на серверах RUVDS установлены видеокарты NVIDIA Quadro P4000 (на фото). Карты довольно слабенькие, так что подойдут скорее для проектов в образовательных целях и т. д. Тем более что под VPS выделяется максимум 1 ГБ видеопамяти. Но даже в таких спартанских условиях можно запустить LLM.

Кстати, о VPS с видеокартой. Несколько лет назад мы уже писали о сферах их применения и даже проводили тесты. Всё это можно найти здесь.Читать полностью »

в 11:23, , рубрики: dataScience, detection, huggingface, machinelearning, open source, pet, streamlit, yolo, Блог компании Open Data Science, искусственный интеллект, машинное обучение, обработка изображений
Третья жизнь пет-проекта по распознаванию рукописных цифр - 1

В этом блогпосте я поделюсь историей о том, как я обновлял свой старенький пет-проект по распознаванию цифр, как делал разметку для него, и почему модель предсказывает 12 классов, хотя цифр всего 10.

Вступление

Читать полностью »

в 14:11, , рубрики: CLIP, dalle, dalle-2, huggingface, natural language processing, OpenAI, stable diffusion, stablediffusion, unet, VAE, искусственный интеллект, машинное обучение, обработка изображений

Вероятно вы уже слышали про успехи нейросетей в генерации картинок по текстовому описанию.

Я решил разобраться, и заодно сделать небольшой туториал, по архитектуре Stable Diffusion. Сегодня мы не будем глубоко погружаться в математику и процесс тренировки. Вместо этого сфокусируемся на применении и устройстве основных компонент: UNet, VAE, CLIP.

Читать полностью »

в 21:52, , рубрики: 2ch, data mining, dataset, huggingface, natural language processing, nlp, python, pytorch, telegram, telegrambot, машинное обучение

Если вам хочется разбавить общение в telegram чате нелепыми, но зачастую меткими и смешными комментариями, или вы ищете информацию по интеграции языковой модели в бота, или хотите сами обучить языковые модели на данных с 2ch, то в этой статье описаны шаги, как это сделать.

Бот

Запустил бота, которого можно добавлять в чаты, и он будет отвечать на сообщения, как на посты на 2ch.hk/b/.

Для этого:

в 9:09, , рубрики: BERT, huggingface, natural language processing, pytorch, Transformers, машинное обучение

Зачем

В интернете полно прекрасных статей про BERT. Но часто они слишком подробны для человека, который хочет просто дообучить модель для своей задачи. Данный туториал поможет максимально быстро и просто зафайнтюнить русскоязычный BERT для задачи классификации. Полный код и описание доступны в репозитории на github, есть возможность запустить все в google colab одной кнопкой.

Workflow

  1. Данные для обучения

  2. Модель

  3. Helpers

  4. Train

  5. Inference

Данные для обучения

Для обучения использовались очищенные данные русскоязычного твиттера из датасета Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js