Всё чаще в реализации проектов встречается потребность в классификации входящего текста для дальнейшей обработки. До недавнего бума нейросетей задачи по классификации текста были достаточно трудоемкими, дорогостоящими и требовали глубоких знаний NLP. А готовые решения не давали желаемой точности ответов. К счастью, сейчас практически моментально можно внедрить множество решений. Представьте, автодилер ежедневно получает сотни сообщений от клиентов. Как быстро и точно определить, что хочет клиент? С помощью классификации текста.
Рубрика «ml» - 5
Новый подход для классификации текста в чат-ботах
2024-08-20 в 9:05, admin, рубрики: AI, classification, llm, LLM-классификатор, ml, ML-классификатор, python, semantic-router, эмбеддингJupyterHub на стероидах: реализация KubeFlow фич без масштабных интеграций
2024-08-15 в 13:55, admin, рубрики: devops, jupyter, JupyterHub, kubernetes, ml, mlopsПривет! Меня зовут Александр, я MLOps-инженер в KTS.
JupyterHub — централизованный инструмент для создания Jupyter ноутбуков для разных пользователей по заранее заданным параметрам, который используется более чем 200 специалистами у нас на проекте в Альфа-Банке.
Сейчас множество сервисов могут запускаться в Kubernetes, который уже стал стандартом. И JupyterHub не исключение. Есть много статей по его запуску, и в большинстве из них описано, как просто поднять данный сервис и запустить рабочий ноутбук на базе профилей. Каждый профиль представляет собой заранее настроенные параметры для Pod ноутбука.
Миссия рекомендательных систем - угадывать потребности человека. Примитивные модели не способны уловить скрытые паттерны поведения пользователя. Однако эту задачу способно решить моделирование последовательности рекомендаций (Sequential Recommendation). Особенного успеха в последнее время в моделировании последовательностей добились Transformer-подобные архитектуры. Ниже представлен краткий обзор на важные в области статьи, частично покрывающие тематику Recsys+Transformers.
SASRec: Self-Attentive Sequential Recommendation
https://arxiv.org/pdf/1808.09781
Моя б̶е̶з̶умная колонка: часть вторая — программная
2024-06-18 в 8:01, admin, рубрики: android, diy или сделай сам, iOS, ml, orange pi zero, python, Raspberry Pi, timeweb_статьи, ассистент, голосовое управление
Привет, Хабр!
Яндекс разработал и выложил в опенсорс YaFSDP — инструмент для ускорения обучения LLM и сокращения расходов на GPU
2024-06-11 в 9:00, admin, рубрики: gpu, llm, ml, open source, машинное обучение, опенсорс яндекса, языковые модели, яндексСегодня мы выкладываем в опенсорс наш новый инструмент — алгоритм YaFSDP, который помогает существенно ускорить процесс обучения больших языковых моделей.
В этой статье мы расскажем о том, как можно организовать обучение больших языковых моделей на кластере и какие проблемы при этом возникают. Рассмотрим альтернативные методы ZeRo и FSDP, которые помогают организовать этот процесс. И объясним, чем YaFSDP отличается от них.
Повышаем интерпретируемость SHAP-графиков
2024-06-07 в 8:41, admin, рубрики: feature importance, ml, shap
Привет! В моей работе часто возникают задачи на исследование влияния факторов, на которые мы можем оказывать продуктовое влияние, на целевые метрики сообществ ВКонтакте. Один из возможных способов решения подобных задач — обучение ML‑моделей и последующий анализ значимости признаков в них. Базовым подходом видится использование графиков из библиотеки Читать полностью »
На практике пробуем KAN – принципиально новую архитектуру нейросетей
2024-05-03 в 15:14, admin, рубрики: data science, ml, нейронные сети, нейросеть, ПерцептронНа днях ученые из MIT показали альтернативу многослойному перцептрону (MLP). MLP с самого момента изобретения глубокого обучения лежит в основе всех нейросетей, какими мы их знаем сегодня. На его идее в том числе построены большие языковые модели и системы компьютерного зрения.
Однако теперь все может измениться. В KAN (Kolmogorov-Arnold Networks) исследователи реализовали перемещение функций активации с нейронов на ребра нейросети, и такой подход показал блестящие результаты.
Размер имеет значение. Как Ozon автоматизировал измерение товаров на складах
2024-04-23 в 14:11, admin, рубрики: computer vision, CV, machine learning, ml, ozon tech, Компьютерное зрениеМы разработали, собрали и интегрировали в операционные процессы складов Ozon устройства для измерения габаритов и веса товаров. Об этом мы писали ранее. Но к идее создания своего решения пришли не сразу.
Как мы пришли к идее создания решения
Генеративные 3D-модели
2024-04-19 в 9:08, admin, рубрики: 3d, computer vision, ml, генеративные модели
Введение
Салют! На связи Игорь Пасечник — технический лид направления XR RnD SberDevices. Сегодня я хочу рассказать про одно из наших направлений исследований — разработку генеративных моделей для 3D-контента.
Я изучила 900 самых популярных инструментов ИИ на базе open source — и вот что обнаружила
2024-04-11 в 13:04, admin, рубрики: github, ml, open source, генеративные модели, ИИ
Четыре года назад ИТ-эксперт Чип Хуэн* проанализировала экосистему MLЧитать полностью »