Рубрика «ml» - 3
Проблемы защиты персональных данных в мире искусственного интеллекта
2024-09-17 в 4:18, admin, рубрики: ml, защита данных пользователей, обработка данных, персональные данныеИскусственный интеллект сейчас, по большому счету, везде. В любой отрасли нам говорят о том, что в ней используются нейросети, машинное обучение и другие направления ИИ. Не стали исключением и системы, связанные с обработкой персональных данных пользователей. В этой статье мы поговорим о том, как связаны искусственный интеллект и защита персональных данных.
Риски при обработке данных ИИ
Мониторинг токсичного контента в AI продуктах
2024-09-14 в 11:51, admin, рубрики: llm, ml, искусственный интеллектВведение
С ростом популярности LLM (больших языковых моделей) начинает подниматься вопрос о внедрении систем мониторинга LLM, которые будут проверять промпт пользователей на наличие токсичного контента, среди которого можно выделить промпт-инъекции и джейлбрейки (jailbreaks), а также ответ LLM, среди которого может быть сгенерированный неэтичный контент, утечки данных (пароли, промпт-инструкции и другая тайная от пользователя информация).
ML для анализа ЭЭГ: ищем эпилептические приступы
2024-09-11 в 17:37, admin, рубрики: EEG, ml, медицина будущего, ээгПривет!
Меня зовут Дима Архипов. Я учусь на четвертом курсе института на направлении прикладной математики в НИТУ МИСИС. В марте 2024 года мне удалось попасть на стажировку в центр медицины Sber AI LabЧитать полностью »
Как разрабатывали модели замены фона для видеосозвонов в SaluteJazz
2024-08-21 в 7:52, admin, рубрики: IML, machine learning, ml, salutejazz, машинное обучение
Замена фона стала уже привычной возможностью в видеозвонках. Но сколько работы стоит за тем, чтобы она работала одновременно быстро, качественно и не требовала от пользователя много скачивать?
На нашей конференции I'ML спикеры из SberDevices Дмитрий Балиев и Давид Нурдинов Читать полностью »
Новый подход для классификации текста в чат-ботах
2024-08-20 в 9:05, admin, рубрики: AI, classification, llm, LLM-классификатор, ml, ML-классификатор, python, semantic-router, эмбеддингВсё чаще в реализации проектов встречается потребность в классификации входящего текста для дальнейшей обработки. До недавнего бума нейросетей задачи по классификации текста были достаточно трудоемкими, дорогостоящими и требовали глубоких знаний NLP. А готовые решения не давали желаемой точности ответов. К счастью, сейчас практически моментально можно внедрить множество решений. Представьте, автодилер ежедневно получает сотни сообщений от клиентов. Как быстро и точно определить, что хочет клиент? С помощью классификации текста.
JupyterHub на стероидах: реализация KubeFlow фич без масштабных интеграций
2024-08-15 в 13:55, admin, рубрики: devops, jupyter, JupyterHub, kubernetes, ml, mlopsПривет! Меня зовут Александр, я MLOps-инженер в KTS.
JupyterHub — централизованный инструмент для создания Jupyter ноутбуков для разных пользователей по заранее заданным параметрам, который используется более чем 200 специалистами у нас на проекте в Альфа-Банке.
Сейчас множество сервисов могут запускаться в Kubernetes, который уже стал стандартом. И JupyterHub не исключение. Есть много статей по его запуску, и в большинстве из них описано, как просто поднять данный сервис и запустить рабочий ноутбук на базе профилей. Каждый профиль представляет собой заранее настроенные параметры для Pod ноутбука.
Миссия рекомендательных систем - угадывать потребности человека. Примитивные модели не способны уловить скрытые паттерны поведения пользователя. Однако эту задачу способно решить моделирование последовательности рекомендаций (Sequential Recommendation). Особенного успеха в последнее время в моделировании последовательностей добились Transformer-подобные архитектуры. Ниже представлен краткий обзор на важные в области статьи, частично покрывающие тематику Recsys+Transformers.
SASRec: Self-Attentive Sequential Recommendation
https://arxiv.org/pdf/1808.09781
Моя б̶е̶з̶умная колонка: часть вторая — программная
2024-06-18 в 8:01, admin, рубрики: android, diy или сделай сам, iOS, ml, orange pi zero, python, Raspberry Pi, timeweb_статьи, ассистент, голосовое управление
Привет, Хабр!
Яндекс разработал и выложил в опенсорс YaFSDP — инструмент для ускорения обучения LLM и сокращения расходов на GPU
2024-06-11 в 9:00, admin, рубрики: gpu, llm, ml, open source, машинное обучение, опенсорс яндекса, языковые модели, яндексСегодня мы выкладываем в опенсорс наш новый инструмент — алгоритм YaFSDP, который помогает существенно ускорить процесс обучения больших языковых моделей.
В этой статье мы расскажем о том, как можно организовать обучение больших языковых моделей на кластере и какие проблемы при этом возникают. Рассмотрим альтернативные методы ZeRo и FSDP, которые помогают организовать этот процесс. И объясним, чем YaFSDP отличается от них.