Упрощать и искать похожие детали, очень полезный навык! Предлагаю быстро пробежаться и попробовать найти ту самую серебряную пулю в RecSys !
Рубрика «loss»
RecSys + DSSM + FPSLoss is all you need
2025-06-08 в 12:10, admin, рубрики: CLIP, cross-entropy, FPS, loss, loss-функции, machine learning, pairCE, recsys, tripletloss, рекомендательные системыКогда обучение не идет. Loss is NaN. Причины и решения
2025-04-13 в 17:35, admin, рубрики: AI, loss, loss function, loss-функции, machinelearning, mlПривет, это моя первая статья на Хабре. И я хочу рассказать вам о проблеме, на решение которой когда-то давно у меня ушло довольно много времени.
Часто бывает, что при обучении (или тестировании) модели нейронной сети (NN) функция потерь (loss) возвращает значение NaN (Not a Number). Это приводит к тому, что фаза обучения "срывается". Обычно неясно, почему это происходит. Я расскажу вам о возможных причинах и рекомендациях по решению этой проблемы.
Взрыв градиента
Существует две основные проблемы с градиентами на этапе обучения: исчезновение (vanishing) и взрыв (explosion) градиент. Первая описана в этих статьях:Читать полностью »
Loss Landscape Analysis — новая библиотека для анализа точности обучения и оценки обобщающей способности нейросетей
2025-01-28 в 12:00, admin, рубрики: analysis, landscape, loss, анализ, визуализация, машинное обучение, нейронные сети, нейросети, обобщение, функция потерьМой коллега Никита Габдуллин работает в Отделе перспективных исследований ИТ-компании «Криптонит». Он автор библиотеки Loss Landscape Analysis (LLA) и научной статьи о ней, препринт которой доступен на английском языке. Здесь мы подробнее рассказываем о самой библиотеке, в то время как научная публикация в основном посвящена исследованию разных свойств ландшафтов функций потерь. Также в русскоязычной статье мы допускаем некоторые лингвистические вольности, которые не приняты в академической среде, но упрощают восприятие текста.
Настройка функции потерь для нейронной сети на данных сейсморазведки
2020-02-18 в 10:19, admin, рубрики: analysis, cnn, data interpretation, deep learning, loss, machine learning, maritime, ods, python, seismic, unet, Блог компании Open Data Science, Геоинформационные сервисы, искусственный интеллект, машинное обучениеВ прошлой статье мы описали эксперимент по определению минимального объема вручную размеченных срезов для обучения нейронной сети на данных сейсморазведки. Сегодня мы продолжаем эту тему, выбирая наиболее подходящую функцию потерь.
Рассмотрены 2 базовых класса функций – Binary cross entropy и Intersection over Union – в 6-ти вариантах с подбором параметров, а также комбинации функций разных классов. Дополнительно рассмотрена регуляризация функции потерь.
Спойлер: удалось существенно улучшить качество прогноза сети.
Использование кастомных функций потери и метрики качества обучения в Keras
2019-11-23 в 14:43, admin, рубрики: keras, loss, машинное обучение, метрики качества, нейронные сети, оптимизация, функция потерьПри обучении нейронной сети на обучающей выборке на выходе нейросети вычисляются два ключевых параметра эффективности обучения — ошибка и точность предсказания. Для этого используются функция потери (loss) и метрика точности. Эти метрики различаются в зависимости от поставленной задачи (классификация или сегментация изображения, детекция объекта, регрессия). В Keras мы можем определить свои собственные функцию потери и метрики точности под свою конкретную задачу. О таких кастомных функциях и пойдет речь в статье. Кому интересно, прошу под кат.
Читать полностью »
Что мы знаем о ландшафте функции потерь в машинном обучении?
2018-03-26 в 6:00, admin, рубрики: gradient descent, loss, loss function, machine learning, градиентный спуск, математика, машинное обучение, функция потерьTL;DR
- В глубоких нейронных сетях основным препятствием для обучения являются седловые точки, а не локальные минимумы, как считалось ранее.
- Большинство локальных минимумов целевой функции сконцентрированы в сравнительно небольшом подпространстве весов. Соответствующие этим минимумам сети дают примерно одинаковый loss на тестовом датасете.
- Сложность ландшафта увеличивается по приближении к глобальному минимуму. Почти во всём объёме пространства весов подавляющая часть седловых точек имеет большое количество направлений, по которым из них можно сбежать. Чем ближе к центру кластера минимумов, тем меньше «направлений побега» у встреченных на пути седловых точек.
- Всё ещё неясно, как найти в подпространстве минимумов глобальный экстремум. Похоже, что это очень сложно; и не факт, что типичный глобальный минимум намного лучше типичного локального.
- В сгустке минимумов существуют особые кривые, соединяющие локальные минимумы. Функция потерь на этих кривых принимает лишь чуть большие значения, чем в самих минимумах.
- Некоторые исследователи считают, что широкие минимумы (с большим радиусом «ямы» вокруг) лучше узких. Но есть и немало учёных, которые полагают, что связь ширины минимума с обобщающей способностью сети очень слаба.
- Skip connections делают ландшафт более дружелюбным для градиентного спуска. Похоже, что вообще нет причин не использовать residual learning.
- Чем шире слои в сети и чем их меньше (до определённого предела), тем глаже ландшафт целевой функции. Увы, чем более избыточна параметризация сети, тем больше нейросеть подвержена переобучению.
Всё, листайте дальше. Я даже КДПВ ставить не буду.
Читать полностью »