Backlog prioritization requires understanding of relative importance. Each group of tasks in the task manager belongs to some strategy like organic acquisition, advertisement leads, conversion optimization and others. We may consider productivity of system, operational costs as well. A set of metrics/strategies is the dimension of a business model. Reduction of dimension and relative weighting, separate budgeting is sufficient. In general case, unite economy relations between profit margin and metrics are violated because of non-linearity. It’s impossible to separate acquisition and conversion, because the quantity of acquisition may affect its quality and vice versa. However decomposition of tasks requires a factor analysis (FA). FA requires a linear decomposition. We meet a contradiction.
Читать полностью »
Рубрика «машинное обучение» - 89
ML and TOC for getting 20-80 business solutions
2019-08-12 в 12:20, admin, рубрики: machine translation, management, theory of constraints, бизнес-модели, интернет-маркетинг, машинное обучение, Управление продуктомАвтоматическое определение эмоций в текстовых беседах с использованием нейронных сетей
2019-08-12 в 12:12, admin, рубрики: big data, data mining, emocontext, emotion detection, FastText, glove, keras, LSTM, python, semeval, semeval-2019, TensorFlow, word embeddings, word2vec, Блог компании Mail.Ru Group, векторное представление слов, долгая краткосрочная память, машинное обучение, рекуррентная нейронная сеть
Одна из основных задач диалоговых систем состоит не только в предоставлении нужной пользователю информации, но и в генерации как можно более человеческих ответов. А распознание эмоций собеседника – уже не просто крутая фича, это жизненная необходимость. В этой статье мы рассмотрим архитектуру рекуррентной нейросети для определения эмоций в текстовых беседах, которая принимала участие в SemEval-2019 Task 3 “EmoContext”, ежегодном соревновании по компьютерной лингвистике. Задача состояла в классификации эмоций (“happy”, “sad”, “angry” и “others”) в беседе из трех реплик, в которой участвовали чат-бот и человек.
В первой части статьи мы рассмотрим поставленную в EmoContext задачу и предоставленные организаторами данные. Во второй и третьей частях разберём предварительную обработку текста и способы векторного представления слов. В четвёртой части мы опишем архитектуру LSTM, которую мы использовали в соревновании. Код написан на языке Python с использованием библиотеки Keras.
Читать полностью »
Нейросети и глубокое обучение: онлайн-учебник, глава 6, ч.1: глубокое обучение
2019-08-12 в 7:00, admin, рубрики: глубокие нейросети, глубокое обучение, искусственный интеллект, машинное обучение, сверточные нейросети, учебникВ прошлой главе мы узнали, что глубокие нейронные сети (ГНС) часто тяжелее обучать, чем неглубокие. И это плохо, поскольку у нас есть все основания полагать, что если бы мы могли обучить ГНС, они бы гораздо лучше справлялись с задачами. Но хотя новости из предыдущей главы и разочаровывают, нас это не остановит. В этой главе мы выработаем техники, которые сможем использовать для обучения глубоких сетей и применения их на практике. Мы также посмотрим на ситуацию шире, кратко познакомимся с недавним прогрессом в использовании ГНС для распознавания изображений, речи и для других применений. А также поверхностно рассмотрим, какое будущее может ждать нейросети и ИИ.
Это будет длинная глава, поэтому давайте немного пройдёмся по оглавлению. Её разделы не сильно связаны между собой, поэтому, если у вас есть некие базовые понятия о нейросетях, вы можете начинать с того раздела, который вас больше интересует.
Основная часть главы – введение в один из наиболее популярных типов глубоких сетей: глубокие свёрточные сети (ГСС). Мы поработаем с подробным примером использования свёрточной сети, с кодом и прочим, для решения задачи классификации рукописных цифр из набора данных MNIST:
Визуализация зависимостей и наследований между моделями машинного обучения
2019-08-10 в 11:28, admin, рубрики: 3d, визуализация графов, визуализация данных, искусственный интеллект, машинное обучение
Несколько месяцев назад я столкнулся с проблемой, моя модель построенная на алгоритмах машинного обучения просто на просто не работала. Я долго думал над тем, как решить эту проблему и в какой-то момент осознал что мои знания очень ограничены, а идеи скудны. Я знаю пару десятков моделей, и это очень малая часть тех работ которые могут быть очень полезны.
Первая мысль которая пришла в голову это то что, если я буду знать и пойму больше моделей, мои качества как исследователя и инженера в целом, возрастут. Эта идея подтолкнула меня к изучению статей с последних конференций по машинному обучению. Структурировать такую информацию довольно сложно, и необходимо записывать зависимости и связи между методами. Я не хотел представлять зависимости в виде таблицы или списка, а хотелось что-то более естественное. В итоге, я понял что иметь для себя трехмерный граф с ребрами между моделями и их компонентами, выглядит довольно интересно.
Например, архитектурно GAN [1] состоит из генератора (GEN) и дискриминатора (DIS), Состязательный Автокодировщик (AAE) [2] состоит из Автокодировщика (AE) [3] и DIS,. Каждый компонент является отдельной вершиной в данном графе, поэтому для AAE у нас будет ребро с AE и DIS.
Шаг за шагом, я анализировал статьи, выписывал из каких методов они состоят, в какой предметной области они применяются, на каких данных они тестировались, и так далее. В процессе работы я понял сколько очень интересных решений остаются неизвестными, и не находят своего применения.
Читать полностью »
Кластерная память с аппроксимацией
2019-08-09 в 18:12, admin, рубрики: адаптивный фильтр, Алгоритмы, кластерный анализ, математика, машинное обучение
Разработана память с нелинейной аппроксимацией внутри кластеров данных. Кластеры предлагается выделять методом k-средних. Аппроксимацию проводить с помощью обучения ансамбля нейронных сетей. Кластерная память протестирована на примере адаптивного фильтра для преобразования цветов изображения. По результатам компьютерных экспериментов данный вид памяти показал хорошую селективную способность к обучению. На примере адаптивного фильтра удается обучить память к изменению всей цветовой палитры изображения.
Читать полностью »
Data and Models Version control in Computer Vision meetup
2019-08-09 в 13:09, admin, рубрики: big data, BigData, catalyst, computer vision, data scientist, dvc, machine learning, meetups, ml-repa, mlflow, open source, raiffeisenIT, Блог компании Райффайзенбанк, конференции, машинное обучениеСообщество ML-REPA приглашает на открытый митап по вопросам воспроизводимости и управлению экспериментами в computer vision, который пройдет 15 августа в офисе Райффайзенбанк в Нагатино.
На митапе будем разбираться с особенностями обеспечения воспроизводимости экспериментов в Computer Vision, автоматизации пайплайнов и версионирование моделей. Где может пригодиться DVC или MLFlow? А где лучше написать свой “велосипед“? Также глубже посмотрим на реализацию Catalyst и его применение.
Там, где человек видит формы, ИИ видит текстуры
2019-08-09 в 7:00, admin, рубрики: искусственный интеллект, машинное зрение, машинное обучениеК удивлению исследователей, алгоритмы компьютерного зрения с глубоким обучением часто не справляются с классификацией изображений потому, что они в основном ориентируются на текстуры, а не на формы.
Если вы посмотрите на фотографию кошки, с большой вероятностью вы сможете узнать это животное, вне зависимости от того, будет оно рыжим или полосатым – или даже если фотография будет чёрно-белой, запятнанной, потрёпанной или потускневшей. Вероятно, вы сможете заметить кошку, когда она свернулась клубочком за подушкой или прыгает на стол, представляя собой лишь размытую форму. Вы естественным образом научились распознавать кошек почти в любой ситуации. А вот системы машинного зрения, работающие на основе глубоких нейросетей, хотя иногда и способны обставлять людей в задачах распознавания кошек при фиксированных условиях, но могут оказаться сбитыми с толку при помощи изображений, которые хоть немного отличаются от им известных, или же содержат шум или слишком сильную зернистость.
Читать полностью »
Подрядчики Microsoft рассказали о прослушке звонков в Skype
2019-08-08 в 14:19, admin, рубрики: apple, microsoft, siri, skype, Законодательство в IT, информационная безопасность, искусственный интеллект, конфиденциальность данных, машинное обучение
Подрядчики, работающие на Microsoft, возможно, могут прослушивать личные разговоры пользователей Skype. Об этом представители компании, название которой не раскрывается, рассказали изданию Motherboard.
В 2015 году Skype запустил услугу «Переводчик», которая переводит разговор прямо во время звонка. Инструмент даёт возможность пользователям Skype разговаривать или переписываться в чате на разных языках с людьми по всему миру. Для этого Skype использует искусственный интеллект, но, как и во многих других проектах с применением ИИ или машинного обучения, часть работы выполняется людьми для улучшения алгоритмов его функционирования.
При этом в FAQ для Skype Translator говорится: «Чтобы помочь технологии развиваться, мы проверяем автоматические переводы и отправляем исправления обратно в систему для создания более эффективных сервисов». Однако в этом разделе не сообщается, что аудио, захваченное с помощью функции «Переводчик», могут слушать живые люди.
Читать полностью »
Тренировка по машинному обучению 10 августа
2019-08-06 в 13:00, admin, рубрики: machine learning, mail.ru, mail.ru group, ml, Блог компании Mail.Ru Group, искусственный интеллект, машинное обучение, Учебный процесс в IT
Приглашаем 10 августа в московский офис Mail.ru Group на тренировку по машинному обучению.
Тренировка по машинному обучению — это открытый митап, на который мы приглашаем участников соревнований по анализу данных, чтобы познакомиться, рассказать про задачи, обменяться опытом участия и пообщаться. С докладами выступают опытные участники последних соревнований на Kaggle и других платформах, рассказывают о своих решениях: какие техники и методы использовали они сами, а какие помогли их конкурентам.
Читать полностью »
DeepCode — система анализа кода на базе глубинного обучения
2019-08-06 в 11:14, admin, рубрики: big data, DeepCode, github, ITSumma, анализ кода, Блог компании ITSumma, машинное обучение, нейросети, ПрограммированиеШвейцарский стартап DeepCode разрабатывает систему автоматического код-ревью на базе глубинного обучения, сообщает venturebeat. На днях компания закрыла первый инвестиционный раунд и получила на свое развитие $4 млн.
В основе технологии, предлагаемой командой DeepCode, лежит семантический анализ кода вкупе с обучением нейросети с помощью Big Data. Самое интересное в этой разработке то, что в качестве базы данных для обучения сети будет использоваться код публичных репозиториев GitHub.
Кликабельно
Весь процесс разработчики разделяют на несколько этапов. Первый — разметка базы, то есть парсинг самого GitHub и сортировка данных. В качестве главного параметра будет выступать язык программирования, на котором написан проект. Далее идет разметка данных и подготовка спаршенного кода к потреблению нейросетью. Ну и последний, третий этап — это обучение самого DeepCode.
Читать полностью »