Ранее у нас в блоге уже был материал про лучших в Kaggle, а сегодня представляю вам интервью с признанным дата-сайентистом и гроссмейстером Kaggle Филиппом Сингером, который поделится своим опытом, вдохновением и и достижениями. Беседа призвана мотивировать и воодушевить других людей, которые хотят понять, что нужно, чтобы стать гроссмейстером Kaggle. Также в этом интервью мы узнаем больше об академическом прошлом Филиппа, его увлечении Kaggle и о его работе в качестве дата-сайентиста.
Рубрика «machine learning» - 7
Дата-сайентист, который просто не может перестать выигрывать на Kaggle
2021-01-24 в 11:57, admin, рубрики: data science, kaggle, machine learning, skillfactory, Блог компании SkillFactory, интервью, машинное обучение, Программирование, соревнования, ХакатоныКак сделать Data Science приложение для Windows (и не только) с графическим интерфейсом с помощью PySimpleGUI
2021-01-23 в 11:39, admin, рубрики: artificial intelligence, big data, data science, machine learning, python, skillfactory, Блог компании SkillFactory, искусственный интеллект, машинное обучениеРаботать с Data Science в Jupyter, конечно, очень приятно, но если вы хотите пойти дальше и развернуть свой проект или модель на облачном сервере, то здесь есть много отличных решений — с помощью Flask, Django или Streamlit. Хотя облачные решения по-прежнему самые популярные, часто хочется создать быстрое приложение с графическим интерфейсом. Например:
- Модель ML тестируется на различных наборах данных. Вы можете перетащить файлы CSV в модель и отрисовать кривую AUS/ROC. Здесь GUI проявит себя прекрасно, правда?
- Построить случайную переменную или статистическое распределение в заданном диапазоне и динамически управлять параметрами с помощью графического интерфейса.
- Быстро запустить некоторые задачи обработки или предварительной обработки данных в наборе с помощью GUI вместо того, чтобы писать кучу кода.
В этой статье мы покажем, как создать такой графический интерфейс, потратив минимум усилий на изучение библиотеки Python.
Разрабатываем и развёртываем собственную платформу ИИ с Python и Django
2021-01-22 в 10:13, admin, рубрики: artificial intelligence, django, machine learning, python, skillfactory, Алгоритмы, Блог компании SkillFactory, джанго, искусственный интеллект, машинное обучение, ПитонВзлёт искусственного интеллекта привёл к популярности платформ машинного обучения MLaaS. Если ваша компания не собирается строить фреймворк и развёртывать свои собственные модели, есть шанс, что она использует некоторые платформы MLaaS, например H2O или KNIME. Многие исследователи данных, которые хотят сэкономить время, пользуются этими инструментами, чтобы быстро прототипировать и тестировать модели, а позже решают, будут ли их модели работать дальше.
Но не бойтесь всей этой инфраструктуры; чтобы понять эту статью, достаточно минимума знаний языка Python и фреймворка Django. Специально к старту нового потока курса по машинному обучению в этом посте покажем, как быстро создать собственную платформу ML, способную запускать самые популярные алгоритмы на лету.
Портрет Орнеллы Мути Джозефа Айерле (фрагмент), рассчитанный с помощью технологии искусственного интеллекта.
Читать полностью »
Пора избавляться от мышки или Hand Pose Estimation на базе LiDAR за 30 минут
2021-01-12 в 11:04, admin, рубрики: computer vision, deep learning, diy или сделай сам, future is now, machine learning, object detection, pose estimation, python, Блог компании Open Data Science, машинное обучение, Программирование, самоделки, сделай сам
Всем привет! Пока киберпанк еще не настолько вошел в нашу жизнь, и нейроинтерфейсы далеки от идеала, первым этапом на пути к будущему манипуляторов могут стать LiDAR. Поэтому, чтобы не скучать на праздниках, я решил немного пофантазировать на тему средств управления компьютером и, предположительно, любым устройством, вплоть до экскаватора, космического корабля, дрона или кухонной плиты.
Читать полностью »
Анимации градиентного спуска и ландшафта потерь нейронных сетей на Python
2021-01-10 в 10:13, admin, рубрики: machine learning, python, skillfactory, Блог компании SkillFactory, градиентный спуск, машинное обучение, нейронные сетиВо время изучения различных алгоритмов машинного обучения я наткнулся на ландшафт потерь нейронных сетей с их горными территориями, хребтами и долинами. Эти ландшафты потерь сильно отличались от выпуклых и гладких ландшафтов потерь, с которыми я столкнулся при использовании линейной и логистической регрессий. Здесь мы создадим ландшафты потерь нейронных сетей и анимированного градиентного спуска с помощью датасета MNIST.
Рисунок 1 — Ландшафт потерь свёрточной нейронной сети с 56 слоями (VGG-56, источник)
Читать полностью »
Нейросети в большом городе. Разбираемся, как они помогают идентифицировать людей, и запускаем собственную нейросеть
2021-01-08 в 12:15, admin, рубрики: machine learning, python, skillfactory, Алгоритмы, Блог компании SkillFactory, видеонаблюдение, машинное обучение, нейросети, УрбанизмАлгоритмы по детекции лиц плотно вошли в нашу жизнь, хотя и не все это замечают. Началось всё в 2015 году со сферы развлечений. Стартап Looksery, занимающийся разработкой AR-фильтров, был куплен Snapchat. Приложение распознавало лицо человека на фотографии и накладывало на него весёлые рожицы. Чуть позже, в начале 2016 года, Facebook купил белорусский стартап MSQRD и запустил маски в Facebook Stories. Но это можно считать только обкаткой таких технологий.
В этой статье можно прочитать, как используются системы идентификации, узнать про слабые места компьютерных алгоритмов, а также попробовать запустить нейронную сеть по детекции и идентификации лиц на собственном компьютере.
Как экономить память и удваивать размеры моделей PyTorch с новым методом Sharded
2021-01-07 в 15:13, admin, рубрики: big data, data science, deep learning, machine learning, python, pytorch, skillfactory, Блог компании SkillFactory, глубокое обучение, искусственный интеллект, машинное обучениеМодели глубокого обучения улучшаются с увеличением количества данных и параметров. Даже с последней моделью GPT-3 от Open AI, которая использует 175 миллиардов параметров, нам ещё предстоит увидеть плато роста количества параметров.
Для некоторых областей, таких как NLP, рабочей лошадкой был Transformer, который требует огромных объёмов памяти графического процессора. Реалистичные модели просто не помещаются в памяти. Последний метод под названием Sharded [букв. ‘сегментированный’] был представлен в Zero paper Microsoft, в котором они разработали метод, приближающий человечество к 1 триллиону параметров.
Специально к старту нового потока курса по Machine Learning, делюсь с вами статьей о Sharded в которой показывается, как использовать его с PyTorch сегодня для обучения моделей со вдвое большей памятью и всего за несколько минут. Эта возможность в PyTorch теперь доступна благодаря сотрудничеству между командами FairScale Facebook AI Research и PyTorch Lightning.
ИИ итоги уходящего 2020-го года в мире машинного обучения
2020-12-31 в 20:25, admin, рубрики: AI, data mining, data science, deep learning, machine learning, machinelearning, neural, neural networks, python, Алгоритмы, машинное обучение, нейросети, нейросеть, ПрограммированиеПодведем основные итоги уходящего года. Рассмотрим самые громкие открытия в мире компьютерного зрения, обработки естественного языка, генерации изображений и видео, а также крупный прорыв в области биологии. Коротко о самом главном за год!
Если тебе интересно машинное обучение, то приглашаю в «Мишин Лернинг»Читать полностью »
Первое место на AI Journey 2020 Digital Петр
2020-12-27 в 13:04, admin, рубрики: artificial intelligence, computer vision, machine learning, natural language processing, neural networks, ods, optical character recognition (ocr), python, искусственный интеллект, машинное обучение, обработка изображений, Сбер, соревнованияВсем добрейшего дня! Совсем недавно закончилось ежегодное международное соревнование AI Contest, организатором которого является Сбер вместе с российскими и зарубежными партнёрами в рамках конференции Artificial Intelligence Journey. Задачи этого года: Digital Петр: распознавание рукописей Петра I, NoFloodWithAI: паводки на реке Амур и AI 4 Humanities: ruGPT-3Читать полностью »
Анонс: как дата-саентисты в ВК делают рекламу эффективной
2020-12-27 в 9:43, admin, рубрики: big data, data engineering, machine learning, ml, ruvds_прямые эфиры, Блог компании RUVDS.com, машинное обучение, реклама в вк, рекламный аукционЗавтра, 28 декабря в 20:00 у нас выступает Артем Попов — тимлид команды VK Performance Advertising.
Артем руководит командой, которая занимается задачами, связанными с Data Science в рекламе. Их задача делать рекламу в ВК эффективнее и выгодней.
Все члены команды, занимающиеся машинным обучением погружены как в инженерную часть, так и в продукт – культура разработки в ВК исторически развивалась таким образом, что разработчики занимаются продуктом от начала до конца, начиная постановкой задачи, заканчивая всем этапа разработки и жизни продукта в продакшене.
Артем расскажет про интересные задачи для дата-саентистов в мире рекламы.