Ранее у нас в блоге уже был материал про лучших в Kaggle, а сегодня представляю вам интервью с признанным дата-сайентистом и гроссмейстером Kaggle Филиппом Сингером, который поделится своим опытом, вдохновением и и достижениями. Беседа призвана мотивировать и воодушевить других людей, которые хотят понять, что нужно, чтобы стать гроссмейстером Kaggle. Также в этом интервью мы узнаем больше об академическом прошлом Филиппа, его увлечении Kaggle и о его работе в качестве дата-сайентиста.
Рубрика «skillfactory» - 4
Дата-сайентист, который просто не может перестать выигрывать на Kaggle
2021-01-24 в 11:57, admin, рубрики: data science, kaggle, machine learning, skillfactory, Блог компании SkillFactory, интервью, машинное обучение, Программирование, соревнования, ХакатоныКак сделать Data Science приложение для Windows (и не только) с графическим интерфейсом с помощью PySimpleGUI
2021-01-23 в 11:39, admin, рубрики: artificial intelligence, big data, data science, machine learning, python, skillfactory, Блог компании SkillFactory, искусственный интеллект, машинное обучениеРаботать с Data Science в Jupyter, конечно, очень приятно, но если вы хотите пойти дальше и развернуть свой проект или модель на облачном сервере, то здесь есть много отличных решений — с помощью Flask, Django или Streamlit. Хотя облачные решения по-прежнему самые популярные, часто хочется создать быстрое приложение с графическим интерфейсом. Например:
- Модель ML тестируется на различных наборах данных. Вы можете перетащить файлы CSV в модель и отрисовать кривую AUS/ROC. Здесь GUI проявит себя прекрасно, правда?
- Построить случайную переменную или статистическое распределение в заданном диапазоне и динамически управлять параметрами с помощью графического интерфейса.
- Быстро запустить некоторые задачи обработки или предварительной обработки данных в наборе с помощью GUI вместо того, чтобы писать кучу кода.
В этой статье мы покажем, как создать такой графический интерфейс, потратив минимум усилий на изучение библиотеки Python.
Разрабатываем и развёртываем собственную платформу ИИ с Python и Django
2021-01-22 в 10:13, admin, рубрики: artificial intelligence, django, machine learning, python, skillfactory, Алгоритмы, Блог компании SkillFactory, джанго, искусственный интеллект, машинное обучение, ПитонВзлёт искусственного интеллекта привёл к популярности платформ машинного обучения MLaaS. Если ваша компания не собирается строить фреймворк и развёртывать свои собственные модели, есть шанс, что она использует некоторые платформы MLaaS, например H2O или KNIME. Многие исследователи данных, которые хотят сэкономить время, пользуются этими инструментами, чтобы быстро прототипировать и тестировать модели, а позже решают, будут ли их модели работать дальше.
Но не бойтесь всей этой инфраструктуры; чтобы понять эту статью, достаточно минимума знаний языка Python и фреймворка Django. Специально к старту нового потока курса по машинному обучению в этом посте покажем, как быстро создать собственную платформу ML, способную запускать самые популярные алгоритмы на лету.
Портрет Орнеллы Мути Джозефа Айерле (фрагмент), рассчитанный с помощью технологии искусственного интеллекта.
Читать полностью »
Как я готовился к собеседованию в Google
2021-01-21 в 14:20, admin, рубрики: Google, skillfactory, Блог компании SkillFactory, Карьера в IT-индустрии, карьера программиста, Лайфхаки для гиковКаждый инженер-программист стремится впечатлить людей своим техническим мастерством. Технологические гиганты этого мира — прекрасное место для работы технарей, которые могут предоставить услуги миллиардам пользователей. На моём недавнем собеседовании было несколько раундов, я получил предложения от Google и Amazon. В последние несколько лет онлайн-сообщество очень помогло мне в подготовке к собеседованиям. В этом посте я поделюсь всем о моём пути к собеседованию и верну вклад общества в моё обучение.
Почему вы никогда не должны соглашаться на собеседования с программированием
2021-01-20 в 10:13, admin, рубрики: skillfactory, Блог компании SkillFactory, Карьера в IT-индустрии, мозг, управление персоналом, Читальный залСобеседование инженера программиста сегодня часто включает в себя некий тест или упражнение на программирование, и я думаю, что это очень плохая вещь. Вот почему.
Строим надёжную конкурентность с FSP и моделированием процессов
2021-01-15 в 14:17, admin, рубрики: big data, data science, python, skillfactory, Блог компании SkillFactory, Программирование, разработка программного обеспеченияДелаем систему параллелизма надёжнее
Сегодня посмотрим как смоделировать программу с конкурентностью на FSP. Сначала давайте разберемся, зачем вообще нужна конкурентность. Вот что можно сделать с её помощью:
- Повысить производительность многопроцессорного железа, это и называется параллелизм;
- Увеличить пропускную способность приложения (вызову ввода-вывода нужно блокировать только один поток);
- Сделать приложение отзывчивее за счёт выполнения основных задач параллельно фоновым (высокоприоритетный поток для запросов пользователей);
- Структурировать программу, повысив её эффективность (взаимодействующие со средой программы управляют несколькими действиями и обрабатывают несколько событий).
Сгенерированная инструментом LTSA диаграмма состояний
Читать полностью »
Анимации градиентного спуска и ландшафта потерь нейронных сетей на Python
2021-01-10 в 10:13, admin, рубрики: machine learning, python, skillfactory, Блог компании SkillFactory, градиентный спуск, машинное обучение, нейронные сетиВо время изучения различных алгоритмов машинного обучения я наткнулся на ландшафт потерь нейронных сетей с их горными территориями, хребтами и долинами. Эти ландшафты потерь сильно отличались от выпуклых и гладких ландшафтов потерь, с которыми я столкнулся при использовании линейной и логистической регрессий. Здесь мы создадим ландшафты потерь нейронных сетей и анимированного градиентного спуска с помощью датасета MNIST.
Рисунок 1 — Ландшафт потерь свёрточной нейронной сети с 56 слоями (VGG-56, источник)
Читать полностью »
Как быть билингвом в Data Science
2021-01-09 в 16:19, admin, рубрики: big data, data engineering, data mining, data science, python, skillfactory, Блог компании SkillFactoryВ этой статье я хочу продемонстрировать R Markdown — удобную надстройку для программирования вашего проекта как на R, так и на Python, позволяющую программировать некоторые элементы вашего проекта на двух языках и управлять объектами, созданными на одном языке, с помощью другого языка. Это может быть полезно потому, что:
- Позволяет писать код на привычном языке, но при этом использовать функции, существующие только в другом языке.
- Позволяет напрямую сотрудничать с коллегой, который программирует на другом языке.
- Даёт возможность работать с двумя языками и со временем научиться свободно владеть ими.
Нейросети в большом городе. Разбираемся, как они помогают идентифицировать людей, и запускаем собственную нейросеть
2021-01-08 в 12:15, admin, рубрики: machine learning, python, skillfactory, Алгоритмы, Блог компании SkillFactory, видеонаблюдение, машинное обучение, нейросети, УрбанизмАлгоритмы по детекции лиц плотно вошли в нашу жизнь, хотя и не все это замечают. Началось всё в 2015 году со сферы развлечений. Стартап Looksery, занимающийся разработкой AR-фильтров, был куплен Snapchat. Приложение распознавало лицо человека на фотографии и накладывало на него весёлые рожицы. Чуть позже, в начале 2016 года, Facebook купил белорусский стартап MSQRD и запустил маски в Facebook Stories. Но это можно считать только обкаткой таких технологий.
В этой статье можно прочитать, как используются системы идентификации, узнать про слабые места компьютерных алгоритмов, а также попробовать запустить нейронную сеть по детекции и идентификации лиц на собственном компьютере.
Как НЕ сделать многопользовательскую игру в реальном времени за 30 дней
2021-01-08 в 9:12, admin, рубрики: flutter, skillfactory, Блог компании SkillFactory, игры, Программирование, разработка игр, управление разработкой, хакатонИли как добиться большего на следующем вашем хакатоне
Некоторое время назад я принимал участие в ежегодном игровом мероприятии Itch.io Game Off 2020, участники которого за ноябрь делали игру на определённую тему. Тема этого года, Moonshot, привела к созданию более 500 амбициозных, в основном космических, игр, которые вы можете увидеть здесь.
Услышав о мероприятии в октябре, я рассказал о нём своему брату и его жене, и мы решили объединиться в команду. Мы ни в коем случае не разработчики игр, но наши личные навыки хорошо дополняли друг друга. Жена брата, художник, сосредоточилась бы на создании ресурсов для игры. Тем временем мой брат, аниматор, ставший программистом, и я, программист, сконцентрировались на создании игры.
Как только стала известна тема, мы сразу же начали мозговой штурм, чтобы придумать идею, которая, в духе темы игрового соревнования, будет весёлой, амбициозной и желательно космической.
У нас было несколько идей, но одна заставила нас возбуждённо кивать во всеобщем согласии, это была идея игры Bad Asstronauts. Посыл игры была таким:
Bad Asstronauts — это динамичная многопользовательская мобильная игра, в которой игроки на вооружённых космических кораблях рыщут по космосу в поисках ценных ресурсов, накапливаемых кораблями на их родных планетах. Игроки всё время должны защищать свой тайник с ресурсами от уничтожения противниками.
Изначально выбранное для статьи название было таким: «Создание многопользовательской игры в реальном времени за 30 дней». Видя, как мы разрабатываем игру, я хотел поделиться с вами некоторым опытом, который мы извлекли за эти 30 дней, создавая игру в условиях ограниченного времени.