Бывший главный редактор «Дождя» и сайта РБК Роман Баданин запускает новое некоммерческое медиа «Проект» на сайте proekt.media, пишут «Ведомости» со ссылкой на Баданина. По его словам, компания будет заниматься «сложными журналистскими жанрами» — расследованиями, репортажами,Читать полностью »
Рубрика «big data» - 49
Бывший главред «Дождя» и сайта РБК запускает медиа на основе больших данных
2018-07-25 в 16:23, admin, рубрики: big data, Дождь, запуск, Медиа, онлайн-медиа, РБК, Роман Баданин, Текучка, метки: big data, Дождь, запуск, медиа, Онлайн-медиа, РБК, Роман Баданин, ТекучкаПамятки по искусственному интеллекту, машинному обучению, глубокому обучению и большим данным
2018-07-24 в 8:06, admin, рубрики: big data, Блог компании NIX Solutions, Большие данные, искусственный интеллект, машинное обучение, нейросеть, памятка, подсказка
В течение нескольких месяцев мы собирали памятки по искусственному интеллекту, которыми периодически делились с друзьями и коллегами. В последнее время сложилась целая коллекция, и мы добавили к памяткам описания и/или цитаты, чтобы было интереснее читать. А в конце вас ждёт подборка по сложности «О большое» (Big-O). Наслаждайтесь.
Читать полностью »
Зачем вам нужен Splunk? Аналитика работы приложений
2018-07-23 в 11:51, admin, рубрики: analytics, application, big data, splunk, Аналитика мобильных приложений, Блог компании TS Solution
Почему мобильное приложение вышло из строя? Можем ли мы выявить проблемы с приложениями до того, как с этим столкнутся конечные пользователи? Является ли последняя версия приложения лучше или хуже, чем предыдущие? В этой статье мы расскажем, как вам может помочь Splunk в поиске ответов на эти вопросы.
Читать полностью »
Машинное обучение против кредитных рисков, или «давай, Джини, давай»
2018-07-23 в 9:44, admin, рубрики: big data, Hadoop, Блог компании ВТБ, машинное обучение, финтехБанк — это по определению «кредитно-денежная организация», и от того, насколько успешно эта организация выдает и возвращает кредиты, зависит ее будущее. Чтобы успешно работать с кредитами, нужно понимать финансовое положение заемщиков, в чем помогают факторы кредитного риска (ФКР). Кредитные аналитики выявляют их в огромных массивах банковской информации, обрабатывают эти факторы и прогнозируют дальнейшие изменения. Обычно для этого используется описательная и диагностическая аналитика, но мы решили подключить к работе инструменты машинного обучения. О том, что получилось, читайте в посте.
Личный опыт: Data Engineering на Upwork
2018-07-20 в 22:33, admin, рубрики: big data, data engineering, data science, Upwork, карьера, Карьера в IT-индустрии, машинное обучение, фрилансЯ много лет работал Data Engineer'ом и Data Scientist'ом, решал сложные бизнес-кейсы, строил большие системы, выводил это все в продакшен. В начале 2017го я бросил пить, курить и работать в офисе и ушел фрилансить, экспериментировать с альтернативными формами занятости. Довольно много времени я провел на Upwork. Судя по многочисленным комментариям, уважаемая аудитория не до конца представляет себе, что это такое. Вещаю.
Upwork это крупнейшая в мире биржа фриланса. Дата сатанисты и дата инженеры мало кому в этом мире нужны (по сравнению с переводчиками, веб-мастерами и переписывателями текстов), так что задач для нас относительно мало, так что они тяготеют к крупнейшей бирже в мире. Других фриланс-бирж с постоянным потоком задач для дата саентистов в мире нет — ни Guru, ни Toptal, ни отечественный fl.ru спросом похвастаться не могут. Что важно — для специалистов более массовых специальностей опыт фриланса может сильно отличаться.Читать полностью »
4 года Data Science в Schibsted Media Group
2018-07-18 в 8:28, admin, рубрики: big data, data mining, data science, data scientist, okr, аналитика, карьера, машинное обучение, менеджер продуктов, причинно-следственные связи, причинность, прогнозирование, сложность, управление данными, управление командой, управление персоналом, Управление продуктом
В 2014-м году я присоединился к небольшой команде в Schibsted Media Group в качестве 6-го специалиста по Data Science в этой компании. С тех пор я поработал над многими начинаниями в области Data Science в организации, в которой теперь таких уже 40 с лишним человек. В этом посте я расскажу о некоторых вещах, о которых узнал за последние четыре года, сперва как специалист, а затем как менеджер Data Science.
Этот пост следует примеру Robert Chang и его отличной статьи «Doing Data Science in Twitter», которую я нашел очень ценной, когда впервые прочитал ее в 2015-м году. Цель моего собственного вклада ― поведать настолько же полезные мысли специалистам и менеджерам Data Science по всему миру.
Я поделил пост на две части:
- Часть I: Data Science в реальной жизни
- Часть II: Управление командой Data Science
Капсульные нейронные сети
2018-07-15 в 7:23, admin, рубрики: big data, алгоритм динамической маршрутизации, Алгоритмы, искусственный интеллект, Капсульные сети, математика, машинное обучение, нейронные сетиВ 2017 году Джеффри Хинтон (один из основоположников подхода обратного распространения ошибки) опубликовал статью, в которой описал капсульные нейронные сети и предложил алгоритм динамической маршрутизации между капсулами для обучения предложенной архитектуры.
У классических свёрточных нейронных сетей есть недостатки. Внутреннее представление данных сверточной нейронной сети не учитывает пространственные иерархии между простыми и сложными объектами. Так, если на изображении в случайном порядке изображены глаза, нос и губы для свёрточной нейронной сети это явный признак наличия лица. А поворот объекта ухудшает качество распознавания, тогда, как человеческий мозг легко решает эту задачу.
Для свёрточной нейронной сети 2 изображения схожи [2]
Читать полностью »
Интеграция Spark Streaming и Kafka
2018-07-13 в 13:39, admin, рубрики: big data, java, spark streaming, Блог компании Издательский дом «Питер», высокая производительность, интеграция, потоковая обработка данныхЗдравствуйте, коллеги! Напоминаем, что не так давно у нас вышла книга о Spark, а прямо сейчас проходит последнюю корректуру книга о Kafka.
Надеемся, эти книги окажутся достаточно успешными для продолжения темы — например, для перевода и издания литературы по Spark Streaming. Перевод об интеграции этой технологии с Kafka мы и хотели вам сегодня предложить
Читать полностью »
Splunk How-to, или Как и где научиться Splunk
2018-07-13 в 12:35, admin, рубрики: big data, splunk, Блог компании TS Solution, информационная безопасность, обучение, системное администрирование
В этой статье мы хотим поделиться с вами полезными материалами и ресурсами, с помощью которых можно научиться работать в Splunk. Понятно, что самый лучший опыт — это участие в проектах и набивание собственных шишек на практике, но все таки теория тоже важна. В этой статье мы расскажем как и где лучше изучать Splunk.
Читать полностью »
С точностью до сотых: топ-10 докладов SmartData 2017
2018-07-13 в 11:59, admin, рубрики: big data, data mining, SmartData, Блог компании JUG.ru Group, доклады, конференция
Зрители конференции SmartData — люди, которые любят работать с данными. Надо полагать, что и оценки докладам после прошлогодней конференции они выставляли очень вдумчиво.
А теперь по этим оценкам мы составили топ-10 видеозаписей. И заодно, чтобы порадовать любителей данных, указали по каждому из десяти докладов все сопутствующие числа: место в топе, точный зрительский рейтинг, количество зрителей.
Вообще говоря, зачастую у соседних позиций в топе рейтинги различаются незначительно. Так что, пожалуй, не стоит придавать много значения «кто идёт за кем» — важнее, что все эти доклады получили высокие оценки. Но с другой стороны, как же это не придавать много внимания числам, когда это так увлекательно!
Читать полностью »