13 марта на официальном YouTube канале Евровидения была выложена композиция группы Little Big, которая будет представлять Россию на конкурсе. Посмотрев клип, захотелось сравнивать статистику видео нашей группы, с видео других участников; какие ролики самые просматриваемые, у кого самый большой процент лайков, кого чаще всего комментируют. Гугление готовой статистики ни к чему не привело. Поэтому было решено самому собрать нужную статистику.
Читать полностью »
Рубрика «анализ данных» - 7
Анализ популярности YouTube видео участников Евровидения 2020
2020-03-14 в 11:23, admin, рубрики: data mining, R, youtube api, анализ данных, визуализация данных, евровидениеКак мы находим неочевидные ошибки в интерфейсах онлайн-заданий для детей
2020-03-02 в 8:29, admin, рубрики: data engineering, usability, ux/ui, анализ данных, Блог компании Учи.ру, интерфейсыКаждый новый урок на платформе — это плод совместного труда методистов, дизайнеров, иллюстраторов, программистов и тестировщиков. Новые задания обычно проходят тестирование в школах, где методисты могут пронаблюдать, насколько они понятны ученикам, собрать отзывы и обратную связь. Но некоторые проблемы на малых выборках могут остаться незамеченными. И здесь приходит на помощь изучение детальных действий учеников — куда кликнули, какие числа ввели, какой ответ выбрали. Действия детей внутри задач дают ценную информацию, которая позволяет совершенствовать нашу платформу, чтобы сделать обучение более удобным и понятным. Доработки могут касаться как интерфейса заданий, так и формулировок объяснений и вопросов.
Введение в архитектурный фреймворк для анализа данных Lena
2020-02-29 в 17:23, admin, рубрики: open source, python, анализ данных, архитектура, Программирование, фреймворкиПривет! Я расскажу об архитектурном фреймворке, который я разрабатываю.
Архитектура определяет наиболее общее устройство программы и взаимодействие её компонентов. Lena как фреймворк реализует конкретную архитектуру для анализа данных (подробнее о ней ниже) и предоставляет пользователю классы и функции, которые могут быть при этом полезны (с учётом данной архитектуры).
Lena написана на популярном языке Python и работает с версиями Python 2, 3 и PyPy. Она опубликована под свободной лицензией Apache (версия 2) здесь. В данный момент она ещё разрабатывается, однако описываемое в данном руководстве уже используется, тестировано (общее покрытие всего фреймворка около 90%) и вряд ли будет изменено. Lena возникла при анализе данных экспериментов в физике нейтрино и названа в честь великой сибирской реки.
Анализ половозрастной пирамиды России с 1946 по 2036 гг
2020-01-28 в 14:45, admin, рубрики: анализ данных, визуализация данных, Инфографика, Научно-популярное, половозрастная пирамида, Россия, Статистика в ITКак изменилась структура российского (постсоветского) общества с середины XX века. Спойлер: она изменилась кардинально.
Поделиться моими исследованиями половозрастной пирамиды России с общественностью посоветовали мои знакомые и друзья. Некоторые из них утверждают, что в исследованиях есть научная ценность. Хотя я не демограф, а просто любопытный программист.
Читать полностью »
Tableau в рознице, реально?
2020-01-13 в 11:52, admin, рубрики: big data, tableau, анализ данных, аналитика, Блог компании М.Видео-Эльдорадо, визуализация данных, Исследования и прогнозы в IT, Статистика в ITВремя отчётности в Excel стремительно уходит — тренд на удобные инструменты представления и анализа информации виден во всех сферах. Мы давно обсуждали внутри цифровизацию построения отчётности и выбрали систему визуализации и self-service аналитики Tableau. Александр Безуглый, руководитель отдела аналитических решений и отчётности Группы «М.Видео-Эльдорадо», рассказал об опыте и итогах построения боевого дашборда.
Скажу сразу, не все, что было задумано, удалось реализовать, но опыт был интересный, надеюсь, он будет полезен и вам. А если у кого-то возникнут идеи, как можно было сделать лучше – буду очень признателен за советы и идеи.
Под катом о том, с чем мы столкнулись и о чем узнали.
Читать полностью »
От Hadoop до Cassandra: 5 лучших инструментов для работы с Big Data
2019-12-19 в 12:11, admin, рубрики: analytics, big data, big data analytics, BigData, cassandra, data base, data mining, elasticsearch, presto, Talend, анализ данных, аналитические системы, Блог компании Plarium, визуализация данных, инструменты, инструменты анализа данных, обработка данных, работа с данными, сбор данныхПеред вами перевод статьи из блога Seattle Data Guy. В ней авторы выделили 5 наиболее популярных ресурсов для обработки Big Data на текущий момент.
Сегодня любая компания, независимо от ее размера и местоположения, так или иначе имеет дело с данными. Использование информации в качестве ценного ресурса, в свою очередь, подразумевает применение специальных инструментов для анализа ключевых показателей деятельности компании. Спрос на аналитику растет пропорционально ее значимости, и уже сейчас можно определить мировые тенденции и перспективы в этом секторе. Согласно мнению International Data Corporation, в 2019 году рынок Big Data и аналитики готов перешагнуть порог в 189,1 миллиарда долларов.Читать полностью »
Задача №1. Узнайте пол и степень родства
2019-12-18 в 12:38, admin, рубрики: анализ данных, биоинформатика, биоинформатические алгоритмы, Биотехнологии, Блог компании «Атлас», генетика, генетика человека, гены, задачи для программистов, Здоровье гика, Научно-популярноеВ предыдущей подробной статье про Полный геном мы обещали опубликовать три задачи и подарить тест тому, кто первым решит все три правильно. Заодно в этих задачах мы даем примеры, как можно работать с генетическими данными. Сегодня публикуем первую.
Анализ данных блокчейн-голосования 2019 года в Московскую Городскую Думу
2019-12-15 в 11:14, admin, рубрики: .net, анализ данных, Анализ и проектирование систем, блокчейн, выборы, голосование, ДИТ Москвы, информационная безопасностьАнализ данных блокчейн-голосования 2019 года в Московскую Городскую Думу
Мне посчастливилось участвовать в написании доклада, посвященного блокчейн-голосованию в МГД 2019 года в составе команды Романа Юнемана, и в этой статье я подробно расскажу о части связанной с анализом данных.
Несколько слов об исходных данных. Изначально ко мне в руки попал файл выгрузки из блокчейна. Уже потом, когда я сделал первичный анализ, я вышел на контакт с командой Романа Юнемана, в моём распоряжении оказались свидетельские показания наблюдателей, которые присутствовали на "избирательном участке" и фотографировали мониторы с данными о ходе голосования.
Как дата-сайентист машину покупал
2019-12-02 в 10:30, admin, рубрики: python, анализ данных, Блог компании RUVDS.comПосле многих лет жизни и работы в Нидерландах мне с семьёй пришло время возвращаться в Штаты и менять велосипеды на автомобили.
В Америке очень сложно жить без машины, и, так как мы наши машины продали перед переездом, теперь нам надо было купить новое семейное средство передвижения. Я решил подойти к решению этой задачи так, как подошёл бы любой хороший специалист по обработке и анализу данных. Я решил воспользоваться данными.
Читать полностью »
Множественные эксперименты: теория и практика
2019-11-27 в 7:21, admin, рубрики: a/b testing, big data, Bootstrap, анализ данных, аналитика, Аналитика мобильных приложений, Блог компании Яндекс, математика, продуктовая аналитика, Статистика в ITВ современном мире сложно представить развитие продукта без A/B-тестирования. Чтобы успешно запустить продукт или новую функциональность — надо грамотно спроектировать A/B, рассчитать и интерпретировать его результаты. Иногда нам требуется тестирование более чем для двух групп. В этой статье мы рассмотрим как раз такой случай — множественное тестирование:
- поговорим о том, когда и зачем следует проводить множественные тесты;
- рассмотрим основные методы расчёта результатов тестов и математические принципы, на которых основаны методы;
- приведём примеры программной реализации методов; эти примеры вы сможете использовать в своих проектах.
Итак, приступим.
