Рубрика «статистика» - 15

Хабр, привет. Представляю вам главную help-ссылку для работы с данными. Материал в Гугл-доке подойдет как профессионалам, так и тем, кто только учится работать с данными. Пользуйтесь и прокачивайте скиллы сами + делитесь с коллегами.

Дальнейшее описание поста — это содержание help-ссылки. Поэтому, можете сразу ознакомиться с документом. Либо начать с её содержания, которую прикрепляю ниже.

Конечно, весь список книг/сервисов/видео и лекций в файле неполный. Поэтому предлагаю сделать этот пост ценнейшим — добавляйте в комментарии свои самые полезные ссылки, самые крутые из них я добавлю к себе в файл.

imageЧитать полностью »

Решил поделиться, да бы и самому не забывать, как можно использовать простые статистические инструменты для анализа данных. В качестве примера использовался анонимный опрос относительно зарплат, стажа и позиций украинских программистов за 2014 и 2019 год. (1)

Этапы анализа

  • Препроцессинг данных и предварительный анализ (кому интересно код тут)
  • Графическое представление данных. Функция плотности распределения.
  • Формулируем нулевую гипотезу (H0) (2)
  • Выбираем метрику для анализа
  • Используем метод bootstraping для формирования нового массива данных
  • Рассчитываем p-value (3) для подтверждения или опровержения гипотезы

Препроцессинг данных

После некоторых манипуляций (код тут), приводим данные в следующий вид:

# Строка здесь это отдельный результат опроса, колонки переменные.

display(data_14_1.head(), data_19_1.head())
print('Всего опрошеных програмистов: n 
      {} чел. в 14 году и {} в 19 году'.format(len(data_14_1), len(data_19_1)))

Расчет нулевой гипотезы, на примере анализа зарплат украинских программистов - 1
Читать полностью »

image

Совсем скоро компания Vivaldi изменит технологию, с помощью которой ведётся подсчёт числа пользователей своего браузера. Идентификация пользователей, которая многим так не нравилась, постепенно уйдёт в прошлое. Но что придёт ей на замену и как теперь компания будет считать активных пользователей? Перевод статьи Vivaldi Technologies под катом.
Читать полностью »

Update: Переговорый Huawei ведёт со многими российскими компаниями, в том числе Mail.ru, Rambler и другими

Яндекс и Huawei обсуждают возможность предустановки приложений Яндекса на китайские телефоны, передали РИА Новости слова президента Huawei Mobile Services и вице-президента Huawei CBG Алекса Чанга.

Читать полностью »

Билайн, оператор связи и распространитель телесигнала в цифре, объявил о запуске ТВ-аналитики исходные данные для которой он собирает с полутора миллиона ТВ-приставок в 145 городах России, со смартфонов и Smart TV.

Для сравнения, в TV Index — основном проекте по измерению телевизионной аудитории компании «Читать полностью »

Правительство внесло в Думу законопроект «О едином федеральном информационном ресурсе, содержащем сведения о населении Российской Федерации». Документ реализует президентский указ 2016 года «О дополнительных мерах по укреплению платежной дисциплины». Оператором системы назначены налоговые органы России, ресурс поможет их контрольным функциям. Правительство надеется, что закон Читать полностью »

Оператор спутникового и интернет телевидения «Триколор» готовит запуск онлайн-кинотеатра в октябре 2019 года, выяснил «Коммерсант». Стать зрителем нового проекта смогут все желающие, а не только подписчики телевидения «Триколора». Их в июле у оператора было свыше 12 млн человек.

Сейчас «Триколор» за 299 рублей продаёт стартовый пакетЧитать полностью »

Билайн: россияне стали тратить гораздо больше денег на дорогие смартфоны - 1

Компания «Вымпелком» (бренд Билайн) рассказала о результатах анализа потребительского спроса на смартфоны стоимостью дороже 30 тысяч рублей. Данные анализировались за первое полугодие 2019 года. Информация, которую изучали специалисты, предоставила собственная розничная сеть компании.

Как оказалось, за указанный период времени продажи устройств стоимостью выше 30 тысяч рублей выросли на 50%. Максимальный рост продаж — в категории смартфонов ценой от 30 до 35 тысяч рублей, их популярность возросла в 6 раз. Выручка от продаж смартфонов в розничной сети Билайн увеличилась на 44% по сравнению с прошлым годом, а доля ее в общем объеме продаж составляет 80%.
Читать полностью »

Все мы участвовали в опросах, онлайн или в реальной жизни. А когда начинаем новый проект, то без опросов не обойтись. Но иногда есть результаты опросов, с которыми непонятно что делать, кроме как улыбнуться, ниже, на картинке, результат опроса Всероссийского центра изучения общественного мнения (ВЦИОМ).
Как сравнить: «изумительный авто» и «уродливый барак», в маркетинговом опросе и в больших данных - 1
Полюбопытствовал как сейчас используют вопросы с качественными оценками и обнаружил, что ВЦИОМ, ФОМ, Левада-Центр используют, в основном, трехдиапазонную шкалу (плохо/норма/хорошо). В случаях более детальных вопросов, шкала увеличивается до 5-6 единиц, но редко.
Как сравнить: «изумительный авто» и «уродливый барак», в маркетинговом опросе и в больших данных - 2
Тогда, на сегодняшний день, складывается ситуация, в которой социологи уходят от многоуровневой шкалы качественных оценок и стараются использовать трехуровневую. И если социология умеет из этого выворачиваться, то при анализе приличных объемов данных, необходимость использования качественных оценок становится усложняющим фактором и снижает надежность результатов. Так как разграничить, например, понятия: «прекрасная квартира» и «отличное жилье» практически невозможно, а с учетом ответа, одного из персонажей «Двенадцати стульев»: «Кому и кобыла невеста», многопересекаемость качеств выходит за разумные пределы.
Читать полностью »

Глава комитета Госдумы по экономической политике, промышленности, инновационному развитию и предпринимательству депутат от ЛДПР Сергей Жигарев внес в Госдуму законопроект в котором предложил штрафовать продавцов электроники: смартфонов, Smart TV и т. д.Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js