Росстат к 2023 году планирует запустить центральную аналитическую платформу «Население» стоимостью 719 млн руб, узнал «Коммерсант» из стратегии цифровой трансформации ведомства. Коммерческие компании смогут бесплатно выгружать из неё статистические данные и делать запросы по конкретной информации. Один из опрошенных изданием экспертов предположил, что бесплатной статистикой будут обогащать свои данные компании,Читать полностью »
Рубрика «big data» - 9
Росстат отдаст бизнесу «бигдату» о россиянах бесплатно, а налоговики запустят «подписку на данные»
2020-12-07 в 10:37, admin, рубрики: big data, Госвеб, Налоги / ФНС, Росстат, Текучка, метки: big data, Госвеб, Налоги / ФНС, Росстат, ТекучкаЗаметки Датасатаниста: что делать, если перед вами оказалась NP-полная задача
2020-11-25 в 13:15, admin, рубрики: big data, data mining, data science, fairness, machine learning, ruvds_статьи, анализ данных, Блог компании RUVDS.com, машинное обучение, честность
Наверное, каждый сталкивался с тем, что приходилось столкнуться с какой-то сложной задачей, решение к которой не удавалось подобрать не то что сразу — а даже после долгих упорных часов работы или дней. Об одном из классов таких задач — NP-полных, мы сегодня и поговорим.
А вообще реально ли встретить такие задачи в обычной жизни? На самом деле, они возникают в огромном ряде случаев: комбинаторика, графы и сети, выполнение логических формул, работа с картами, оптимальные загрузки, отображения, задачи дискретной оптимизации, нахождение самых длинных последовательностей, поиск равных сумм и многие задачи на множества! И это далеко не полный список.
Под катом неформальный гайд — как понять, что перед вам может быть NP задача и что делать, если это именно она и оказалась. Сегодня мы атакуем этот вопрос с практической стороны.
Читать полностью »
Статистику Mos.ru развернут в полноценную систему анализа москвичей
2020-11-24 в 14:57, admin, рубрики: big data, Госвеб, госзакупки, ДИТ Москвы, Москва, Текучка, метки: big data, Госвеб, госзакупки, ДИТ Москвы, Москва, ТекучкаДИТ Москвы разместил на портале госзакупок материалы по «развитию информационной системы мониторинга и анализа интернет активности пользователей в 2020—2021 гг.». Развивать надо будет, как отметили «Открытые Медиа», информационную систему «Читать полностью »
Дифференциальная приватность — анализ данных с сохранением конфиденциальности (введение в серию)
2020-11-06 в 8:22, admin, рубрики: big data, data engineering, differential privacy, Блог компании ДомКлик, информационная безопасность
Ваша компания хочет собирать и анализировать данные для изучения тенденций, но при этом не жертвуя конфиденциальностью? Или, возможно, вы уже пользуетесь различными инструментами для её сохранения и хотите углубить ваши знания или поделиться опытом? В любом случае, этот материал для вас.
Что нас побудило начать эту серию статей? В прошлом году NIST (Национальный институт стандартов и технологий США, прим. пер.) запустил Privacy Engineering Collaboration Space — площадку для сотрудничества, на которой собраны open source-инструменты, а также решения и описания процессов, необходимых для проектирования конфиденциальности систем и риск-менеджмента. Как модераторы этого пространства, мы помогаем NIST собирать имеющиеся инструменты дифференциальной приватности в области анонимизации. NIST также опубликовал работу «Privacy Framework: A Tool for Improving Privacy through Enterprise Risk Management» и план действий, описывающий ряд проблемных вопросов, связанных с приватностью данных, в том числе и анонимизацией. Сейчас мы хотим помочь Collaboration Space достичь поставленных в плане целей по анонимизации (де-идентификации). А в конечном счете — помочь NIST развить эту серию публикаций в более глубокое руководство по дифференциальной приватности.
Читать полностью »
Как мы искали неработающие датчики на «УРАЛХИМЕ» (первый проект Data Lake)
2020-11-05 в 11:24, admin, рубрики: big data, data lake, Блог компании КРОК, датчики, сбор данных, хранение данных, хранилища данных
«УРАЛХИМ» делает удобрения. № 1 в России — по производству аммиачной селитры, например, входит в топ-3 отечественных производителей аммиака, карбамида, азотных удобрений. Выпускаются серные кислоты, двух-трёхкомпонентные удобрения, фосфаты и многое другое. Это всё создаёт агрессивные среды, в которых выходят из строя датчики.
Мы строили Data Lake и заодно охотились на те датчики, которые замерзают, выходят из строя, начинают давать ложные данные и вообще ведут себя не так, как должны себя вести источники информации. А «фишка» в том, что невозможно строить матмодели и цифровые двойники на базе «плохих» данных: они просто не будут правильно решать задачу и давать бизнес-эффект.
Но современным производствам нужны Data Lake'и для дата-сайентистов. В 95 % случаев «сырые» данные никак не собираются, а учитываются только агрегаты в АСУТП, которые хранятся два месяца и сохраняются точки «изменения динамики» показателя, которые вычисляются специально заложенным алгоритмом, что для дата-сайентистов снижает качество данных, т. к., возможно, может пропустить «всплески» показателя… Собственно, примерно так и было на «УРАЛХИМЕ». Нужно было создать хранилище производственных данных, подцепиться к источникам в цехах и в MES/ERP-системах. В первую очередь это нужно для того, чтобы начать собирать историю для дата-сайенса. Во вторую очередь — чтобы дата-сайентисты имели площадку для своих расчётов и песочницу для проверки гипотез, а не нагружали ту же самую, где крутится АСУ ТП. Дата-сайентисты пробовали сделать анализ имеющихся данных, но этого не хватило. Данные хранились прореженные, с потерями, часто неконсистентные с датчиком. Взять датасет быстро не было возможности, и работать с ним тоже было особо негде.
Теперь вернёмся к тому, что делать, если датчик «гонит».
Читать полностью »
Python-пакеты для Data Science
2020-11-04 в 15:51, admin, рубрики: big data, data science, python, Блог компании RUVDS.com, Программирование, разработкаPython — это один из самых распространённых языков программирования. Хотя стандартные возможности Python достаточно скромны, существует огромное количество пакетов, которые позволяют решать с помощью этого языка самые разные задачи. Пожалуй, именно поэтому Python и пользуется такой популярностью среди программистов. Можно наугад назвать какую-нибудь сферу деятельности и в экосистеме Python, почти гарантированно, найдутся отличные инструменты для решения специфических задач из этой сферы. В наше время весьма востребованы наука о данных (Data Science, DS) и машинное обучение (Machine Learning, ML). И там и там Python показывает себя наилучшим образом.
Помимо Python в DS-проектах часто используют язык программирования R. R быстрее Python и имеет больше статистических и вычислительных библиотек. Но в этом материале мы будем говорить исключительно о библиотеках (пакетах) для Python, о которых стоит знать каждому, кто хочет добраться до профессиональных вершин Data Science.
Прежде чем переходить к обзору библиотек, остановимся на том, что это такое — «наука о данных», и на том, почему в этой сфере стоит пользоваться языком Python.
Читать полностью »
Бизнес готов заплатить государству за доступ к большим данным россиян
2020-10-21 в 12:54, admin, рубрики: big data, Госвеб, госуслуги, Текучка, метки: big data, Госвеб, госуслуги, ТекучкаАссоциация больших данных обратилась к правительству с просьбой «облегчить доступ бизнеса к государственным информационным системам, информационным ресурсам и реестрам». В Ассоциацию входят, кроме прочих, «Яндекс», Mail.Ru Group, Сбербанк, Тинькофф-банк, МТС, Читать полностью »
Магия Ensemble Learning
2020-10-17 в 9:49, admin, рубрики: big data, data engineering, data science, Ensemble Learning, kaggle, machine learning, Portfolio Diversification, Блог компании OTUS. Онлайн-образованиеПривет! Приглашаем Data Engineer'ов и специалистов по Machine Learning на бесплатный Demo-урок «Вывод ML моделей в промышленную среду на примере онлайн-рекомендаций». А также мы публикуем статью Luca Monno — Head of Financial Analytics at CDP SpA.
Одним из наиболее полезных и простых методов машинного обучения является Ensemble Learning. Ensemble Learning – это метод, лежащий в основе XGBoost, Бэггинга, Случайного Леса и многих других алгоритмов.
На Towards Data Science есть много классных статей, но я выбрал две истории (первая и Читать полностью »
Написать книгу: стоит ли игра свеч?.. От автора книги «Высоконагруженные приложения»
2020-10-10 в 11:35, admin, рубрики: big data, data-intensive, архитектура, Блог компании Издательский дом «Питер», книги, обучение, Программирование, Профессиональная литература, роялти, хранилища данныхПривет!
Сложно переоценить успех книги "Designing Data-Intensive Applications" которая вышла в русском переводе и неизменно допечатывается у нас под названием "Высоконагруженные приложения"
Не так давно автор разместил в своем блоге честный и подробный пост о том, как ему далась работа над этой книгой, сколько она позволила заработать, и чем кроме денег измеряется польза авторского труда. Публикация обязательна к прочтению для всех, кто хоть раз задумывался стать литературной суперзвездой нашим автором, но до сих пор не определился, а стоит ли браться за столь амбициозный проект.
Читаем с удовольствием!
Читать полностью »
Переезжаем на ClickHouse: 3 года спустя
2020-09-29 в 14:37, admin, рубрики: big data, clickhouse, highload, sql, Администрирование баз данных, базы данных, Блог компании Конференции Олега Бунина (Онтико), высоконагруженные проекты, системное администрирование, СУБДТри года назад Виктор Тарнавский и Алексей Миловидов из Яндекса на сцене HighLoad++ рассказывали, какой ClickHouse хороший, и как он не тормозит. А на соседней сцене был Александр Зайцев с докладом о переезде на ClickHouse с другой аналитической СУБД и с выводом, что ClickHouse, конечно, хороший, но не очень удобный. Когда в 2016 году компания LifeStreet, в которой тогда работал Александр, переводила мультипетабайтовую аналитическую систему на ClickHouse, это была увлекательная «дорога из желтого кирпича», полная неведомых опасностей — ClickHouse тогда напоминал минное поле.
Три года спустя ClickHouse стал гораздо лучше — за это время Александр основал компанию Altinity, которая не только помогает переезжать на ClickHouse десяткам проектов, но и совершенствует сам продукт вместе с коллегами из Яндекса. Сейчас ClickHouse все еще не беззаботная прогулка, но уже и не минное поле.
Александр занимается распределенными системами с 2003 года, разрабатывал крупные проекты на MySQL, Oracle и Vertica. На прошедшей HighLoad++ 2019 Александр, один из пионеров использования ClickHouse, рассказал, что сейчас из себя представляет эта СУБД. Мы узнаем про основные особенности ClickHouse: чем он отличается от других систем и в каких случаях его эффективнее использовать. На примерах рассмотрим свежие и проверенные проектами практики по построению систем на ClickHouse.