В 2021 году Центризбирком РФ обфусцировал статистические данные выборов на своем сайте. Несколько дней назад я сделал и выложил в комментариях к новости на хабре деобфускатор, чтобы помочь исследователям обнаружить статистические аномалии в результатах. Сегодня взял день отпуска, написать этот пост и поделиться очищенными данными в формате sqlite по по федеральному избирательному округу, которыми поделился @illusionofchaosв посте Получаем данные результатов выборов с сайта Центризбиркома РФ
Рубрика «открытые данные» - 3
Данные выборов получили, теперь деобфусцируем и очищаем
2021-09-22 в 23:55, admin, рубрики: выборы, выборы в госдуму, деобфускация, открытые данные, Статистика в ITПолучаем данные результатов выборов с сайта Центризбиркома РФ
2021-09-22 в 14:32, admin, рубрики: captcha, crawling, swift, выборы, деобфускация, открытые данные, Разработка веб-сайтов, реверс-инжиниринг, результаты выборов, Статистика в IT, Центризбирком, ЦИК
Прочитав новостьЧитать полностью »
Как спарсить любой сайт?
2021-09-22 в 10:40, admin, рубрики: BeautifulSoup4, big data, data mining, headlessbrowser, javascript, linkedin, Puppeteer, scrapy, selenium, selenoid, открытые данные, парсинг, Тестирование веб-сервисов
Меня зовут Даниил Охлопков, и я расскажу про свой подход к написанию скриптов, извлекающих данные из интернета: с чего начать, куда смотреть и что использовать.
Написав тонну парсеров, я придумал алгоритм действий, который не только минимизирует затраченное время на разработку, но и увеличивает их живучесть, робастность, масштабируемость.
TL;DR
В шоке от цен на авиабилеты по России: как летать дешевле
2021-08-16 в 4:11, admin, рубрики: diy или сделай сам, pandas, python, визуализация данных, дешевые авиабилеты, лоукостер, открытые данныеВы продаете билетов на самолеты? - Нет, только показываю. - Красивое…
Люди делятся на два типа: одни летают за тысячу рублей из Питера во Владивосток, другие сутками скрупулезно высчитывают маршруты через Казахстан, отказываются от багажа, соглашаются на микро-кресла и в итоге все равно получают космический ценник.
Почему так происходит, как формируются цены на авиабилеты и как в итоге покупать их дешевле — рассказываю под катом.
OrganicMaps — релиз форка Maps.me с открытым кодом
2021-06-18 в 20:42, admin, рубрики: maps.me, open source, OpenStreetMap, открытые данные
На днях состоялся первый релиз OrganicMaps — open-source форка Maps.me, который команда добровольцев готовила больше чем полгода. В этой небольшой заметке мне бы хотелось поделиться краткой историей проекта, за которой я следил в Telegram-чатах и на GitHub и обозначить основные отличия форка от текущей версии Maps.me. Если вы являетесь текущим или бывшим пользователем Maps.me или интересуетесь проектами с открытым кодом с фокусом на приватности без рекламы и сбора данных, то добро пожаловать.
Что происходит с молодежной наукой в России?
2021-02-12 в 21:12, admin, рубрики: Анализ и проектирование систем, молодые специалисты, наука, наука в россии, открытые данные, Управление сообществомВ этой статье я хотел бы проанализировать основные проблемы молодежной науки в России. Я выделил следующие:
-
слабая связность системы высшего образования при низком уровне гибкости
-
отсутствие науки как таковой в провинциальных ВУЗах
-
плохое техническое оснащение
-
проблемное и недостаточное финансирование
-
преобладание государственного финансирования
-
избыток “научных сотрудников”, ригидность мышления профессоров и низкое качество публикаций
-
слабая обратная связь
На фондовом рынке США сформировался пузырь небывалых размеров
2021-02-05 в 15:03, admin, рубрики: открытые данныеОценки напрочь оторвались от фундаментального анализа, мультипликаторы находятся на исторических максимумах, скорость эмиссии ценных бумаг зашкаливает — и всё это сопровождается безумно спекулятивным поведением инвесторов. Большой кризис неизбежен.
Начать своё повествование я хочу с, казалось бы, очевидного, но сегодня далеко не все осознают, для чего появились акции. Итак, акция — это доля в компании. Зачем нужна доля в компании? Для того, чтобы иметь часть её прибыли. Именно поэтому реальная ценность акции обусловлена текущей и будущей прибылью компании-эмитента, которая передаётся акционеру в форме дивидендов.
6 принципов эффективной визуализации данных
2021-01-03 в 16:19, admin, рубрики: big data, skillfactory, Блог компании SkillFactory, визуализация, визуализация данных, данные, Инфографика, Лайфхаки для гиков, открытые данныеКлючевые принципы создания полезных и информативных графиков
Визуализация данных является важным этапом в процессе постижения науки о данных. Здесь вы представляете свои результаты и сообщаете о них в графическом формате, который является интуитивно понятным и лёгким для понимания.
Визуализация данных требует большой работы, большой труд по очистке и анализу уходит на перегонку и превращение грязных данных в красивые графики и диаграммы. Но даже с подготовленными данными всё равно приходится придерживаться определённых принципов или методологий, чтобы создать полезную, информативную графику.
Тем не менее при написании этой статьи я черпал вдохновение в книге Эдварда Тафта «Beautiful Evidence», которая содержит шесть принципов, посвящённых тому, как сделать графики данных полезными. Именно эти принципы отделяют полезные графики от бесполезных.
Эта статья также в значительной степени вдохновлена книгой Роджера Д. Пенга «Exploratory Data Analysis in R» Она доступна бесплатно на Bookdown, и вы можете прочитать её, чтобы узнать больше о EDA.
Давайте ближе познакомимся с этими принципами.
Пример визуализации данных на Our World in Data
Читать полностью »
Ноль смертей: как выжить в ДТП
2020-10-13 в 11:33, admin, рубрики: vision zero, аварии, Геоинформационные сервисы, Гибдд, ДТП, карта, карта дтп, краудсорсинг, краудфандинг, ноль смертей, открытые данные, Статистика в IT, Урбанизм
В прошлом году проект “Карта ДТП” опубликовал исходные кодыЧитать полностью »
Водоросли, танкер и шторм против Камчатки
2020-10-12 в 6:19, admin, рубрики: Геоинформационные сервисы, ДЗЗ, дистанционное зондирование земли, камчатка, космонавтика, Научно-популярное, океан, открытые данные, экология
Проясняется ситуация с отравлением Халактырского пляжа и бухты Авачинской на Камчатке. После переполоха поднятого в соцсетях туда приехали все службы и ученые какие только смогли, и провели бесконечное количество анализов. Оперативная информация выкладывается в официальном телеграм-канале. До конца все причины и факторы не определены, но пока однозначно, что никаких пестицидов или ракетного топлива ни откуда не утекло. А причины гибели морских организмов имеют скорее всего естественный характер. Одну утечку нефтепродуктов на проходящем судне тоже смогли рассмотреть, но вряд ли она причастна к морскому геноциду. И космос оказал в этом расследовании неоценимую помощь.
Читать полностью »