Рубрика «открытые данные» - 29

Для тех кто интересуется открытыми данными, тем что это такое и как с ними работать в этом посте собраны ссылки на открытые данные по России.

Федеральная власть

Регионы и муниципалитеты

Общественные проекты и блоги

Журналистика данных

Читать полностью »

Ранее я писал в паре постов о том как устроена открытость электронных петиций в разных странах, какие данные есть в России и как можно сделать APO для небезызвестной Российской общественной инициативы — www.roi.ru.

Прочитать всё это можно здесь:

В этот раз мы рассмотрим то как устроены электронные петиции Белого Дома, в первую очередь, с точки зрения их открытости и пригодности к данных для использования.

API для Российской общественной инициативы. Шаг 2.2: опыт США в работе с данными электронных петиций — API Белого Дома

Справка

Особенности петиций в США

  1. Относятся именно к президенту и ответы дает его администрация.
  2. Не требуют ничего кроме email'а для подписи — дополнительная авторизация ненужна.
  3. Петиции должны пройти 2 порога — 150 подписей за 30 дней чтобы их можно было найти (по прямой ссылке они доступны) и 100 000 подписей за 30 дней чтобы получить официальный ответ — petitions.whitehouse.gov/how-why/terms-participation

В цифрах

  • всего 2246 петиций
  • даны ответы на 208 петиций
  • в ожидании ответа 26 петиций
  • закрыто 1972 петиций
  • открыто для голосования 40 петиций

Цифры учитывают только те петиции что прошли 1-й порог в 150 подписей за 30 дней.

WhiteHouse.gov/developers

Одно из важных отличий сайта Белого Дома США от сайтов всех лидеров в мире — это ориентированность на разработчиков. На сайте даже есть специальный раздел /Developers где размещены данные, раскрыт исходный код проектов и описаны API многих из инициатив если не всех вообще.

Открытый код

Поскольку нас интересуют в первую очередь петиции, то рассмотрим их подробнее.

Во первых исходный код петиций полностью опубликован на Github — https://github.com/WhiteHouse/petitions

У репозитория больше 15 контрибьюторов, несколько десятков багов и вопросов и мы можем говорить о том что разработка проекта идет открытым образом.

Открытое API

Другая сторона происходящего в том для разработчиков доступен не только исходный код, но и API и данные накопленные на сервисе.
Все API по петициям доступны по ссылке — https://petitions.whitehouse.gov/developers

API доступа к данным состоит из 3-х эндпоинтов:
Читать полностью »

Когда пишешь о лучших и худших примерах публикации открытых данных очень сложно не превратить эту рубрику в кунсткамеру и не показать насколько странно иной раз происходит публикация данных и что может скрываться за данными на самом деле.

Случай который я опишу в этот раз не то чтобы уникальный, но редкий.
Речь пойдет об открытых данных, не много не мало, а Федеральной службы по оборонному заказу (сайт — www.fsoz.gov.ru).

На сайте этой службы совсем недавно появился раздел "Открытые данные" где собственно открытые данные в машиночитаемом формате и публикуются.
Размещено там немного не мало, а 15 наборов данных.

Ссылки на них есть на сайте, а я приведу полный список.
Читать полностью »

Ранее в посте на Хабре я писал про самый первый шаг для создания API для РОИ — выгрузка имеющихся данных с помощью парсера.
API для Российской общественной инициативы. Шаг 1: сбор и анализ данных

Но шаг этот, конечно, хотя и важный, но не последний в понимании того что мы хотим сделать. Есть еще один шаг — это посмотреть что сделали другие. В мире проектов по электронным петициям немало, рассмотрим несколько из них с точки зрения API и открытых данных.

API для Российской общественной инициативы. Шаг 2.1: опыт Великобритании в работе с данными электронных петиций

Электронные петиции Великобритании (epetitions.direct.gov.uk)

Великобритания была одной из первых стран внедривших практику сбора петиций от граждан и обязательность их рассмотрения.
Через британский проект epetitions.direct.gov.uk прошло несколько десятков тысяч петиций из которых —

  • открыто 5 741 петиция
  • закрыто 18 323 петиции
  • отклонено 21 030 петиций

все цифры на 5 ноября 2013 года
Подробности на сайте http://epetitions.direct.gov.uk/petitions?state=open

Российские петиции отчасти похожи на британские, там также необходимо собрать 100 тысяч подписей и на все отводиться не более 1 года.

Однако у петиций Великобритании есть несколько важных особенностей:
Читать полностью »

Если еще пару лет назад очень многие чиновники, журналисты, разработчики в разговорах про открытые данные переспрашивали что это такое, то в последнее время ситуация стала меняться и выправляться.

Вопросов не стало меньше — они стали другими. Например, за последние 3 месяца я занимался тем что регулярно выступал с лекциями на Школе открытых данных, на мероприятиях некоммерческих организаций, конференциях и в рамках программ обучения госслужащих.

Во всех случаях есть свои особенности:

  • некоммерческие организации почти всегда не имеют ресурсов и жалуются на отсутствие разработчиков
  • госслужащие редко умеют программировать сами и чаще всего говорят что у них используют компьютеры только как печатные машинки
  • разработчики редко знают о том где взять данные и чаще всего задают вопросы именно на эту тему

И во всех случаях всегда много вопросов о том чем открытые данные отличаются от свободы доступа к информации, что такое открытые лицензии и зачем они нужны, а также какие проекты создаются на открытых данных.

Всё это было в качестве вступления, а в качестве развития мы собрали небольшой список образовательных и просветительских проектов в этой области которые могут быть всем интересны. Все подобранные курсы бесплатны и открыты.

Открытые данные

School of Data (OKF)

Образовательные ресурсы и материалы по открытым данным

Школа данных от Open Knowledge Foundation. Первая школа посвященная именно открытым данным. Много онлайн курсов в форматах вебинаров.
Ссылка: schoolofdata.org
Читать полностью »

В качестве введения

Вы все наверняка помните о таком явлении как Российская общественная инициатива (www.roi.ru) — провозглашенная государством в лице федерального правительства инициатива по сбору подписей за онлайн петиции. Предполагается что если за 1 год по петиции будет собрано 100 тысяч голосов, то и петиция будет официально рассмотрена нашими властями. И даже имеет шанс получить статус законопроекта.

При этом уже 6 петиций прошли такой фильтр — https://www.roi.ru/complete/ две из них настоящему прошедшие сбор по 100 тысяч голосов и 4 петиции набравшие голосов сильно меньше, но органы власти успели прореагировать.

И, хотя петиции не дают гарантии что решение вообще какое-либо будет принято, многие создают их не только в надежде на положительное решение, но и для того чтобы поместить проблему в «медийную повестку» иначе говоря, для того чтобы об этом начали писать СМИ и была бы публичная государственная реакция.

Поэтому РОИ, пока что, не последний из государственных проектов и интерес к нему есть. При этом у РОИ есть ряд недостатков и проблем.

Проблемы РОИ

Читать полностью »

По моему опыту общения с разработчиками которые когда-либо участвовали в соревнования по открытым данным — все они говорят о том что нужны данные как можно большего уровня детализации.

Например, не статистика по регионам, а статистика по муниципалитетам. Не сводка преступлений/ДТП, а информация с адресами и координатами.
Не просто адреса учреждений с координатами, а подробная информация о каждом.

Пока таких детальных данных, прямо скажем, в удобном виде немного. Если взять Москву как пример, то даже на московском портале data.mos.ru большая часть данных — это геоданные или данные с геопривязкой в виде адреса и какой-то еще минимальной информацией. Понятное дело что сделать с ними что-то действительно интересное сложно. Поэтому скажем спасибо Правительству Москвы за то что они хотя бы это раскрыли и попробуем понять где взять более интересные данные и что с ними делать.

Конкурсы и соревнования

На вопрос зачем это нужно отвечу сразу — невозможно провести ни один конкурс/хакатон/соревнование для разработчиков не имея достаточного количества интересных данных. С этим мы сталкивались на хакатоне Яндекса, прошедшем конкурсе Apps4Russia и многих других.

Поэтому сейчас, поскольку мы помогаем в подготовке конкурса API Challenge мы решили подготовить столько полезных данных сколько только возможно. А поскольку API Challenge — это конкурс идущий от власти Москвы и ориентированный на Москву — мы и данные собираем по Москве.
Открытые данные Москвы и соревнование API Challenge на их основе

Чтобы этого добиться мы начали просматривать десятки госсайтов и ищем на них то что можно использовать законно и с пользой.

Как это происходило и продолжается

Читать полностью »

Вместо вступления и введения сразу предлагаю посмотреть на картинку. Сразу предупрежу — рекламы Internet Explorer'а в ней нет.
Почему Открытые данные — это культура работы с информацией на примере Росздравнадзора
вы можете получить аналогичное ей сообщение просто попытавшись открыть систему оперативного мониторинга лекарственных средств (МОЛС) http://mols.roszdravnadzor.ru/
Это такая государственная автоматизированная информационная система Росздравнадзора.

Я не сомневаюсь что многие из вас сталкивались с похожими ситуациями по огромному числу государственных проектов, работе с банками и многое другое.

Собственно вот такие случаи нарушают один из принциповы открытых данных — доступность. Технологические ограничения никак не делают их доступными и та же самая ситуация со многими другими реестрами Росздравнадзора.
Например:

Казалось бы, наверняка сотрудники Росздравнадзора должны были знать об этих ограничениях и они могли бы открыть хотя бы часть данных в созданном недавно разделе открытых данных на их сайте, вот тут — http://roszdravnadzor.ru/opendata

Однако все несколько иначе.

Во первых, в списке массивов что опубликованы Росздравназдором ни одного из реестров выше просто нет.
Во вторых даже то что «опубликовано» по факту отсутствуют.

Я не могу привести прямых ссылок, поскольку на сайте они разместили всё странным Javascript кодом вместо пермалинков, поэтому текстом.

Если мы откроем массив N5 «Статистическая информация, сформированная федеральным органом исполнительной власти в соответствии с федеральным планом статистических работ, а также статистическая информация по результатам проведенных плановых и внеплановых проверок»

То увидим что там ничего нет.
Почему Открытые данные — это культура работы с информацией на примере Росздравнадзора

А если мы посмотрим в наборы данных:

  • N4 Информация о результатах плановых и внеплановых проверок, проведенных федеральным органом исполнительной власти и его территориальными органами в пределах их полномочий, а также о результатах проверок, проведенных в федеральном органе исполнительной власти, его территориальных органах и подведомственных организациях
  • N6 Сведения о вакантных должностях государственной гражданской службы, имеющихся в федеральном органе исполнительной власти и его территориальных органах
  • N7 Реестры лицензий на конкретные виды деятельности, лицензирование которых осуществляется федеральными органами исполнительной власти

То обнаружим что ссылки на массив данных ничего не содержат кроме описания полей. Да и те описаны весьма странно.
Читать полностью »

Изредка просматривая свои ленты в соцсетях, недавно заметил интересное интервью в «Московских новостях». Оказалось, что сайт gdemvd.ru придумали и реализовали люди знакомые. Вкратце идея: собрать из разрозненных официальных источников данные об отделениях милиции в Росиии и показать пользователю на карте ближайшие. Был удивлен, что оказывается, Яндекс такого не предлагал. Сами данные формально доступны, но выковыривать их нужно из разных темных уголков, и информация предлагается в разных форматах, не всегда удобных — например, doc-файлы и т.д.

О сайте gdemvd.ru

Пример карты — по данным сайта в Московской области чуть подальше от Москвы отделений не так уж и много. Кусок Можайского и Нарофоминского районов.

Читать полностью »

Совет по открытым данным: террабайты Минкультуры, выше в рейтинге G8 и о том куда идет Минэкономразвития
21 октября выдался днём богатым на общественные мероприятия, об одном из них, заседании общественного совета при Росстате, я писал ранее. А вот про Совет по открытым данным вполне можно поговорить подробнее.

Прежде чем я перескажу всё своими словами — посмотрите на официальную новость там какие-то из вопросов раскрыты, а какие то я расскажу сейчас.

Итак, было 3 большие темы:
1. Открытые данные Минкультуры
2. Выполнение Россией требований хартии G8
3. Техтребования на портал открытых данных от Минэкономразвития России

Открытые данные Минкультуры

Выступал Михаил Городилов из Минкультуры и, если кратко, то его выступление можно свести к следующим тезисам:

  1. «Мы открыты» Они только-только начали открывать данные открытые данные и что-то уже разместили на сайте Минкультуры — mkrf.ru/opendata/
  2. «Цифровой контент — это тоже данные» Обещают очень много данных цифрового контента и то что планируют оцифровывать и создавать до 280 террабайт в год
  3. «Мы хотим денег» Это прозвучало совершенно недвусмысленно, о том что Минкультуры хочет чтобы работы по созданию ими открытых данных в том числе из цифрового контента были профинансированы из госпрограммы «Информационное общество».
  4. «Мы хотим чтобы бизнес платил» Посыл также очень простой. Чтобы бизнес который потенциально использовал бы их данные далее бы тоже участвовал в финансировании их создания. Прозрачно намекалось на Яндекс и Гугл и другие крупные интернет-холдинги

Вот такие нехитрые мысли прозвучали от Минкультуры. При этом у них, на самом деле, много есть данных которые давно пора открыть, но до сих пор ничего из них они не разместили. Ни государственный реестр фильмов, ни базу по культурному наследию, ни многое другое. Позиция та же что и у Росстата, только понимания пока еще меньше.

Дадут ли им денег? Не знаю. В этом году всем Минфин обрезает финансирование и не дает денег на новые инициативы. Надо ли их дожимать открывать то что уже есть? Я считаю что надо.

Хартия G8

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js