Рубрика «Блог компании НП «Информационная культура»»

в 14:36, , рубрики: Блог компании НП «Информационная культура», обучение, открытые данные, метки: ,

Открытые данные как явление существует давно, а вот вопросов по ним возникает большое множество и, для того чтобы снять хотя бы часть из них, мы организовали школу открытых данных которая проходит в форме лекций, семинаров и мастер-классов.

Это бесплатный просветительский проект в котором мы рассказываем об открытых данных всё что знаем и что может пригодиться другим.

При том что наша цель — это выйти на формат вебинаров, в первом шаге мы стали проводить мероприятия с записью их на видео и с открытой публикацией онлайн.

Лекции ведут российские и зарубежные преподаватели и практики и все они, по возможности, настолько приближены к практике насколько это возможно.

Сейчас у нас накопилось 7 таких занятий и нам очень важно получить обратную связь по тому что было рассказано и что хотелось бы услышать.

Вот тут те лекции что уже прошли.

Вводные лекции

Мы провели 2 вводные лекции которые врядли будут интересны тем кто уже знает что такое открытые данные и журналистика данных, но будут интересны тем кто только-только хочет это узнать об этих явлениях.

Занятие и мастер-класс №1

Вводная лекция по журналистике данных

Тематические лекции

А также мы провели целую серию лекций посвященных семантическому вебу, онтологиям, интеграции данных, геоданным и открытым базам знаний.

Связанные расходы: открытые расходы превращаются в связанные открытые данные

Интеграция и визуализация данных с использованием технологии Semantic Web
Читать полностью »

в 13:49, , рубрики: Блог компании НП «Информационная культура», открытые данные, метки:

Не секрет что больше данных — это не означает что данные станут лучше. Чаще это происходит иначе и примеров когда данные публикуются в ужасающем виде немало.

Например, данные Рособоронзаказа о которых я писал ранее (http://habrahabr.ru/company/infoculture/blog/201260/) и где можно увидеть.
Точно также данные публикует и МВД России — это вот такой массив — mvd.ru/opendata/od1

А есть много других данных когда CSV файлы создаются на базе непригодных для анализа Excel файлов, или когда данные публикуют без описания схем, или когда публикуют невалидные XML файлы и многое другое.

Чтобы собрать все такие случаи коллеги из Open Knowledge Foundation начали собирать все примеры.

Собираем «Плохие данные» (bad data)
Читать полностью »

в 17:00, , рубрики: Блог компании НП «Информационная культура», открытое государство, открытые данные, электронное правительство, метки: ,

Для тех кто интересуется открытыми данными, тем что это такое и как с ними работать в этом посте собраны ссылки на открытые данные по России.

Федеральная власть

Регионы и муниципалитеты

Общественные проекты и блоги

Журналистика данных

Читать полностью »

в 10:15, , рубрики: api, Блог компании НП «Информационная культура», открытые данные, рои, российская общественная инициатива, США, метки: , , , ,

Ранее я писал в паре постов о том как устроена открытость электронных петиций в разных странах, какие данные есть в России и как можно сделать APO для небезызвестной Российской общественной инициативы — www.roi.ru.

Прочитать всё это можно здесь:

В этот раз мы рассмотрим то как устроены электронные петиции Белого Дома, в первую очередь, с точки зрения их открытости и пригодности к данных для использования.

API для Российской общественной инициативы. Шаг 2.2: опыт США в работе с данными электронных петиций — API Белого Дома

Справка

Особенности петиций в США

  1. Относятся именно к президенту и ответы дает его администрация.
  2. Не требуют ничего кроме email'а для подписи — дополнительная авторизация ненужна.
  3. Петиции должны пройти 2 порога — 150 подписей за 30 дней чтобы их можно было найти (по прямой ссылке они доступны) и 100 000 подписей за 30 дней чтобы получить официальный ответ — petitions.whitehouse.gov/how-why/terms-participation

В цифрах

  • всего 2246 петиций
  • даны ответы на 208 петиций
  • в ожидании ответа 26 петиций
  • закрыто 1972 петиций
  • открыто для голосования 40 петиций

Цифры учитывают только те петиции что прошли 1-й порог в 150 подписей за 30 дней.

WhiteHouse.gov/developers

Одно из важных отличий сайта Белого Дома США от сайтов всех лидеров в мире — это ориентированность на разработчиков. На сайте даже есть специальный раздел /Developers где размещены данные, раскрыт исходный код проектов и описаны API многих из инициатив если не всех вообще.

Открытый код

Поскольку нас интересуют в первую очередь петиции, то рассмотрим их подробнее.

Во первых исходный код петиций полностью опубликован на Github — https://github.com/WhiteHouse/petitions

У репозитория больше 15 контрибьюторов, несколько десятков багов и вопросов и мы можем говорить о том что разработка проекта идет открытым образом.

Открытое API

Другая сторона происходящего в том для разработчиков доступен не только исходный код, но и API и данные накопленные на сервисе.
Все API по петициям доступны по ссылке — https://petitions.whitehouse.gov/developers

API доступа к данным состоит из 3-х эндпоинтов:
Читать полностью »

в 12:36, , рубрики: Блог компании НП «Информационная культура», открытое государство, открытые данные, электронное правительство, метки: ,

Когда пишешь о лучших и худших примерах публикации открытых данных очень сложно не превратить эту рубрику в кунсткамеру и не показать насколько странно иной раз происходит публикация данных и что может скрываться за данными на самом деле.

Случай который я опишу в этот раз не то чтобы уникальный, но редкий.
Речь пойдет об открытых данных, не много не мало, а Федеральной службы по оборонному заказу (сайт — www.fsoz.gov.ru).

На сайте этой службы совсем недавно появился раздел "Открытые данные" где собственно открытые данные в машиночитаемом формате и публикуются.
Размещено там немного не мало, а 15 наборов данных.

Ссылки на них есть на сайте, а я приведу полный список.
Читать полностью »

в 16:59, , рубрики: Блог компании НП «Информационная культура», открытое государство, открытые данные, рои, российская общественная инициатива, электронное правительство, метки: , , ,

Ранее в посте на Хабре я писал про самый первый шаг для создания API для РОИ — выгрузка имеющихся данных с помощью парсера.
API для Российской общественной инициативы. Шаг 1: сбор и анализ данных

Но шаг этот, конечно, хотя и важный, но не последний в понимании того что мы хотим сделать. Есть еще один шаг — это посмотреть что сделали другие. В мире проектов по электронным петициям немало, рассмотрим несколько из них с точки зрения API и открытых данных.

API для Российской общественной инициативы. Шаг 2.1: опыт Великобритании в работе с данными электронных петиций

Электронные петиции Великобритании (epetitions.direct.gov.uk)

Великобритания была одной из первых стран внедривших практику сбора петиций от граждан и обязательность их рассмотрения.
Через британский проект epetitions.direct.gov.uk прошло несколько десятков тысяч петиций из которых —

  • открыто 5 741 петиция
  • закрыто 18 323 петиции
  • отклонено 21 030 петиций

все цифры на 5 ноября 2013 года
Подробности на сайте http://epetitions.direct.gov.uk/petitions?state=open

Российские петиции отчасти похожи на британские, там также необходимо собрать 100 тысяч подписей и на все отводиться не более 1 года.

Однако у петиций Великобритании есть несколько важных особенностей:
Читать полностью »

в 12:43, , рубрики: Блог компании НП «Информационная культура», открытое государство, открытые данные, свободные лицензии, метки: , ,

Если еще пару лет назад очень многие чиновники, журналисты, разработчики в разговорах про открытые данные переспрашивали что это такое, то в последнее время ситуация стала меняться и выправляться.

Вопросов не стало меньше — они стали другими. Например, за последние 3 месяца я занимался тем что регулярно выступал с лекциями на Школе открытых данных, на мероприятиях некоммерческих организаций, конференциях и в рамках программ обучения госслужащих.

Во всех случаях есть свои особенности:

  • некоммерческие организации почти всегда не имеют ресурсов и жалуются на отсутствие разработчиков
  • госслужащие редко умеют программировать сами и чаще всего говорят что у них используют компьютеры только как печатные машинки
  • разработчики редко знают о том где взять данные и чаще всего задают вопросы именно на эту тему

И во всех случаях всегда много вопросов о том чем открытые данные отличаются от свободы доступа к информации, что такое открытые лицензии и зачем они нужны, а также какие проекты создаются на открытых данных.

Всё это было в качестве вступления, а в качестве развития мы собрали небольшой список образовательных и просветительских проектов в этой области которые могут быть всем интересны. Все подобранные курсы бесплатны и открыты.

Открытые данные

School of Data (OKF)

Образовательные ресурсы и материалы по открытым данным

Школа данных от Open Knowledge Foundation. Первая школа посвященная именно открытым данным. Много онлайн курсов в форматах вебинаров.
Ссылка: schoolofdata.org
Читать полностью »

в 15:47, , рубрики: Блог компании НП «Информационная культура», открытые данные, рои, электронное правительство, метки: ,

В качестве введения

Вы все наверняка помните о таком явлении как Российская общественная инициатива (www.roi.ru) — провозглашенная государством в лице федерального правительства инициатива по сбору подписей за онлайн петиции. Предполагается что если за 1 год по петиции будет собрано 100 тысяч голосов, то и петиция будет официально рассмотрена нашими властями. И даже имеет шанс получить статус законопроекта.

При этом уже 6 петиций прошли такой фильтр — https://www.roi.ru/complete/ две из них настоящему прошедшие сбор по 100 тысяч голосов и 4 петиции набравшие голосов сильно меньше, но органы власти успели прореагировать.

И, хотя петиции не дают гарантии что решение вообще какое-либо будет принято, многие создают их не только в надежде на положительное решение, но и для того чтобы поместить проблему в «медийную повестку» иначе говоря, для того чтобы об этом начали писать СМИ и была бы публичная государственная реакция.

Поэтому РОИ, пока что, не последний из государственных проектов и интерес к нему есть. При этом у РОИ есть ряд недостатков и проблем.

Проблемы РОИ

Читать полностью »

в 7:20, , рубрики: Блог компании НП «Информационная культура», Москва, открытые данные, электронное правительство, метки: ,

По моему опыту общения с разработчиками которые когда-либо участвовали в соревнования по открытым данным — все они говорят о том что нужны данные как можно большего уровня детализации.

Например, не статистика по регионам, а статистика по муниципалитетам. Не сводка преступлений/ДТП, а информация с адресами и координатами.
Не просто адреса учреждений с координатами, а подробная информация о каждом.

Пока таких детальных данных, прямо скажем, в удобном виде немного. Если взять Москву как пример, то даже на московском портале data.mos.ru большая часть данных — это геоданные или данные с геопривязкой в виде адреса и какой-то еще минимальной информацией. Понятное дело что сделать с ними что-то действительно интересное сложно. Поэтому скажем спасибо Правительству Москвы за то что они хотя бы это раскрыли и попробуем понять где взять более интересные данные и что с ними делать.

Конкурсы и соревнования

На вопрос зачем это нужно отвечу сразу — невозможно провести ни один конкурс/хакатон/соревнование для разработчиков не имея достаточного количества интересных данных. С этим мы сталкивались на хакатоне Яндекса, прошедшем конкурсе Apps4Russia и многих других.

Поэтому сейчас, поскольку мы помогаем в подготовке конкурса API Challenge мы решили подготовить столько полезных данных сколько только возможно. А поскольку API Challenge — это конкурс идущий от власти Москвы и ориентированный на Москву — мы и данные собираем по Москве.
Открытые данные Москвы и соревнование API Challenge на их основе

Чтобы этого добиться мы начали просматривать десятки госсайтов и ищем на них то что можно использовать законно и с пользой.

Как это происходило и продолжается

Читать полностью »

в 14:58, , рубрики: Блог компании НП «Информационная культура», открытые данные, электронное правительство, метки:

Вместо вступления и введения сразу предлагаю посмотреть на картинку. Сразу предупрежу — рекламы Internet Explorer'а в ней нет.
Почему Открытые данные — это культура работы с информацией на примере Росздравнадзора
вы можете получить аналогичное ей сообщение просто попытавшись открыть систему оперативного мониторинга лекарственных средств (МОЛС) http://mols.roszdravnadzor.ru/
Это такая государственная автоматизированная информационная система Росздравнадзора.

Я не сомневаюсь что многие из вас сталкивались с похожими ситуациями по огромному числу государственных проектов, работе с банками и многое другое.

Собственно вот такие случаи нарушают один из принциповы открытых данных — доступность. Технологические ограничения никак не делают их доступными и та же самая ситуация со многими другими реестрами Росздравнадзора.
Например:

Казалось бы, наверняка сотрудники Росздравнадзора должны были знать об этих ограничениях и они могли бы открыть хотя бы часть данных в созданном недавно разделе открытых данных на их сайте, вот тут — http://roszdravnadzor.ru/opendata

Однако все несколько иначе.

Во первых, в списке массивов что опубликованы Росздравназдором ни одного из реестров выше просто нет.
Во вторых даже то что «опубликовано» по факту отсутствуют.

Я не могу привести прямых ссылок, поскольку на сайте они разместили всё странным Javascript кодом вместо пермалинков, поэтому текстом.

Если мы откроем массив N5 «Статистическая информация, сформированная федеральным органом исполнительной власти в соответствии с федеральным планом статистических работ, а также статистическая информация по результатам проведенных плановых и внеплановых проверок»

То увидим что там ничего нет.
Почему Открытые данные — это культура работы с информацией на примере Росздравнадзора

А если мы посмотрим в наборы данных:

  • N4 Информация о результатах плановых и внеплановых проверок, проведенных федеральным органом исполнительной власти и его территориальными органами в пределах их полномочий, а также о результатах проверок, проведенных в федеральном органе исполнительной власти, его территориальных органах и подведомственных организациях
  • N6 Сведения о вакантных должностях государственной гражданской службы, имеющихся в федеральном органе исполнительной власти и его территориальных органах
  • N7 Реестры лицензий на конкретные виды деятельности, лицензирование которых осуществляется федеральными органами исполнительной власти

То обнаружим что ссылки на массив данных ничего не содержат кроме описания полей. Да и те описаны весьма странно.
Читать полностью »

12
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js