Метка «открытые данные» - 6

Тема открытого правительства и открытых данных все больше набирает обороты и приобретает популярность среди многих стран мира, их правительств и организаций. К тому же совсем недавно в России был принят закон об открытых данных, что указывает на растущий интерес к этой теме. В Украине тоже правительство движется в сторону публикации открытых данных. Собственно, раз это популярно, то можно на этом заработать или же принять участие в модном движении. К тому же ежегодно проводятся конкурсы, фестивали и хакатоны по созданию сайтов и приложений для публикации открытых данных.

Открытые данные — это способ представления общедоступной информации в машиночитаемой форме. В виде, в котором разработчики могут загрузить их в базы данных, проанализировать и представить в куда более наглядной и понятной форме чем то, как это делается в государственных системах.
Создание своего хаба для публикации открытых данных
Я бы хотел поделиться личным опытом «создания» (установки) сайта для публикации открытых данных. Я использовал платформу с открытым исходным кодом CKAN. Идти ли подобным путем, использовать другую платформу или написать свой сайт с нуля — Вам решать. Надеюсь, моя статья поможет Вам сделать верный выбор.

CKAN — это система управления данными, которая делает их доступными за счет инструментов, упрощающих их публикацию, распространение, поиск и использование. Более 50 стран, организаций и городов выбрали данную платформу для публикации своих данных. Среди них Великобритания, США, Чехия, Австралия, Бразилия и прочие. Вообщем, список внушительный. Сама платформа написана на python. Здесь подробная статья на английском. Здесь подробная статья на русском.
Читать полностью »

Вчера Владимир Путин подписал его о чем можно узнать на сайте Кремля тут президент.рф/документы/18302

Главным плюсом принятого закона является то что теперь публикация данных в формате открытых данных является обязательной.

Главным минусом — терминологическая слабость и то что определение открытых данных в законе расходится общепринятым.

У закона была непростая судьба которую можно проследить здесь asozd2.duma.gov.ru/main.nsf/(Spravka)?OpenAgent&RN=181992-6

Причем изменения в терминологии появились между первым и вторым чтением закона.

Вот определение из начальной редакции

размещение государственными органами информации о своей деятельности в сети «Интернет» в форме открытых данных — форма размещения государственными органами информации о своей деятельности в сети «Интернет», при которой указанная информация размещается в сети «Интернет» в виде массивов данных, организованных в формате, обеспечивающем их автоматическую обработку в целях повторного использования без предварительного изменения человеком (машиночитаемый формат), и на условиях ее свободного (бесплатного) использования.»;

И что получилось в итоге

4. Информация, размещаемая ее обладателями в сети «Интернет» в формате, допускающем автоматизированную обработку без предварительных изменений человеком в целях повторного ее использования, является общедоступной информацией, размещаемой в форме открытых данных.»;

Читать полностью »

Для одного общественного проекта (визуализация бюджетов поселений и районов) мне потребовались данные об иерархии муниципальных образований и их численности.
Нужные данные я нашел, но форма их представления для корректного использования оставляла желать лучшего.
Все необходимые данные были в одном файле, однако, его форматирование затрудняло извлечение иерархии.Читать полностью »

Друзья, мы наконец-то анонсировали конкурс для разработчиков Apps4Russia который мы проводим вот уже 3-й год и в этом году мы пришли к тому чтобы он был куда больше, лучше ещё полезнее для граждан и для разработчиков и для всех кто интересуется открытыми данными. Поскольку я не хочу говорить языком пресс-релизов — расскажу про конкурс как есть.

Что такое Apps4Russia?

Конкурс пропагандирует стандарты работы с open data, способствует созданию и становлению общественных, управленческих и бизнес проектов. Конкурс Apps4Russia проводится ежегодно с 2011 года и уже стал платформой для обмена ценными идеями и содержательного общения между талантливыми российскими разработчиками, ведущими экспертами в области WEB-разработок и инвесторами.

Конкурс Apps4Russia основан на открытых данных раскрываемых органами власти. Вы можете взять любую базу данных или несколько из них, придумать интересную идею, как их показать или использовать, и таким образом создать интересный продукт для общества.

Номинации конкурса:

  • Удобный город — инициативы и проекты, направленные на улучшение условий жизни людей в городе, повышение комфорта и пригодности среды для обитания,
  • Безопасная страна — проекты, направленные на благо общества, и использующие разносторонний подход в решении вопросов обеспечения безопасности граждан и защиты их прав и свобод,
  • Государство в кармане — инициативы и проекты, нацеленные на разработку мобильных приложений, для облегчения доступа граждан к важной и полезной информации о деятельности государства в привычном формате.

Читать полностью »

Я думал стоит ли писать этот пост или нет, потом решил что всё таки стоит —

Еще до того как я занялся плотно открытыми данными, я довольно много лет занимался и занимаюсь сейчас различными задачами по классификации, анализу текстов, полуструктурированных данных, очистке и обогащению данных.

Например, довольно давно еще я сделал алгоритм автоматического разбора ФИО в любом написании, определения пола и, возможно, этноса. Это не самая сложная задача, я привожу её не как нечто выдающееся, а как нечто рутинное и типовое. Однако решение этой, довольно типовой задачи, Вопрос в том как решать это нечто типовое.

И вот тут то и пригодились открытые данные.

Однако начну с начала.
Читать полностью »

Вчера вечером, 11 апреля, завершилось заседание совета по открытым данным.

Оно шло весьма насыщенно и активно. Я о многом подробно рассказал вот тут, но, конечно, там не все.

У меня из-за долгого накопленного опыта бодания с различными ведомствами накопилось немало неконструктивного в адрес ряда из них, но неконструктивное делу открытых данных не помогает.

Так что не только ругаем, но и в чем-то хвалим, а если ругаем то с предложениями как и что исправить.

Вначале о самом главном:

1. Открытые данные стали состоявшимся трендом.

Что бы дальше не происходило — ими будут заниматься, их будут раскрывать, регионы будут поднимать их на флагшток, а федеральные ведомства бодаться за возможности, полномочия и то кто и что лучше понимает по этой теме. Это очень важно — когда в какой-то теме появляется конкуренция — значит она живая.
Читать полностью »

Давайте ка я порассуждаю вслух.

Настоящее Открытое Правительство

Я считаю что самое настоящее Открытое Правительство буквальном значении — это API к сайту government.ru. Сделать его несложно, важно, нужно и можно. Но никто не сделал до сих пор. Идеально — если это сделает аппарат пр-ва, неидеально — это мы сами парсим его и делаем API. Я знаю как сделать второе и вообще-то мне ничто не мешает это сделать. И даже больше я — это сделаю, желательно, причем не своими руками — на все просто рук не хватит. Нужен квалифицированный разработчик желающий это сделать — бесплатно или за деньги.

Задача разбивается на 4 шага:
1. Провести анализ данных на сайте — набросать модели данных и архитектуру решения.
2. Распарсить данные на сайте согласно моделям и настроить регулярное обновление данных. Данные загрузить в NoSQL базу типа MongoDB или CouchDB
3. Сделать API веб-сервиса по предоставлению данных в JSON (возможно и в XML)
4. Сделать описание API.

Что дальше?

А дальше используем этот бесценный ресурс как тренировочного зверька для разработчиков мобильных и любых иных приложений.
Читать полностью »

Друзья!

Как многие, наверняка, помнят мы каждый год проводим конкурс Apps4Russia с призами, партнерами и классными приложениями которые делают люди на открытых данных и не только — в этому году мы тоже, обязательно его проведем, анонс широкий и большой будет уже вот-вот как скоро. Но я не буду забегать вперед — все будет.

Однако, кроме нашего большого проекта конкурса, мы занимаемся и другими интересными и большими проектами одним из которых является проект «Открытая Полиция» (http://www.openpolice.ru)

И, в рамках этого проекта, мы проводим еще один конкурс — тем кому не терпится сразу идите по ссылке — www.openpolice.ru/contest . Небольшой по времени — всего 2 месяца, отличный по содержанию — у нас очень много открытых данных собрано тут — data.openpolice.ru и доступно через API — api.openpolice.ru

Читать полностью »

Для всех кто работает с открытыми данными, делает свои проекты для себя, людей, для участия в конкурсах всегда бывает бывает полезен исходный код примеров того как данные собирались и что с ними делалось.

Я предлагаю составить список открытых репозиториев кода нацеленного именно на решение задач по работе с открытыми данными и примеры проектов которые на них основаны.

Вот список репозиториев зарубежных инициатив которые мне известны:
огромное количество проектов Open Knowledge Foundation — CKAN, расширения к нему, утилиты по преобразованию данных
репозитории исходного кода Sunlight Labs — очень много примеров того как распарсены многие американские сайты и базы данных, а также библиотеки по работе с данными разного вида
репозитории OpenGovernment.org — много примеров проектов на Ruby
репозитории департамента ИТ Оксфорда — их проекты по открытым данным такие как DataVerse;
открытый код Белого Дома (США) — проекты по петициям, стандартам API и всяким штукам для Drupal
репозиторий AlphaGov (UK) — материалы проекта www.gov.uk много кода самого проекта и подпроектов

Мы в Информационной Культуре работаем с открытыми данными постоянно и часть того кода что мы производим вполне может быть полезна и другим. Да что уж там, точно будет полезна.

Поэтому мы выложили много материалов в виде публичных репозиториев в которых каждый может найти что-то для себя и свободно использовать.
Читать полностью »

Московское правительство запустило портал открытых данных. На нем размещаются наборы данных в машиночитаемом виде (в формате CSV) для последующего использования и обработки всеми желающими.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js