Для одного общественного проекта (визуализация бюджетов поселений и районов) мне потребовались данные об иерархии муниципальных образований и их численности.
Нужные данные я нашел, но форма их представления для корректного использования оставляла желать лучшего.
Все необходимые данные были в одном файле, однако, его форматирование затрудняло извлечение иерархии.Читать полностью »
Рубрика «открытые данные» - 32
Чтение официальных данных о численности муниципальных образований с параметрами форматирования текста с помощью библиотеки xlrd
2013-06-08 в 6:21, admin, рубрики: python, открытые данные, электронное правительство, метки: python, открытые данныеКонкурс Apps4Russia 2013 — открытые данные на которых можно заработать деньги
2013-04-22 в 13:21, admin, рубрики: конкурс, конкурс разработчиков, открытое государство, открытые данные, разработка, электронное государство, электронное правительство, метки: конкурс, конкурс разработчиков, открытое государство, открытые данные, электронное государствоДрузья, мы наконец-то анонсировали конкурс для разработчиков Apps4Russia который мы проводим вот уже 3-й год и в этом году мы пришли к тому чтобы он был куда больше, лучше ещё полезнее для граждан и для разработчиков и для всех кто интересуется открытыми данными. Поскольку я не хочу говорить языком пресс-релизов — расскажу про конкурс как есть.
Что такое Apps4Russia?
Конкурс пропагандирует стандарты работы с open data, способствует созданию и становлению общественных, управленческих и бизнес проектов. Конкурс Apps4Russia проводится ежегодно с 2011 года и уже стал платформой для обмена ценными идеями и содержательного общения между талантливыми российскими разработчиками, ведущими экспертами в области WEB-разработок и инвесторами.
Конкурс Apps4Russia основан на открытых данных раскрываемых органами власти. Вы можете взять любую базу данных или несколько из них, придумать интересную идею, как их показать или использовать, и таким образом создать интересный продукт для общества.
Номинации конкурса:
- Удобный город — инициативы и проекты, направленные на улучшение условий жизни людей в городе, повышение комфорта и пригодности среды для обитания,
- Безопасная страна — проекты, направленные на благо общества, и использующие разносторонний подход в решении вопросов обеспечения безопасности граждан и защиты их прав и свобод,
- Государство в кармане — инициативы и проекты, нацеленные на разработку мобильных приложений, для облегчения доступа граждан к важной и полезной информации о деятельности государства в привычном формате.
Неочевидное использование открытых данных
2013-04-17 в 21:32, admin, рубрики: открытое государство, открытые данные, электронное правительство, метки: открытое государство, открытые данныеЯ думал стоит ли писать этот пост или нет, потом решил что всё таки стоит —
Еще до того как я занялся плотно открытыми данными, я довольно много лет занимался и занимаюсь сейчас различными задачами по классификации, анализу текстов, полуструктурированных данных, очистке и обогащению данных.
Например, довольно давно еще я сделал алгоритм автоматического разбора ФИО в любом написании, определения пола и, возможно, этноса. Это не самая сложная задача, я привожу её не как нечто выдающееся, а как нечто рутинное и типовое. Однако решение этой, довольно типовой задачи, Вопрос в том как решать это нечто типовое.
И вот тут то и пригодились открытые данные.
Однако начну с начала.
Читать полностью »
Открытые данные, Росстат, Прокуратура и все-все-все
2013-04-12 в 7:29, admin, рубрики: Opendata, открытые данные, электронное правительство, метки: Opendata, открытые данныеВчера вечером, 11 апреля, завершилось заседание совета по открытым данным.
Оно шло весьма насыщенно и активно. Я о многом подробно рассказал вот тут, но, конечно, там не все.
У меня из-за долгого накопленного опыта бодания с различными ведомствами накопилось немало неконструктивного в адрес ряда из них, но неконструктивное делу открытых данных не помогает.
Так что не только ругаем, но и в чем-то хвалим, а если ругаем то с предложениями как и что исправить.
Вначале о самом главном:
1. Открытые данные стали состоявшимся трендом.
Что бы дальше не происходило — ими будут заниматься, их будут раскрывать, регионы будут поднимать их на флагшток, а федеральные ведомства бодаться за возможности, полномочия и то кто и что лучше понимает по этой теме. Это очень важно — когда в какой-то теме появляется конкуренция — значит она живая.
Читать полностью »
Открытое правительство и все остальные госструктуры как платформы
2013-04-09 в 6:28, admin, рубрики: открытые данные, электронное правительство, метки: открытые данныеДавайте ка я порассуждаю вслух.
Настоящее Открытое Правительство
Я считаю что самое настоящее Открытое Правительство буквальном значении — это API к сайту government.ru. Сделать его несложно, важно, нужно и можно. Но никто не сделал до сих пор. Идеально — если это сделает аппарат пр-ва, неидеально — это мы сами парсим его и делаем API. Я знаю как сделать второе и вообще-то мне ничто не мешает это сделать. И даже больше я — это сделаю, желательно, причем не своими руками — на все просто рук не хватит. Нужен квалифицированный разработчик желающий это сделать — бесплатно или за деньги.
Задача разбивается на 4 шага:
1. Провести анализ данных на сайте — набросать модели данных и архитектуру решения.
2. Распарсить данные на сайте согласно моделям и настроить регулярное обновление данных. Данные загрузить в NoSQL базу типа MongoDB или CouchDB
3. Сделать API веб-сервиса по предоставлению данных в JSON (возможно и в XML)
4. Сделать описание API.
Что дальше?
А дальше используем этот бесценный ресурс как тренировочного зверька для разработчиков мобильных и любых иных приложений.
Читать полностью »
Конкурс приложений на открытых данных полиции
2013-04-08 в 10:55, admin, рубрики: открытые данные, полиция, электронное правительство, метки: открытые данные, полицияДрузья!
Как многие, наверняка, помнят мы каждый год проводим конкурс Apps4Russia с призами, партнерами и классными приложениями которые делают люди на открытых данных и не только — в этому году мы тоже, обязательно его проведем, анонс широкий и большой будет уже вот-вот как скоро. Но я не буду забегать вперед — все будет.
Однако, кроме нашего большого проекта конкурса, мы занимаемся и другими интересными и большими проектами одним из которых является проект «Открытая Полиция» (http://www.openpolice.ru)
И, в рамках этого проекта, мы проводим еще один конкурс — тем кому не терпится сразу идите по ссылке — www.openpolice.ru/contest . Небольшой по времени — всего 2 месяца, отличный по содержанию — у нас очень много открытых данных собрано тут — data.openpolice.ru и доступно через API — api.openpolice.ru
Открытые репозитории кода по открытым данным и открытому государству
2013-04-08 в 8:52, admin, рубрики: open source, opensource, открытые данные, открытый код, электронное правительство, метки: opensource, открытые данные, открытый кодДля всех кто работает с открытыми данными, делает свои проекты для себя, людей, для участия в конкурсах всегда бывает бывает полезен исходный код примеров того как данные собирались и что с ними делалось.
Я предлагаю составить список открытых репозиториев кода нацеленного именно на решение задач по работе с открытыми данными и примеры проектов которые на них основаны.
Вот список репозиториев зарубежных инициатив которые мне известны:
— огромное количество проектов Open Knowledge Foundation — CKAN, расширения к нему, утилиты по преобразованию данных
— репозитории исходного кода Sunlight Labs — очень много примеров того как распарсены многие американские сайты и базы данных, а также библиотеки по работе с данными разного вида
— репозитории OpenGovernment.org — много примеров проектов на Ruby
— репозитории департамента ИТ Оксфорда — их проекты по открытым данным такие как DataVerse;
— открытый код Белого Дома (США) — проекты по петициям, стандартам API и всяким штукам для Drupal
— репозиторий AlphaGov (UK) — материалы проекта www.gov.uk много кода самого проекта и подпроектов
Мы в Информационной Культуре работаем с открытыми данными постоянно и часть того кода что мы производим вполне может быть полезна и другим. Да что уж там, точно будет полезна.
Поэтому мы выложили много материалов в виде публичных репозиториев в которых каждый может найти что-то для себя и свободно использовать.
Читать полностью »
Запущен портал открытых данных правительства Москвы
2013-01-29 в 15:16, admin, рубрики: open data, открытые данные, электронное правительство, метки: open data, открытые данные, электронное правительствоМосковское правительство запустило портал открытых данных. На нем размещаются наборы данных в машиночитаемом виде (в формате CSV) для последующего использования и обработки всеми желающими.
Все высшие учебные заведения в России обяжут размещать в открытом доступе курсовые, дипломные и другие квалификационные работы
2013-01-17 в 8:11, admin, рубрики: дипломная работа, диссертации, открытые данные, Учебный процесс в IT, яндекс, метки: ASI, дипломная работа, диссертации, открытые данные, яндексМинистерство образования и науки обяжет все высшие учебные заведения размещать в открытом доступе на своих сайтах квалификационные, курсовые, дипломные, докторские, кандидатские и диссертационные работы каждого студента и аспиранта для борьбы с плагиатом (источник). Такую идею разработали в правительственном Агентстве стратегических инициатив (АСИ) еще в 2012 году. Предполагается, что часть вузов реализуют требования уже в этом году, а другие будут ждать до ближайшей аккредитации, так что процесс может затянуться до 2016 года.
В Яндексе подтвердили сотрудничество с АСИ в рамках инициативы по обеспечению открытого доступа к работам студентов и аспирантов: “наш вклад заключается в том, что мы как эксперты помогаем АСИ сформулировать технические требования к выложенным на сайты вузов работам – чтобы их могли легко проиндексировать и сделать доступными поисковые системы (не только сам Яндекс)”.
Чтобы посмотреть как с публикацией текстов уже идут дела мы вместе с mathmode и студентами прграммы GameChangers решили провести ревизию тех кафедр и факультетов петербургских вузов (так как живем, учимся и работаем тут), где выпускные работы уже публикуются. Интереcно посмотреть какова ситуция в других городах. Кто возьмется?
Open Data Hackathon 6-7 октября
2012-09-26 в 13:30, admin, рубрики: Hackathon, open data, open government, open source, semantic web, Веб-разработка, геоинформационные системы, мэшапы, открытые данные, хакатон, электронное правительство, метки: Hackathon, open data, open government, semantic web, геоинформационные системы, мэшапы, открытые данные, Хакатон
С 6 по 7 октября приглашаем энтузиастов-программистов на Open Data Hackathon, который пройдет в офисе компании 2Nova Interactive в «Ткачах». В перерывах между работой вы сможете пообщаться с нашими гостями: Питером Микой из компании Yahoo, профессионала в области поиска и представления данных, доктором Серном Ауэром из Лейпцигского Университета, эксперта в области семантического Веба, директором представительства W3C в России Даниэлем Хладки, Владимиром Горовым, руководителем проекта Яндекс.Услуги. Ну и конечно же вас ждут призы от организаторов, пицца, чай, кофе, игры и отличная рабочая атмосфера для запуска вашего проекта за 24 часа! А разработанный проект вы сможете представить инвесторам и представителям власти на демофесте.
Open Data Hackathon посвящен разработке общественно-значимых сервисов на основе открытых государственных данных. Также партнерами выступили W3C w3c.org.ru, Центр Антикоррупционных инициатив transparency.org.ru, СПб НИУ ИТМО www.ifmo.ru и многих других. Приветствуется использование технологий Semantic Web, существующих веб-сервисов и API, открытых источников данных для создания вашего мэшапа или мобильного приложения. Для реализации своего проекта у вас будет всего 24 часа! Результаты работы вы сможете представить на демофесте, на котором будут присутствовать представители гос. органов, наши эксперты и инвесторы. Лучшие проекты будут награждены и примут участие в международной конференции инженерии знаний и технологий Semantic Web “KESW 2012” 9 октября, а также получат поддержку для дальнейшего развития.
Регистрация проекта или если желаете принять участие в команде.
Ниже написано почему стоит посетить это мероприятие и какие сервисы можно сделать.