С 6 по 7 октября приглашаем энтузиастов-программистов на Open Data Hackathon, который пройдет в офисе компании 2Nova Interactive в «Ткачах». В перерывах между работой вы сможете пообщаться с нашими гостями: Питером Микой из компании Yahoo, профессионала в области поиска и представления данных, доктором Серном Ауэром из Лейпцигского Университета, эксперта в области семантического Веба, директором представительства W3C в России Даниэлем Хладки, Владимиром Горовым, руководителем проекта Яндекс.Услуги. Ну и конечно же вас ждут призы от организаторов, пицца, чай, кофе, игры и отличная рабочая атмосфера для запуска вашего проекта за 24 часа! А разработанный проект вы сможете представить инвесторам и представителям власти на демофесте.
Open Data Hackathon посвящен разработке общественно-значимых сервисов на основе открытых государственных данных. Также партнерами выступили W3C w3c.org.ru, Центр Антикоррупционных инициатив transparency.org.ru, СПб НИУ ИТМО www.ifmo.ru и многих других. Приветствуется использование технологий Semantic Web, существующих веб-сервисов и API, открытых источников данных для создания вашего мэшапа или мобильного приложения. Для реализации своего проекта у вас будет всего 24 часа! Результаты работы вы сможете представить на демофесте, на котором будут присутствовать представители гос. органов, наши эксперты и инвесторы. Лучшие проекты будут награждены и примут участие в международной конференции инженерии знаний и технологий Semantic Web “KESW 2012” 9 октября, а также получат поддержку для дальнейшего развития.
Регистрация проекта или если желаете принять участие в команде.
Ниже написано почему стоит посетить это мероприятие и какие сервисы можно сделать.
От хакатона до миллиона
Сегодня во всем мире сотни программистов разрабатывают собственные общественно-значимые приложения и городские сервисы на основе открытых государственных данных.
В течении 3 лет в «Большом Яблоке» (Нью Йорк) проходит BigApps 3.0 — конкурс приложений на основе открытых городских данных, направленных на улучшение жизни в городе. Чем Санкт-Петербург хуже? Ничем, говорим мы и наши разработчики не хуже. Правда данных у нас выложено разве что поменьше. Создатели сервисов могли использовать нью-йоркский портал открытых данных. Огромное количество данных, собранных в одном месте: от данных расписания движения городского транспорта, результаты инспекций ресторанов, городские развлекательные мероприятия, информация по выборам, карта потребления электроэнергии по районам и многое другое!
Зачем разработчики участвуют в этом конкурсе? Конечно призовой фонд, размером в $50 000 – весомая причина. Однако наиболее ценным является опыт, продвижение своего проекта и возможность продемонстрировать себя инвесторам. Одной из таких историй успеха стало приложение MyCityWay, который вначале получил $5000 в качестве приза, потом $300 000 венчурного финансирования, а потом — пятимиллионный контракт с BMW. А всего уже выложено около 100 приложений.
Другой известный пример «городского» сервиса SeeClcikFix, который позволяет отмечать городские проблемы на карте. Этот сервис уже привлек $ 1,5 млн. инвестиций.
Мы убеждены, что нет смысла разработчикам создавать клоны сервисов коллективных покупок или каких-то иных, имеющих сотни аналогов по всему миру – надо создавать что-то новое и востребованное. И выбранная тема Хакатона на наш взгляд является таковой. Отличным примером является новосибирский «городской» проект карты ДТП, который получил премию 7500 евро и занял 1 место на конкурсе Data Journalism Awards-2012 в Париже. Это отличный повод заявить о себе и привлечь инвестиции!
Завизуализируй!
Сегодня очень популярны инфографики, да и вообще разные виды визуализаций. Вот еще один пример приложения на основе открытых данных, красивейшее приложение, разработанное в Google, которое визуализирует данные по продаже оружия в мире.
Для таких задач используются данные из сторонних открытых источников. Мы к примеру нашли такие данные, а соединив их с возможностями Google Chrome – получаем очень эффектный мэшап! Об этом приложении также есть небольшая статья на Хабре. Большая коллекция фреймворков и решений для мэшапов собрана на этом сайте.
Что же можно сделать на Хакатоне?
Для российских разработчиков, пока еще не искушенных в этой сфере, пожалуй это главный вопрос! Ниже перечислены идеи для проектов, а также известные источники данных. В комментариях напишите свои идеи. Если вы хотите принять участие, но у вас возникают сложности с поиском источников данных – также напишите в комментариях, мы поможем.
Геосервисы и использование карт
Используйте карты OpenStreetMap, Google или Яндекс, чтобы наложить на них данные. Что это могут быть за данные и откуда их брать? Например, данные о ДТП, данные о расходах и доходах регионов, чиновников (по регионам, городам), данные о движении транспорта. Список основных источников подобных данных можно найти в конце статьи.
Примеры существующих сервисов:
- Карта помощи при пожарах
- Проблемы на карте города "Моя территория" и его американская версия SeeClickFix
- Новосибирский сайт с данными о ДТП в 2011 году
- Криминальная карта Чикаго
- Поиск участкового полицейского по адресу
Использование API открытых сервисов, веб-сервисов WSDL, REST и прочее.
- API для получения данных по всем странам от «Всемирного банка» (от экономики до различных рейтингов стран), там же можно найти примеры приложений, созданных на его основе. Все индикаторы, а также данные в формате Semantic Web можно получить тут
- API Государственной Думы. Используя API Конгресса США было сделано приложение оринигальное приложение «О чем говорят конгрессмены», а также чем они вообще занимаются, какие законы принимают.
- API банка России
Использование структурированных данных
Таких как XML, CSV. Это значительно облегчает получение данных, но не так удобно как при наличии API.
- Большое количество данных выложено на сайте проекта Ивана Бегтина opengovdata.ru.
- На сайте «Декларатор» можно найти данные по доходам чиновников declarator.org,
- сведения обо всех существующих/не существующих адресах в Российской Федерации fias.nalog.ru/Public/NewsPage.aspx.
- Единая межведомственная информационно-статистическая система www.fedstat.ru/indicators/start.do
Данные в формате Semantic Web
OWL, RDF, SPARQL и другие технологии. Это наиболее продвинутый способ публикации данных, имеющий большие возможности, в том числе делать SQL-запросы к массивам данных и применение онтологий.
- Наборы государственных данных
- Европейская статистика в формате Semantic Web
- Проект LinkedData и данные Всемирного Банка
- Проект DBPedia
- Проект Linked Data 2
- Yahoo Geoplanet
Извлечение данных. Data mining. Неструктурированные данные.
Даже если данные не выложены в структурированном виде (XML, Semantic Web), можно получать их используя стандартные методы извлечения данных из документов, опубликованных в сети. К счастью таких данных огромное количество. К примеру, с сайта Центризбиркома или иных гос. учреждений, порталов статистики. Например, можно проанализировать итоги выборов, используя в том числе оппозиционные сайты, которые изобилуют данными о нарушениях. Используя данные ЦИКа был создан такой мэшап по результатам выборов в Думу в 2011 году.
- Результаты выборов есть на сайте ЦИК и можно использовать этот сайт о выборах, финансовые отчеты партий на выборах в Думу 2011
- Единая межведомственная информационно-статистическая система
- Большое количество данных выложено на сайте проекта Ивана Бегтина
Социальные мэшапы
Можно использовать социальные сервисы, такие как Facebook, Twitter, например для анализа того, что пишут наши чиновники, и другой информации. Пример приложения «О чем говорят конгрессмены в Твиттере» я уже приводил выше. Есть и более глобальные проекты, например OpenCongress. Но это явно не для 24 часов работы!
Для поиска подходящих технологий для мэшапов можно использовать ресурс Programmable Web.
Создание полезных инструментов для разработчиков
Например, парсеров данных. Известно, что у нас опубликовано большое количество данных, однако большинство из них не структурировано, что усложняет работу с ними. На портале OpenGovData команда энтузиастов создали подобные парсеры – вы можете помочь проекту. Большая работа была проделана разработчиками Артемием Трегубенко, Александром Мальцевым, Виктором Миреевым, Иваном Бегтиным, Алексеем Капрановым и другими. Вы можете стать следующим!
Посмотрите какие общественно-значимые сервисы в России уже созданы на сайте Gov2People.
Итак, если у вас есть идеи проектов, или желание поработать в команде, или вы хорошо разбираетесь в данных/хотите разобраться – приглашаем на сайт http://opendatahackspb.pbworks.com. Там же можно найти контакты организаторов.
Давайте в комментариях соберем пул идей, которые было бы интересно реализовать.
Автор: inxaoc
