Архив за 02 апреля 2014

Буквально несколько часов назад завершилось открытие конференции Build 2014, на которой было сделано много интересных анонсов для разработчиков и пользователей Windows и Windows Phone.
Читать полностью »

Вступление

Прежде чем написать этот пост — я дважды рапортовал о возможной проблеме Dropbox'у, по джентельменский ждал пять дней первый раз и четыре дня после моего второго рапорта. И хоть Dropbox обязуется отвечать в течении трех дней, никаких комментариев я не получил до сих пор.

Я не ставлю целью дискредитировать сервис dropbox, а ставлю целью информировать сообщество, чтобы не повторились события произошедшие со мной. Неприятный оттеночек остался и хочется услышать комментарии dropbox'a.

Предыстория

Месяца четыре назад (не помню точно) я решил поставить android приложение Dropbox на свой Nexus 3, чтобы удобно скидывать себе на телефон книжки и музыку. До этого момента я использовал Dropbox исключительно на рабочем лаптопе, чтобы бэкапить фотографии, код от своих «домашних» проектов, базу паролей и другую незначительную чушь которую не хотелось бы потерять или иметь быстрый доступ из интернета.

Со всеми моими незначительными задачами dropbox справлялся просто шикарно. Неожиданно для себя я заметил что с моего лаптопа пропали фотографии. В папке, где раньше было много фотографий, осталась только одно фото что я делал на мобильном телефоне. Я предположил что проблема могла быть в android приложении, которое потерла все папки с фотографиями заменив их фото с телефона во время синхронизации. Я сообщил об этом в суппорт, которые не отреагировали на мои подозрения вообще никак, но любезно пытались помочь мне восстановить данные.

К сожалению, я слишком поздно это заметил (чуть больше месяца) — данные вернуть не удалось. Но лазая в истории, я заметил что помимо фотографий канули в бездну и мои доморощеные проекты. И где-то между проклятиями dropbox'a и вырыванием волос (которых у меня и так не очень много) — я вспомнил что сохранял весь код на отдельный жесткий диск. Таким образом мои потери в плане кода оказались не значительными, а вот в плане фотографий — найти удалось только фото за последние три года. Теперь мои дети не узнают о моем достаточно мрачном периоде в районе 25 лет — и не увидят меня в периоды веселых запоев и повышенной сексуальной активности (я собирал фото трофеи своих партнерш, а было чем похвастать...).

Я скинул скупую мужскую слезу, но решил не расстраиваться сильно — возможно я сам зафакапил «незнаю как», возможно какая-то тайская подруга (они отличаются темпераментом) невзлюбила и бахнула все разом… возможно… ну вообщем, чего только не возможно.
Читать полностью »

Материал будет полезен тем, кто осваивает язык R в качестве инструмента анализа табличных данных и хочет увидеть сквозной пример реализации основных шагов обработки.
Ниже демонстрируется загрузка данных из csv-файлов, разбор текстовых строк с элементами очистки данных, агрегация данных по аналитическим измерениям и построение диаграмм.
В примере активно используется функциональность пакетов data.table, reshape2, stringdist и ggplot2.

В качестве «реальных данных» взята информация о выданных разрешениях на осуществление деятельности по перевозке пассажиров и багажа легковым такси в Москве. Данные предоставлены в общее пользование Департаментом транспорта и развития дорожно-транспортной инфраструктуры города Москвы. Страница набора данных data.mos.ru/datasets/655
Исходные данные имеют следующий формат:

ROWNUM;VEHICLE_NUM;FULL_NAME;BLANK_NUM;VEHICLE_BRAND_MODEL;INN;OGRN
1;"А248УЕ197";"ООО «ТАКСИ-АВТОЛАЙН»";"017263";"FORD FOCUS";"7734653292";"1117746207578"
2;"А249УЕ197";"ООО «ТАКСИ-АВТОЛАЙН»";"017264";"FORD FOCUS";"7734653292";"1117746207578"
3;"А245УЕ197";"ООО «ТАКСИ-АВТОЛАЙН»";"017265";"FORD FOCUS";"7734653292";"1117746207578"
```

1. Загрузка первичных данных

Данные можно загружать непосредственно с сайта. В процессе загрузки сразу переименуем колонки удобным образом.

url <- "http://data.mos.ru/datasets/download/655"
colnames = c("RowNumber", "RegPlate", "LegalName", "DocNum", "Car", "INN", "OGRN", "Void")
rawdata <- read.table(url, header = TRUE, sep = ";",
             colClasses = c("numeric", rep("character",6), NA),
             col.names = colnames,
             strip.white = TRUE,
             blank.lines.skip = TRUE,
             stringsAsFactors = FALSE,
             encoding = "UTF-8")

Теперь можно приступать к анализу и визуализации…
Читать полностью »