Исследование проводилось в целях создания корпуса слов сайтов, заблокированных государственными органами Российской Федерации.
Читать полностью »
Рубрика «визуализация данных» - 51
Частотный словарь запрещенных сайтов
2016-03-29 в 15:22, admin, рубрики: data mining, визуализация данных, запрещенные сайты, корпус слов, открытые данные, Роскомнадзор, СемантикаPalantir и отмывание денег
2016-03-29 в 11:59, admin, рубрики: big data, edisonsoftware, Palantir, аналитика, Блог компании Edison, визуализация данных, интерфейсы, информационная безопасность, разведка, разработка, слежкаВместе с компанией Edison продолжаем расследование возможностей системы Palantir.
Palantir — частная американская компания, разработчик программного обеспечения анализа данных для организаций, основные заказчики — спецслужбы, инвестиционные банки, хедж-фонды. Основана в 2003 году группой инвесторов — выходцев из PayPal во главе с Питером Тилем.
До 2008 года ЦРУ было единственным заказчиком компании, когда с его разрешения программное обеспечение Palantir начало внедряться правоохранителям и в другие американские спецслужбы. С 2010 года началась активная кампания по публичному продвижению продукции компании на широком рынке.
В конце 2010 года представлены результаты шестнадцатимесячной разработки Palantir для тактико-аналитической поддержки военных операций в Афганистане, проводимых Армией США, в которой кроме серверных технологий и настольных клиентских программ применены также мобильные приложения для носимых устройств; вскоре в прессе появились сведения о том, что технологии Palantir предположительно были задействованы в спецоперации по уничтожению лидера «Аль-Каиды» Усамы бин Ладена весной 2011 года.
По состоянию на начало 2016 года считается четвёртым по капитализации стартапом в мире (после Uber, Xiaomi и Airbnb) с оценкой стоимости бизнеса в $20 млрд.
На официальном канале Palantir есть видео с демонстрацией работы аналитика, использующего систему Palantir в ходе расследования отмывания денег. По-моему, как-то так видели пользу информационных технологий «отцы-основатели» Вэнивар Буш («As We May Think»), Дуглас Энгельбарт («The Mother of All Demos») и Джозеф Ликлайдер («Интергалактическая компьютерная сеть» и «Симбиоз человека и компьютера»), о которых я писал немного ранее.
(За помощь с переводом спасибо Ворсину Алексею)
Визуализируем данные тренировок с DevExpress Dashboard
2016-03-28 в 8:01, admin, рубрики: .net, C#, dashboard, devexpress, Блог компании DevExpress, визуализация данных, разработка 
Не секрет, что среди айтишников много тех, кто любит физическую активность. Возможно, это вызвано сидячим характером работы и желанием позаботиться о своем здоровье. Или, может быть, это просто мода на велосипеды, бег и плавание. В любом случае, некоторые из тех, кто любит физическую активность, занимаются любительским спортом или регулярно тренируются.
Лирическое отступление
Если ты не занимался в детстве никаким циклическим видом спорта, то увлечение спортом может начаться покупкой велосипеда. Велосипед, конечно же, выбирается после изучения множества отзывов и рекомендаций и чтения веломании, и обязательно не «ашанбайк» (см. недавно пролетавшую по интернету шутку про то, как бесит во всем разбираться). Потом получается, что на купленном крутом горном велосипеде кататься по парку и по городу не очень-то интересно, и ты ищешь единомышленников, начинаешь регулярно участвовать в покатушках местного велоклуба и возможно попадаешь на свою первую в жизни любительскую КК гонку. Там вдруг оказывается, что твоя физическая форма позволяет занять почетное место только где-то в конце списка. После этого, если ты не скажешь «ну их, эти гонки», а начнешь изучать ту же веломанию, но уже на предмет тренировок, читать «Библию велосипедиста», зарегистрируешься на страве (http//strava.com), начнешь регулярно тренироваться и вести дневник тренировок — вот тогда начнется спорт, пусть и любительский.
Другая вещь, которую любят айтишники, это разнообразная статистика и цифры. Обычные спортивные сервисы не позволяют как-то играться со статистикой, предоставляя лишь стандартные виды отчетов, вроде счетчиков пробега или времени по неделям и дням недели и видам активности. Так уж получилось, что автор этих строк одновременно и тренируется, и участвует в разработке DevExpress Dashboard. И конечно же мне захотелось самому сделать дэшборд (и показать всем, как это легко) по данным из своего дневника тренировок.
Читать полностью »
Визуальные искажения данных
2016-03-24 в 11:29, admin, рубрики: Блог компании тренинги Романа Поборчего, визуализация данных, выступления, Презентации, управление персоналом, Учебный процесс в IT Важно: эта статья не про политику!
Источник: info.minfin.ru/fbrash.php
Диаграмма расходов бюджета с сайта Минфина прекрасна во многих отношениях, именно с неё я начну рассказ о том, как мы, зачастую непреднамеренно, искажаем данные, выбирая для них неподходящую визуализацию. Искажение данных — на мой взгляд, безвыигрышный путь: тех, кто не заметит проблему, мы введём в заблуждение, а те, кто заметит, возможно, подумают, что мы это специально, ещё и гадостей напишут в этих ваших интернетах. Имхо, искажать данные следует только умышленно. Давайте разберёмся, как избежать в этом вопросе случайностей.
Читать полностью »
1 000 000 жилых домов России
2016-03-21 в 21:26, admin, рубрики: big data, data mining, визуализация данных, Геоинформационные сервисы, жек, открытые данные, Россия, метки: жек Есть прекрасный сайт www.reformagkh.ru. На нём можно найти, управляющую компанию, закреплённую за домом, сколько денег, на что тратится и всё такое. Но кроме этого можно узнать разные интересные вещи о нашей стране в целом, например, для каждого дома на сайте указана дата его постройки, поэтому можно посмотреть, как строилась Москва с 1900 года:
Ещё более эпичная картинка получается, если посмотреть на Россию целиком:
Читать полностью »
Генерация и визуализация многомерных данных с R
2016-03-20 в 12:53, admin, рубрики: R, Блог компании Инфопульс Украина, визуализация, визуализация данных, генерация данных Возможность генерировать данные с заданной корреляцией очень важна для моделирования. В R ожидаемо обширный набор инструментов — пакетов и функций для генерации и визуализации данных из многомерных распределений. Базовая функция для генерации многомерных нормально распределенных данных — mvrnorm() из пакета MASS, части R, хотя пакет mvtnorm также предлагает функции для симуляции и многомерного нормального, и t-распределения.
Читать полностью »
Kibana-мать или Зачем вам вообще нужны логи?
2016-03-09 в 12:04, admin, рубрики: bunyan, elasticsearch, kibana, logstash, lua-nginx-module, node.js, ucoz, uKit, Блог компании uTeam, Веб-разработка, визуализация данных, системное администрированиеВы можете сказать, что “иногда бывает нужно...” Но на самом деле, вы хотите всегда видеть, что у вас в логах, через графический интерфейс. Это позволяет:
- Облегчить жизнь разработчикам и сисадминам, время которых просто жалко и дорого тратить на написание grep-конвейеров и парсеров под каждый отдельный случай.
- Предоставить доступ к информации, содержащейся в логах, умеренно-продвинутым пользователям — менеджерам и техподдержке.
- И видеть динамику и тенденции появления залогированых событий (например, ошибок).
Так что сегодня вновь поговорим о стэке ELK (Elasticsearch+Logstash+Kibana).
Но на этот раз — в условиях json-логов!
Такой use case обещает наполнить вашу жизнь совершенно новыми красками и заставит испытать полную гамму чувств.
Захвати и визуализируй! Или гистограмма с микрофона средствами Web Audio API
2016-03-09 в 9:11, admin, рубрики: devexpress, devextreme, javascript, JS, webapi, Блог компании DevExpress, визуализация данных, Программирование, Работа со звуком
Я очень люблю «живые» графики. Смертельная скука — смотреть на статичные картинки с цифрами. Мне хочется, чтобы график завораживал, чтобы заставлял человека, который смотрит на него, взаимодействовать и открывать для себя новые грани всех данных на нем. Поэтому любой пример, что попадает мне в руки, и любая библиотека визуализации, которой не повезло оказаться на моей машине, проходит испытание “оживлением”. Вот и в очередной раз, раздумывая, как же еще я могу раскорячить визуализационные виджеты из DevExtreme библиотеки, я задумалась об отображении звука. «Интересно и живо» — подумала я в тот день, запаслась чаем с печеньками и засела за эту задачу. Что у меня в итоге вышло — узнаете под катом.
Читать полностью »
Как самостоятельно проанализировать рынок труда
2016-03-06 в 16:32, admin, рубрики: анализ данных, визуализация данных, открытые данные, поиск работы в it На данный момент IT в целом — это одно из самых динамично развивающихся направлений. Каждый день появляется сотня новых библиотек, каждый месяц кто-нибудь придумывает новый язык или платформу — да что там, появляются целые направления. Время бежит и какие-то строки в Вашем резюме устаревают — грубо говоря, они больше не добавляют Вам очков в глазах работодателя. А какие-то навыки наоборот, могли бы существенно поднять Ваш рейтинг.
Как не потеряться в этом море возможностей, выбрать главное и не ошибиться? Очевидно, нужно держать руку на пульсе и отслеживать рынок труда. О том как это можно сделать с помощью собственного велосипеда — под катом.
Читать полностью »
Доллар
2016-03-02 в 23:45, admin, рубрики: data mining, java, Алгоритмы, визуализация данных, доллар аналитика data mining, хабрахабр, метки: доллар аналитика data mining 
Последние два года вся страна пристально следит за курсом доллара. Новостные выпуски пестрят громкими репортажами о долларе. Все говорят о долларе. А что, если мы на фоне горячего интереса, разберемся с тем, как формируется цена доллара, посмотрим кто и как торгует валютой?! Все результаты, представленные в данной статье, получены на основе официальных торговых данных full orders log (полный журнал заявок), купленные на Московской Бирже. Мы покажем реальные торги изнутри. Параллельно, познакомимся со стандартными методами анализа рынка. Такая аналитика стоит не малых денег и её могут позволить ограниченное число «компаний».
Инструментом для анализа данных будет Java. Анализируемый биржевой инструмент — USDRUB_TOM. Наша задача вытащить любопытные детали из имеющихся данных и попробовать сделать определенные выводы.
Читать полностью »