Рубрика «визуализация данных» - 28

Однажды в студёную зимнюю... день понадобился мне бесплатный инструмент для проектирования баз данных. Такой, который бы ещё и скрипты умел генерировать. Очень нравится Visual Paradigm, но стоит он, конечно, как самолёт. Поэтому, вооружившись гуглом и советами знакомых разработчиков, отправился я на поиски.

В итоге набрёл на весьма неплохой инструмент pgModeler. Единственное, не очень понравилось, что sql-скрипты он умеет генерировать только для PostgreSQL. Но т.к. на тот момент (да и сейчас, а то и потом) использовалась эта база данных, то этого инструмента было вполне достаточно.
Читать полностью »

— Видишь SSAS-суслика?
— Нет…
— И я не вижу. А он есть!

Суслик SSAS

(Кадр из к/ф «ДМБ»)

Поддержка относительно новой табличной (табулярной) модели данных, в противовес устоявшейся многомерной OLAP, встроена в целый ряд продуктов компании Microsoft. Начиная с SQL-сервера (SS) и заканчивая Excel. И если с SS всё понятно – в нём содержится отдельный сепаратный продукт SQL Server Analysis Services (SSAS). А как же решена поддержка языка DAX-запросов и прочей табулярной функциональности в Power BI, SharePoint или Excel? Поищем «суслика» на примере Power BI Desktop.
Читать полностью »

В прошлой статье я кратко рассказала о возможностях kepler.gl — нового Open Source инструмента для визуализации и анализа больших наборов гео-данных.

Варианты карт, созданных с помощью kepler.gl
Рисунок 1. Варианты карт, созданных с помощью kepler.gl (by Uber)

Данное веб-приложение позволяет за считанные минуты создать информативную, и что немаловажно, красочную интерактивную карту на основе произвольных наборов гео-данных. Однако, возникает вопрос что делать с ней дальше? Как поделиться полученными результатами с коллегами, друзьями или заказчиками?

Читать полностью »

МИС. Вставки и удалённые органы - 1

В МИС шаблон протокола исследования больше похож на конструктор, который может состоять из деталей разной формы и размера. В качестве строительного материала выступают рассмотренные ранее теги и их атрибуты. С их помощью в протокол можно добавить все поля, которые должны быть в нем обязательно. Однако порой возникают случаи, когда требуется расширить возможности текущего протокола исследования, добавив в него дополнительные блоки измерений. Подобные дополнительные части мы назвали вставками. В целом вставок может быть неограниченное количество. Шаблоны дополнительных частей состоят из тех же тегов, что и шаблон самого протокола, но для обозначения места вставки и описания её типа используются другие теги.

Особого внимания также требует описание удалённых органов или анатомических частей тела. Никакого отношения к вставкам они не имеют, так как потенциальные для удаления органы находятся сугубо в стандартном протоколе исследования. По умолчанию в шаблоне присутствуют все описываемые анатомии, а факт отсутствия регулируется специальным тегом. Он содержит статус соответствующей анатомии.

Рассмотрим подробнее механику работы дополнительных тегов.
Читать полностью »

На Python можно работать с данными и визуализировать их. Пользуются этим не только программисты, но и ученые: биологи, физики, социологи. Сегодня мы вместе с shwars, куратором нашего курса Python jumpstart for AI, ненадолго превратимся в метеорологов и изучим климат городов России. Из библиотек для визуализации и работы с данными используем Pandas, Matplotlib и Bokeh.

Изучаем климат городов России с помощью Python - 1

Сами исследования мы проводим в Azure Notebooks — облачной версии Jupyther Notebook. Таким образом для начала работы с Python нам не потребуется ничего устанавливать себе на компьютер и работать можно будет прямо из браузера. Необходимо лишь осуществить вход со своим Microsoft Account, создать библиотеку и в ней — новый ноутбук Python 3. После чего можно брать фрагменты кода из этой статьи и экспериментировать!
Читать полностью »

«Наши сайнтисты сгенерировали кучу графиков, а мы совершенно не знаем, куда их девать. Давайте попробуем их хоть как-то пристроить». (с) подслушано

«Плохие графики везде. В моей работе я постоянно встречаю крайне сомнительные визуализации данных. Никто не делает плохие графики намеренно. Но это происходит. Опять и опять. В каждой компании во всех отраслях экономики сотрудниками всех уровней. Это происходит в СМИ. Это происходит там, где вы ожидаете, что люди должны уметь визуализировать данные». (с) автор книги

Это происходит и здесь, на Хабре: просматривая статьи в потоке «Визуализация данных», часто ловлю себя на мысли, что не понимаю и не могу схватить суть того, что отображено. В статье рассмотрим несколько примеров. И что самое неприятное для меня, это происходит и в моей работе тоже. Не постоянно, но чаще, чем хотелось бы.

«Storytelling with Data», Cole Nussbaumer Knaflic: неформальный обзор-конспект книги - 1

Название книги «Storytelling with Data» звучало убедительно. Выбрал её для вечернего чтения и не пожалел. В книге нет формул, хитрых и необычных графиков, сложных кейсов. Понятный английский. Качественная печать. Читается как художественная литература. Книга будет полезна всем, кому приходится делать презентации на основе данных. Думаю, что особенную пользу она принесёт тем, кто занимается аналитикой данных.

Этот обзор очень неформальный: вперемешку идут мысли автора книги, мои мысли, ситуации из моей работы, а также шпаргалки по matplotlib по ссылкам. Будет много картинок. Почти все иллюстрации перерисованы из книги на Python.
Читать полностью »

Сортировки выбором - 1

В чём идея сортировок выбором?

  1. В неотсортированном подмассиве ищется локальный максимум (минимум).
  2. Найденный максимум (минимум) меняется местами с последним (первым) элементом в подмассиве.
  3. Если в массиве остались неотсортированные подмассивы — смотри пункт 1.

Читать полностью »

Сеточные системы координат, в которых плоскость делится на одинаковые симметричные элементы — на квадраты, треугольники, шестиугольники, достаточно известны. Им соответствуют квадратная, треугольная, шестиугольная симметрия. Но еще существует симметрия десятиугольная.
В ней плоскость не делится на десятиугольники, вместо этого все линии расположены под углами кратными 36°. Координаты в этой системе можно записывать целыми числами, по два целых числа на горизонтальное и вертикальное направление.

Тридцать шесть градусов красоты - 1

Расскажу как это нарисовать.

Читать полностью »

Привет! Представляю вашему вниманию перевод статьи «Auto-smooth noisy metrics to reveal trends» автора Yassine Benazzou.

image

Datadog упрощает сопоставление, сравнение и визуализацию метрик вашей инфраструктуры и приложений. Однако некоторые метрики по своей природе настолько шумны, что графики становятся нечитаемыми (ужасная проблема спагеттификации), и вы теряете способность извлекать важную информацию о тенденциях и крупномасштабных отклонениях. Специально для таких случаев, мы предоставляем несколько функций сглаживания, которые помогут вам определить тенденции в ваших метриках. Но выбор сглаживающего фильтра, который хорошо работает для всех уровней масштабирования и точек во времени, может быть трудным до невозможности. Вот почему мы создали функцию Auto Smoother, которая автоматически удаляет шум временных рядов при сохранении их формы.

Давайте рассмотрим несколько примеров, показывающих, как функция Auto Smoother может помочь вам получить больше информации из ваших графиков.

image

Вышеприведенные графики показывают одну и ту же метрику — простой CPU на одном из наших производственных кластеров — до (слева) и после (справа) применения функции Auto Smoother. Данная метрика часто колеблется между очень высокими и очень низкими значениями, что затрудняет просмотр тенденций использования CPU до тех пор, пока мы не применим функцию Auto Smoother. На обоих графиках мы видим, что пара узлов перестала работать около 11:20 утра. Но только сглаженный график дает понять, что после этого оставшиеся узлы в итоге сократили время своего простоя вдвое.
Читать полностью »

Начав выбирать себе цвет для покраски стены в комнате, я столкнулся с интересной вещью. Весь этот процесс с самого начала начал напоминать работу над каким-нибудь IT-ML-Blah-blah-blah-аналитическим проектом.

Тут есть и заказчик, который не очень понимает, что именно он хочет, но хочет, чтобы все было хорошо и ему нравилось. Еще есть несколько заинтересованных лиц со стороны заказчика, которые не могут договориться по вопросу, что такое «хорошо». Есть какие-то переформулировки задачи, которые под большим вопросом релевантны этому самому «хорошо», но по-крайней мере как-то решаемы. Есть подбор методов решения и попытки их реализовывать. Есть итеративность, которая имплицитно, но монотонно, ведет к какому-то решению, которое бы всех устроило. И есть некоторые странные выводы, которые бы с трудом можно было бы сделать в «реальном» проекте, потому что из-за общей нервозности и участия в процессе денег фокус внимания редко останавливается на этих местах процесса.

Data-driven decision на примере выбора цвета для покраски стен - 1


Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js