Всем привет! Это небольшой пост (с большим количеством картинок) о визуализации и анализе комментариев на ютубе. Предыдущие посты: 1, 2.
В этот раз мы поговорим о комментариях, которые отличаются от большинства других комментариев и представлены в виде отдельных регионов. Обычно они ассоциируются с поведением ботов, но это может быть и другое автономное сообщество комментаторов. Что они из себя представляют и как их находить на ютубе? Давайте выясним.
Рубрика «визуализация данных» - 29
Как находить ботов на ютубе: внешние паттерны взаимодействия комментаторов
2018-08-29 в 21:39, admin, рубрики: YouTube, боты, визуализация графов, визуализация данных, комментарииКак Microsoft забыла про полмира или читайте сообщения об ошибках
2018-08-29 в 12:35, admin, рубрики: big data, matplotlib, Power BI, power bi desktop, pyplot, python, визуализация данных, локализация, Локализация продуктов, решение проблем
Нет, это статья не про то, какой огромный и злобный монстр компания Microsoft. И как она опять обижает пользователей. А про то, как исправить досадный изъян, появившийся с последним, августовским обновлением Power BI Desktop c включённой поддержкой Python, а именно проблемы с визуализацией в локализованных версиях PBI, в частности matplotlib.
В первой декаде августа Microsoft выпустила давно и с нетерпением ожидавшийся релиз своего действительно замечательного BI-продукта с поддержкой языка Python. На момент написания статьи эта функциональность находится в разделе предварительных возможностей (т.е. просто бета-версия).
Читать полностью »
Поддержка Python в Power BI
2018-08-27 в 7:00, admin, рубрики: data, data science, microsoft, Power BI, python, анализ данных, Блог компании Microsoft, визуализация, визуализация данных, математикаМы рады сообщить, что Python, язык программирования, широко используемый статистиками, учеными и аналитиками, теперь интегрирован в наш open-source Power BI Desktop. После включения функции в настройках вы cможете использовать Python для очистки, анализа и визуализации данных. Подробнее под катом!
Отображаем состояние расчётного счёта на графике
2018-08-26 в 20:53, admin, рубрики: визуализация данных, гистограмма, график, информационный дизайн, японские свечиНедавно мне на глаза попалась статья про одну из систем финансового учёта. Помимо всего прочего, она позволяла контролировать остатки на расчётном счёте, предупреждая об опасности возникновения кассовых разрывов. Там были вот такие графики:
Что с ними не так, и можно ли сделать лучше — читайте под катом.
Читать полностью »
Как превратить графики в звук, и зачем это нужно
2018-08-26 в 13:07, admin, рубрики: Аудиомания, Блог компании Аудиомания, визуализация данных, звукДиаграммы и инфографика — эти форматы представления данных часто недоступны незрячим и слабовидящим людям. Разработчики из американской компании SAS Institute постарались решить эту проблему, создав бесплатный браузерный плагин Graphics Accelerator.
Его задача — перевести графическую информацию в звуковую. Сегодня мы рассказываем о разработке SAS Institute и других кейсах, где звук помогает «видеть».
Бизнес-аналитика: как отказаться от Excel, не отказываясь от него
2018-08-23 в 6:03, admin, рубрики: Excel, Power BI, Блог компании Инфосистемы Джет, визуализация данных, миграция, Софт, хранение данных
Наверняка каждому из вас знакома ситуация, когда организация начинала вести внутреннюю аналитику в Excel, потому что его возможностей было более чем достаточно. Но с ростом компании задачи усложняются, объёмы данных растут, и Excel начинает сначала кряхтеть, а затем превращается в «небесного тихохода», по вине которого ежедневно впустую теряется масса оплачиваемого рабочего времени.
Наш сегодняшний рассказ про то, как компания федерального уровня с большим документооборотом переходила с реестра в виде громоздких Excel-файлов на нормальный, вменяемый BI-инструмент. Ну хорошо – про наше видение, как компания должна переходить (клиент пока ещё не принял окончательного решения).
Читать полностью »
Пишем GeoIP exporter для Prometheus с визуализаций в Grafana за 15 минут
2018-08-20 в 7:42, admin, рубрики: devops, Go, Grafana, monitoring, prometheus, визуализация данных
Привет всем!
Я хочу поделиться с вами тем, как легко можно написать свой экспортер для Prometheus на Golang и покажу как это можно сделать на примере небольшой программы, которая следит за тем, откуда географически установлены текущие TCP соединения.
Получаем разницу между бинарными файлами при помощи vcdiff
2018-08-11 в 8:07, admin, рубрики: vcdiff, xdelta3, визуализация данных, системное администрирование, сравнение файловПонадобилось мне это для того чтобы понять в каком месте и как файл JPEG испорчен в процессе передачи.
VCDIFF — формат и алгоритм для дельта кодирования. Описан в RFC 3284.
Дельта-кодирование (англ. Delta encoding) — способ представления данных в виде разницы (дельты) между последовательными данными вместо самих данных.
Для примера я использую текстовые файлы в кодировке Windows-1251 для наглядности. Но с таким же успехом это могут быть и бинарные файлы.
Исходники:
"копия текст копия" ( source.txt )
"копия изменения копия" ( target.txt )Нужно получить разницу между файлами:
" изменения " ( source.txt -> target.txt )
" текст " ( target.txt -> source.txt )Я пользуюсь программой xdelta3 но думаю подойдёт любая которая работает с форматом vcdiff.
Как получить
Нам понадобится ещё один файл заполненный пробелами:
" " ( spaces.txt )Он должен быть больше или равен по размеру файлу источнику ( source.txt )
Команда:
xdelta3 -e -A -n -s source.txt target.txt | xdelta3 -d -s spaces.txtРезультат:
изменения Использованные флаги:
-e — создание дельты
-A — убирает лишние заголовки
-n — убирает crc (он не даёт применить дельту с другим источником)
-s [файл] — источник с которым сравнивается целевой файл и восстанавливается
-d — получение целевого файла из дельты и источника
Ни GA, ни ЯМ. Как мы сделали собственный кликстрим
2018-08-09 в 12:48, admin, рубрики: big data, Анализ и проектирование систем, аналитика, Блог компании Avito, визуализация данных, высокая производительность, кликстримМы собираем более двух миллиардов аналитических событий в сутки. Благодаря этому можем узнать кучу необходимых вещей: нажимают ли на сердечки больше, чем на звёздочки, в какие часы пишут более развёрнутые описания, в каких регионах чаще промахиваются по зелёным кнопкам.
Систему сбора и анализа событий можно обобщённо назвать кликстримом. Расскажу о технической стороне кликстрима в Авито: устройство событий, их отправка и доставка, аналитика, отчёты. Почему хочется своё, если есть Google Analytics и Яндекс.Метрика, кому портят жизнь разработчики кликстримов и почему go-кодеры не могут забыть php.
Визуализация комментариев ютуб-каналов международных и локальных touhou-сообществ
2018-07-31 в 14:16, admin, рубрики: gephi, YouTube, визуализация данных, графы, комментарииВсем привет! Мы развиваем идеи первого поста и продолжаем визуализировать и изучать комментарии на ютубе. На этот раз мы поработаем с глобальными и локальными ютуб-сообществами. Как взаимодействуют комментаторы, которые пишут на разных языках? Собирается ли из множества локальных групп единое глобальное сообщество, или дело сложнее, чем кажется? И причем здесь Touhou Project? Давайте выясним.
