Продолжаем серию статей по доступной автоматизации в IP-сети. У каждого из инженеров, работающих с сетью Интернет, так или иначе периодически возникает потребность измерения скорости загрузки Веб странницы. Для этого существует множество инструментов, один из них это утилита wget. Например, для измерения скорости загрузки можно из консоли (Unix/Linux) воспользоваться такой командой:
[root@localhost ~]# wget -E -H -p -Q300K --user-agent=Mozilla --no-cache --no-cookies --delete-after --timeout=15 --tries=2 habrahabr.ru 2>&1 | grep Downloaded
Downloaded: 7 files, 411K in 0.3s (1.22 MB/s)
Следует отметить, что ограничение Q300K достаточное чтобы понять скорость загрузки, особенно если сетевая задержка до сайта более 10мс. При этом результаты скорости будут не очевидны если количество скаченной информации меньше 100K.
Но что, если есть потребность отслеживать скорость загрузки ресурса на постоянной основе? Вопрос можно попробовать решить при помощи небольшого скрипта, системы мониторинга (умеющей запускать скрипты) и гидроизоляционного скотча. Читать полностью »
Рубрика «визуализация данных» - 40
Автоматизация IP-сети. Часть2 – Мониторинг скорости открытия Веб страниц
2017-07-09 в 10:49, admin, рубрики: Cisco, huawei, IP, juniper, python, python3, wget, визуализация данных, мониторинг сайта, Сетевые технологииЧем занимались пиарщики РПЦ в день встречи Путина и Трампа на G20?
2017-07-08 в 6:41, admin, рубрики: data mining, g20, statoperator, визуализация данных, данные, иформационное поле, путин, рпц, трамп
В рамках данной стати мы будем проводить замеры динамики пульсации сущностей в информационном пространстве.
Читать полностью »
Делаем data science-портфолио: история через данные
2017-07-01 в 10:13, admin, рубрики: data mining, data science, python, визуализация данных, математикаПеревод внезапно удачно попал в струю других датасайенсных туториалов на хабре. :)
Этот написан Виком Паручури, основателем Dataquest.io, где как раз и занимаются подобного рода интерактивным обучением data science и подготовкой к реальной работе в этой области. Каких-то эксклюзивных ноу-хау здесь нет, но очень подробно рассказан процесс от сбора данных до первичных выводов о них, что может быть интересно не только желающим составить резюме на data science, но и тем, кто просто хочет попробовать себя в практическом анализе, но не знает, с чего начать.
Data science-компании всё чаще смотрят портфолио, когда принимают решение о приёме на работу. Это, в частности, из-за того, что лучший способ судить о практических навыках — именно портфолио. И хорошая новость в том, что оно полностью в вашем распоряжении: если постараетесь – сможете собрать отличное портфолио, которым будут впечатлены многие компании.
Табы, пробелы и ваша зарплата — какая связь?
2017-06-27 в 11:43, admin, рубрики: open source, Блог компании Mail.Ru Group, визуализация данных, математика, никто не читает теги, открытые данные, пробелы, табуляция
Пару дней назад Дэвид Робинсон опубликовал на Stack Overflow статью с очень провокационным названием: Разработчики, использующие пробелы, зарабатывают больше использующих табуляцию (перевод на Хабре). Автор взял данные из исследования разработчиков, проведённого Stack Overflow, и в самом деле показал, что использование пробелов ассоциируется с более высокими зарплатами, даже принимая в расчёт одинаковый уровень опыта. Так что, нужно вместо табуляций использовать пробелы, чтобы увеличить свою зарплату?
Дизайн города, основанный на данных. Лекция в Яндексе
2017-06-25 в 10:17, admin, рубрики: автобусы, Блог компании Яндекс, визуализация данных, Геоинформационные сервисы, город, городская среда, городское проектирование, картографические сервисы, общественный транспорт, открытые данные, проектирование систем, транспорт, транспортные системыПод катом вы найдёте расшифровку лекции Андрея karmatsky. Он долгое время руководил службой дизайна геоинформационных сервисов Яндекса, а затем основал компанию Urbica, которая занимается анализом и обработкой городских данных. Андрей рассказывает о примерах того, как подход, ориентированный на данные, помогает улучшать городские сервисы.
Большая часть слайдов — тоже под катом.
Как мы собрали 1500 звезд на Гитхабе, соединив проверенную временем технологию и новый интерфейс
2017-06-23 в 13:25, admin, рубрики: api, css, github, graphql, GraphViz, open source, postcss, визуализация графов, визуализация данных, документация API
Недавно мы выпустили инструмент с открытым исходным кодом GraphQL Voyager. Удивительно, но он попал на первую страницу новостей Hacker News и GitHub, и в первые несколько дней получил 1000+ звезд. Сейчас у него уже более 1600 звезд.*
Людям понравился гладкий интерфейс, интерактивные функции и анимация. Мы использовали TypeScript, React, Redux, webpack и даже PostCSS, но это НЕ еще одна статья об этом. Давайте заглянем под капот...
Об использовании видеокамер с распознаванием символов на низкопроизводительных вычислительных устройствах
2017-06-19 в 15:37, admin, рубрики: LoRaWAN, ocr, автоматизация парковок, автотранспорт, Анализ и проектирование систем, визуализация данных, обработка изображений, оптическое распознавание, платежные системы, Разработка для интернета вещей, системы платной парковки, удаленное считывание показаний
Ранее, в статье рассказывалось о разработке метода распознавания, позволяющего осуществлять оптическое распознавание символов из видео «на лету». В качестве доказательства эффективности нового метода использовалась его реализация на устройстве, совершенно для этого не предназначенным — микроконтроллере esp8266. В ходе обсуждения возник вопрос: где можно использовать устройства с распознаванием на борту (считыватель)? Да еще и ценой менее $50. Понятно, что там же где и используются устройства подороже, но хотелось бы обсудить и другие варианты. Надеемся на помощь читателей в этом вопросе. А что видим мы?
Читать полностью »
Динамическая таблица поверх Google Maps
2017-06-14 в 16:33, admin, рубрики: Google Maps, javascript, Maps API, визуализация данныхВведение
Вам когда-нибудь нужно было отображать крупные массивы данных с привязкой к карте? Мне на работе понадобилось отображать заказы сгруппированные по широте и долготе. И не просто статической таблицей, а динамической, с разной детализацией для разного приближения карты.
К сожалению (или к счастью?), готовых решений я не нашёл. Google Карты позволяют накладывать маркеры и фигуры на карты, но эти способы представляют слишком мало информации. С Яндекс картами оказалось не лучше. Но Карты Гугл имеют механизм пользовательских наложений с HTML-содержанием. И для инкапсуляции этой работы с картами и наложениями я создал JavaScript библиотеку GMapsTable. Возможно, кому-нибудь она окажется интересной или полезной. Рабочий пример.
Сервис сбора статистики с Flussonic
2017-06-14 в 14:57, admin, рубрики: Erlang/OTP, flussonic, ReactJS, Блог компании Эрливидео, визуализация данных, сервис статистики, статистикаВсем привет, хочу рассказать про наш первый сервис, который мы собираемся оказывать нашим клиентам: сбор статистики и отчеты.
Много лет мы только продавали софт, теперь мы приготовили к запуску сервис по сбору статистики и предоставлению отчетов. У нас берут Flussonic, запускают его на своих серверах, абоненты смотрят видео с этих инстансов Flussonic и создаются записи о сессиях просмотра.
Эти сессии как раз сливаются в наш сервис и мы покажем отчеты, сделанные по ним, в личном кабинете.
Читать полностью »
Отзывчивые столбчатые диаграммы с Bokeh, Flask и Python 3
2017-06-12 в 9:15, admin, рубрики: bokeh, flask, python, virtualenv, визуализация данных, метки: bokehОт переводчика
Недавно наткнулся в python digest на туториал по Flask+Bokeh. Туториал ориентирован на новичков, не требуется даже знать синтаксис Python и HTML. Примеры работают под Ubuntu 16.04, на Windows немного отличается работа с виртуальными окружениями.
