В предыдущих публикациях мы уже затрагивали проблему обработки событий в реальном масштабе времени. Сегодня мы хотели бы вновь вернутся к этой теме и рассказать о новом и весьма интересном инструменте — потоковой СУБД PipelineDB.
Читать полностью »
Рубрика «анализ данных» - 23
PipelineDB: работа с потоками данных
2016-08-03 в 8:54, admin, рубрики: PipelineDB, selectel, Администрирование баз данных, анализ данных, анализ логов, базы данных, Блог компании Селектел, потоковые базы данных, селектел, метки: PipelineDBВведение в понятие энтропии и ее многоликость
2016-07-17 в 13:45, admin, рубрики: sample entropy, анализ данных, аналитика, биомедицинский сигнал, нелинейный анализ, сигнал, Читальный зал, электроэнцефалограмма, энтропия, ээгКак может показаться, анализ сигналов и данных — тема достаточно хорошо изученная и уже сотни раз проговоренная. Но есть в ней и некоторые провалы. В последние годы словом «энтропия» бросаются все кому не лень, толком и не понимая, о чем говорят. Хаос — да, беспорядок — да, в термодинамике используется — вроде тоже да, применительно к сигналам — и тут да. Хочется хотя бы немного прояснить этот момент и дать направление тем, кто захочет узнать чуть больше об энтропии. Поговорим об энтропийном анализе данных.
Читать полностью »
Как большие данные меняют рынок рекламы в СМИ
2016-07-07 в 11:04, admin, рубрики: big data, relap, анализ данных, Блог компании Surfingbird, Большие данные, Исследования и прогнозы в IT, Медиа, сбор данных, СМИ, сми в интернете, финансы в IT
8 из 10 крупнейших издательских домов Германии работают над созданием единой базы данных о своих читателях. Паралллельно данные о пользователях объединяют The Guardian, CNN, Financial Times, Reuters и The Economist.Читать полностью »
Пропорции в искусстве. Есть ли что-то лучше золотого сечения? Исследование более 1 000 000 старых и современных картин
2016-06-28 в 14:07, admin, рубрики: wikipedia, Wolfram Alpha, wolfram language, wolfram mathematica, анализ данных, анализ изображений, анализ картин, Блог компании Wolfram Research, визуализация данных, Занимательные задачки, Инфографика, математика, открытые данные, Программирование, статистический анализ, тротт, фехнер
Перевод поста Майкла Тротта (Michael Trott) "Aspect Ratios in Art: What Is Better Than Being Golden? Being Plastic, Rooted, or Just Rational? Investigating Aspect Ratios of Old vs. Modern Paintings".
Код, приведенный в статье, можно скачать здесь.
Выражаю огромную благодарность Кириллу Гузенко KirillGuzenko за помощь в переводе и подготовке публикации
Содержание
Предисловие: золотое сечение — красивая математическая концепция
Работа Фехнера 1876 года об эстетичности прямоугольников и соотношениях сторон в картинах
Легкий старт: анализ «Artwork» — области базы знаний Wolfram Knowledgebase
Первая часть: особенности вероятностного распределения соотношений сторон
Соотношения сторон для разных веков, жанров и художников
Анализируя пять старых немецких музейных каталогов
Коллекция Кресса: четыре больших PDF файла
У нас представлены коллекции следующих галерей: Метрополитен (Metropolitan), институт искусств Чикаго, Эрмитаж, Национальная Галерея (National Gallery), Рейксмюзеум (Rijks) и Тейт Британия
Исключение в соотношениях сторон: Национальная портретная галерея
Веб-галерея изящных искусств: удобная база данных, готовая к использованию
Примечание II: важность точности в измерениях
WikiArt: еще один крупный веб-ресурс
Коллекция Французского государственного музея
Картины в итальянских церквях: высота есть всё
Смитсоновская коллекция
Большая коллекция картин в Великобритании
Нынешний рынок изящных искусств: рациональней чем когда-либо
Проданные картины: большинство написаны недавно, а у распределения длинный хвост
Восток: все показатели отличаются
Пропорции пакетов, автомобилей, этикеток, логотипов, эмблем, бумаги, банкнот, почтовых марок и фильмов
— Продукты из супермаркета
— Винные этикетки
— Этикетки немецких сортов пива
— Логотипы продуктов питания
— Банкноты
— Размеры автомобилей
— Бумажные листы
— Марки
— Эмблемы команд NCAA (Национальной ассоциации студенческого спорта)
— Эмблемы немецких футбольных клубов
— Форматы фильмов
Заключение: так какое соотношение самое «лучшее»?
Картины великих мастеров — едва ли не самое прекрасное из человеческого наследия. Ими дорожили и восхищались, бережно хранили и продавали за сотни миллионов долларов, и, возможно, не по случайности они являются главной целью похитителей предметов искусства. Их композиции, цвета, детали, темы могут держать нас в восхищении и внимании часами. Но что можно сказать об отношении их внешних размеров — высоты к ширине?
В 1876 году немецкий ученый Густав Теодор Фехнер изучал человеческое восприятие прямоугольных форм, а после заключил, что прямоугольники с золотой пропорцией (то же, что и золотое сечение) наиболее приятны для человеческого глаза. Чтобы проверить свои экспериментальные наблюдения, Фехнер также проанализировал соотношения более десяти тысяч картин.
Читать полностью »
Почему не взлетел Pied Piper: наш разбор 9 серии 3 сезона сериала «Кремниевая долина»
2016-06-24 в 9:55, admin, рубрики: анализ данных, аналитика, аналитика приложений, Блог компании devtodev, Облачные вычисления, облачные сервисы, приложения, разработка мобильных приложений, силиконовая долина, хранение данныхОсторожно, данный текст содержит спойлеры! Если вы смотрите сериал “Кремниевая долина” и еще не видели 9 серию 3 сезона, то не читайте эту статью.
Напомню, что Pied Piper — это сервис эффективной компрессии и облачного хранения файлов, который в этой серии выходит на массовый рынок, и пока что выходит не совсем успешно.
Анализируем как успешное трудоустройство и зарплата зависят от вуза, специальности и региона
2016-06-10 в 14:21, admin, рубрики: data mining, data science, ibs, анализ данных, аналитика, Блог компании IBS, визуализация, всё равно никто не читает теги, вузы, данные, образование, открытые данные, профессии, учебный процесс
Привет!
В 2014 году мы совместно с несколькими министерствами и ведомствами дали старт мониторингу трудоустройства российских вузов, результаты которого были опубликованы в 2015 году на портале http://graduate.edu.ru/.
Мониторинг проводился среди выпускников 2013 года (у них было достаточно времени, чтобы найти работу). Сейчас идет работа над мониторингом выпускников 2014 года и мы решили рассказать вам о целях и результатах прошлогоднего проекта. Если вам интересно узнать, как размер зарплаты и успех трудоустройства зависит от вуза, специальности и региона, добро пожаловать под кат.
Читать полностью »
Теория графов в Игре Престолов
2016-06-09 в 7:05, admin, рубрики: c++, valar morghulis, Алгоритмы, анализ данных, графы, Занимательные задачки, игра престолов, песнь льда и пламени, Программирование, теория графов
Недавно, на Geektimes я опубликовал статью, где привёл немного поверхностной статистики из серии книг «Песнь льда и пламени». Но я не стал углубляться в самую интересную часть, в граф социальных связей, ибо тема заслуживает отдельного внимания. В этой статье я продемонстрирую как теория графов может помочь при анализе подобных данных и приведу реализации алгоритмов, которыми я пользовался.
Всем кому интересно, добро пожаловать под кат.
Читать полностью »
API и партнерские отношения Stripe: взгляд изнутри
2016-05-27 в 9:40, admin, рубрики: api, payonline, stripe, анализ данных, Блог компании PayOnline, интервью, клиенты, Кристина Кордова, партнеры, прем платежей, приложения, разработка, финансы в IT
Гордон Винтроб, редактор «GET PUT POST» — электронной рассылки об API приложений, «захвативших» рынок, недавно взял интервью у Кристины Кордовой, начальника отдела работы с клиентами Stripe — одной из самых заметных компаний среди наших западных коллег. Ранее, в рамках цикла статей о платежном сервисе, мы рассказали о его основателях — братьях Коллисон, а также о том, с чего начинал Stripe, как он выглядит изнутри, как стал многомиллиардной компанией и чем завоевал любовь своих партнеров. Сегодня же поговорим о подходе компании к партнерским отношениям и о том, как они помогают платформе расти, а также обсудим вопрос построения процесса разработки API, максимально учитывающего клиентские потребности. Далее непосредственно интервью.
Читать полностью »
5 сценариев для анализа уровней в вашем приложении
2016-05-11 в 12:41, admin, рубрики: анализ данных, аналитика, Аналитика мобильных приложений, аналитика приложений, Блог компании devtodev, веб-аналитика, игры, игры для мобильных устройств, Монетизация IT-систем, монетизация игр, приложенияВ марте 2016 года у нас в devtodev вышел новый отчёт Users by level. Как видно из названия, он полезен проектам, в которых у каждого пользователя есть уровень. Это в основном игры, но сюда же можно отнести и любые другие сервисы, где пользователь перемещается по уровням, – например, обучающие приложения. Давайте поговорим об анализе уровней немного подробнее.Читать полностью »
Анализ email-сообщений за 18 лет: Неудачный эксперимент по путешествию во времени
2016-04-22 в 10:25, admin, рубрики: email, анализ данных, Блог компании Pechkin-mail.ru, электронная почта 
В нашем блоге мы много пишем о создании email-рассылок и работе с электронной почтой. Мы уже обсудили сложности борьбы со спамом, будущее email, вопросы защиты почтовой переписки, а также техники работы с email, а также разобрались, почему с течением времени темы почтовых сообщений становятся длиннее.
Многие люди пользуются электронной почтой уже на протяжение десятилетий — а значит, возникает вопрос о том, что анализ данных писем за долгое время может рассказать об эволюции конкретной личности. Журналист и создатель сервиса для разработки веб- и мобильных приложений Postlight Пол Форд в своем блоге на Medium опубликовал результаты эксперимента, в ходе которого он пытался создать динамическую систему поиска писем в своем почтовом ящике, в котором за 18 лет скопилось более 450 тыс. email-сообщений. Мы представляем вашему вниманию адаптированный перевод этой заметки.Читать полностью »