Рубрика «анализ данных» - 32

Однажды в магазин Target зашел мужчина и потребовал вызвать менеджера. В своих руках он сжимал огромную кипу купонов магазина, полученных его дочерью.

«Моя дочь получила это по почте! – прокричал он. – Она еще в школу ходит, а вы посылаете ей купоны на детскую одежду и памперсы? Да как вы смеете! Вы хотите таким способом побудить школьниц рожать?»

Менеджер посмотрел на пачку купонов на материнскую одежду, детскую мебель – действительно, они были адресованы дочери рассерженного мужчины. Менеджер принес свои извинения.

Через несколько дней он позвонил мужчине, чтобы еще раз извиниться. По телефону голос отца звучал растерянно. «Знаете, я серьезно поговорил с дочерью, и выяснилось, что в моем доме происходило то, о чем я совершенно не догадывался. Она рожает в августе. Примите мои извинения».

Как Target узнал, что дочь беременна до того, как об этом стало известно ее отцу? Ответ прост – благодаря системе прогнозирования беременности (pregnancy prediction system), разработанной аналитиком компании Эндрю Полом. Под катом – обо всем по порядку.
Читать полностью »

Представьте двух героев: коммерсанта Александра и сисадмина Василия. Вася, как олицетворение среднестатистического клиента, каждый вечер заходит в магазин Саши (представителя розничной сети) и покупает пиво. Саша заказывает для него 7 бутылок пива в неделю. Иногда Вася остаётся работать с ночевкой и не выходит из серверной, а иногда – после работы берёт по две бутылки пива для себя и главбуха.

Прогнозирование закупок: адская, но очень полезная математика
График спроса на пиво в зависимости от жизненных приключений Васи

Саша не может предсказать эти периоды, поэтому постоянно находится меж двух огней: либо купить больше товара, «заморозить» деньги и потратиться на его хранение, либо купить ровно по среднему спросу, рискуя в какой-то момент расстроить Васю и его друга бухгалтера отсутствием нужного количества пива.Читать полностью »

Исследователями Цюрихского технологического института был произведён анализ мирового финансового рынка методами теории графов. Ученые пытались найти наиболее влиятельные, частные финансовые структуры. В рамках работы было проанализировано порядка 85 миллионов компаний, построены зависимости между ними и выделены наиболее значимые корпорации.

Читать полностью »

За много лет работы в области web-разработки мне приходилось сталкиваться с самыми разными проблемами на этапе создания и отладки сайтов. Многие технические и идеологические проблемы многократно упоминались в различных статьях, но одна очень часто встречающаяся проблема кажется мне незаслуженно обойденной вниманием. Это учет длины строковых данных, которые будут присутствовать в элементах сайта. Речь о названиях рубрик, пунктах меню, данных во всевозможных списках, описаниях, всплывающих подсказках и так далее. Учесть все эти вещи — сложно. Но если не учесть, сложностей может оказаться еще больше. Статья предназначена, скорее, для фрилансеров или небольших групп разработчиков, где процесс разработки менее формализован, а каждый (в том числе — сомнительный) клиент более ценен, чем для более крупных web-студий. Пригодится она и тем, кто занимается web-разработкой, сидя в IT-службах крупных компаний, не желающих отдавать создание своих сайтов на сторону.
Читать полностью »

jParser делает простым чтение структур данных из двоичных файлов джаваскриптом.

  • Вы один раз описываете структуру, анализ её происходит автоматически.
     
  • Процесс анализа данных может быть расширен самописными функциями. Чем упрощается разбор нетривиальных файлов.
     
  • jParser действует и во браузере, и в NodeJS, потому что работает на основе jDataView.

API

Элементарные структуры:

  • Целые числа без знака: uint8, uint16, uint32
     
  • Со знаком: int8, int16, int32
     
  • Дробные с плавающей точкой: float32, float64
     
  • Строковые: char, string(len)
     
  • Массив: array(type, len)
     
  • Положение: tell, skip(len), seek(pos), seek(pos, func)

Методы jParser:

Читать полностью »

О погоде: модели поверх моделей

После нашей предыдущей публикации о том, каким образом IBM Deep Thunder готовит т.н. гиперлокальные прогнозы, аудитория задала множество различных вопросов о том, как все это выглядит изнутри и каким образом новая система отличается от простого прогноза погоды, как она позволяет добиваться высокой точности прогнозирования.

Мы решили подробнее рассказать о моделях прогнозирования, на которых базируется вся предсказательная деятельность Deep Thunder. Начать, конечно же, стоит со слов о том, что высоколокализированные прогнозы не для географической зоны, а, например, центра того или иного города, будь то Нью-Йорк или Рио-Де-Жанейро, представляют собой задачу, с которой не может справиться большинство моделей прогнозирования погоды. Вот что по этому поводу говорит Ллойд Трейниш (Lloyd Treinish) — человек, стоявший во главе разработки Deep Thunder с самого начала (мы упоминали его в первом посте): «Погода, очевидно, формируется не только в атмосфере. Такой широкий термин, как „погода“ описывает процессы происходящие непосредственно в атмосфере и в местах ее соприкосновения с поверхностью. На территории города необходимо следить в первую очередь за тем, как городская среда влияет на погоду, например, в местах выброса высокотемпературных отходов в атмосферу».
Читать полностью »

О погоде: гиперлокальный прогноз

Прогнозирование погоды, как и в принципе прогнозирование чего-либо с трудом подчиняющегося описанию математическими моделями — сложная компьютерная задача. Однако предсказание погодных условий, суженных до конкретной локации, области, города или квадратного километра, как прогнозирование рисков для населения и инфраструктуры — задача совсем другого типа. Именно для ее решения в компании IBM создали систему «гиперлокального» прогнозирования Deep Thunder.

Особенность «погоды на завтра» от Deep Thunder заключается в том, что в отличие от значимых для простых людей внешних условий, система фокусируется на короткосрочных прогнозах, пытаясь предсказывать все — от наводнений, до упавших линий электропередач, во временном горизонте 84 часов.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js