Рубрика «анализ данных» - 22

imageГордон Винтроб, редактор «GET PUT POST» — электронной рассылки об API приложений, «захвативших» рынок, недавно взял интервью у Кристины Кордовой, начальника отдела работы с клиентами Stripe — одной из самых заметных компаний среди наших западных коллег. Ранее, в рамках цикла статей о платежном сервисе, мы рассказали о его основателях — братьях Коллисон, а также о том, с чего начинал Stripe, как он выглядит изнутри, как стал многомиллиардной компанией и чем завоевал любовь своих партнеров. Сегодня же поговорим о подходе компании к партнерским отношениям и о том, как они помогают платформе расти, а также обсудим вопрос построения процесса разработки API, максимально учитывающего клиентские потребности. Далее непосредственно интервью.
Читать полностью »

В марте 2016 года у нас в devtodev вышел новый отчёт Users by level. Как видно из названия, он полезен проектам, в которых у каждого пользователя есть уровень. Это в основном игры, но сюда же можно отнести и любые другие сервисы, где пользователь перемещается по уровням, – например, обучающие приложения. Давайте поговорим об анализе уровней немного подробнее.Читать полностью »

Анализ email-сообщений за 18 лет: Неудачный эксперимент по путешествию во времени - 1

В нашем блоге мы много пишем о создании email-рассылок и работе с электронной почтой. Мы уже обсудили сложности борьбы со спамом, будущее email, вопросы защиты почтовой переписки, а также техники работы с email, а также разобрались, почему с течением времени темы почтовых сообщений становятся длиннее.

Многие люди пользуются электронной почтой уже на протяжение десятилетий — а значит, возникает вопрос о том, что анализ данных писем за долгое время может рассказать об эволюции конкретной личности. Журналист и создатель сервиса для разработки веб- и мобильных приложений Postlight Пол Форд в своем блоге на Medium опубликовал результаты эксперимента, в ходе которого он пытался создать динамическую систему поиска писем в своем почтовом ящике, в котором за 18 лет скопилось более 450 тыс. email-сообщений. Мы представляем вашему вниманию адаптированный перевод этой заметки.Читать полностью »

Вместе с компанией Edison продолжаем расследование возможностей системы Palantir.
Киберконтрразведка. Как Palantir может «сноуденов» ловить - 1

Система Palantir позволяет ловить «сноуденов», пока они еще не стали всемирными героями, а являлись просто шпионами, с которыми в любой момент могло случиться ледоруб что угодно.

Несмотря на то, что руководство Palantir как может борется за свободы и логирует все до одного действия в системе, для будущих «сноуденов» подобные системы представляют колоссальную опасность. Предупрежден, значит вооружен.

Рассмотрим кейс, когда, благодаря платформе Palantir, было проведено специальное расследование по вычислению неблагонадежного сотрудника посольства, который сливал информацию сторонней организации.

В расследовании анализировались сетевой трафик, информация роутеров, данные контактных карт и бэйджей сотрудников, события, данные соцсетей, данные видеонаблюдения. Благодаря статическому, временному анализу, анализу геоданных и визуальному анализу «крот» был раскрыт.

Тридцатого уничтожить.
(За помощь в подготовке статьи отдельное спасибо Алексею Ворсину, российскому эксперту по системе Palantir)
Читать полностью »

Рекламное агентство из Амстердама по заказу ING Bank проанализировало более 300 картин голландского художника XVII века Рембрандта Хаарменса ван Рейна, создало алгоритм, способный повторить приёмы великого художника, и напечатала на 3D-принтере портрет мужчины XVII века в его стиле.

Компьютер написал новую картину Рембрандта через 347 лет после смерти художника - 1
Читать полностью »

Хорошая статья, заслуживающая перевода для ознакомления что нам ждать от ближайщего будущего. Небольшие неточности, которые будут заметны экспертам, никак не влияют на крепкую базу собранных в одном месте тенденций и трендов развития нового «социального общества», черты которого все явственнее проявляются в рельности: и чат-боты, и эмодзи, и самоуничтожающаяся информация, сдвиг инфо-потребления и инфо-генерации в сторону видео, лингвистическая обработка и выявления фактов в гигантских объемах неструктурированного контента… Так что почитать настоятельно советуем. Почитать и сравнить с собственным видением развития окружающего вас мира.

Краткий вывод: «Общий тренд – данных все больше, используются они более эффективно – для создания умной „автоматики“, которая и будет формировать информационный образ будущего.»
Десять трендов аналитики социальных медиа в 2016 году - 1
[Картинка с сайта Sostav.ru]
Читать полностью »

image

Технологии дали нам выход нажатием одной кнопки на такси, прачечные самообслуживания, ко всей собранной информации по истории и к сексу. Но они так и не смогли дать нам сколько-нибудь достойную программу для упорядочения списка дел.

И это не означает недостаточное внимание к теме. Имеется целая область Интернета, занимающаяся увеличением производительности повседневной деятельности людей. Сюда входят 5 «простых путей» (Simple Ways), 31 «гениальный совет» (Genius Tips) и одна «таинственная уловка» (One Weird Trick). Сотни приложений составляют гамму от симпатичных формирователей списков до электронного сквалыги, который буквально изводит вас, пока вы занимаетесь своей, по его мнению, «полной ерундой». Это замечательно работает, заставляя затрачивать уйму времени на организацию и планирование вместо того, чтобы фактически получить сделанный материал. Поверьте мне, я делаю это постоянно. И я не один такой.

Стартап «iDoneThis» («Я сделал это») выявил, что 41% задач, помещённых пользователями в его систему, так и не был выполнен. Возможно, следовало бы назвать этот стартап «iAin’tDoingThis» («Я не сделал это»), потому что очевидно это, чем длиннее ваш список, тем меньше он выполняется.
Читать полностью »

Введение

В Badoo несколько десятков «самописных» демонов. Большинство из них написаны на Си, остался один на С++ и пять или шесть на Go. Они работают примерно на сотне серверов в четырех дата-центрах.

В Badoo проверка работоспособности и обнаружение проблем с демонами лежат на плечах отдела мониторинга. Коллеги с помощью Zabbix и скриптов проверяют, запущен ли сервис, отвечает ли он на запросы, а также следят за версиями. Кроме того, в отделе анализируется статистика демонов и скриптов, работающих с ними, на предмет аномалий, резких скачков и т.п.

Сбор и анализ логов демонов в Badoo - 1

Однако у нас до недавнего времени не было очень важной части — сбора и анализа логов, которые каждый демон пишет локально в файлы на сервере. Зачастую именно эта информация помогает на самом раннем этапе поймать проблему или постфактум понять причины отказа.

Мы построили такую систему и спешим поделиться подробностями. Наверняка у кого-то из вас будет стоять похожая задача, и прочтение данной статьи убережет от ошибок, которые мы успели совершить.
Читать полностью »

Школа Данных «Билайн»: весна, знания, новый курс - 1

Привет.

Итак, третий курс Школы Данных «Билайн» подходит к завершению и мы набираем четвёртый.

У нас 18 занятий, 36 часов, все основные темы машинного обучения и анализа данных, куча практики, куча домашек, два Kaggle соревнования, презентации и воркшопы от партнеров, возможность устройства в Билайн в команду BigData для лучших студентов, сокурсники из различных областей бизнеса, где применяется машинное обучение и много чего ещё.
Читать полностью »

image

В начале марта в офисе Mail.Ru Group прошла двухдневная конференция Data Fest2, посвящённая всевозможным актуальным вопросам в сфере анализа данных, как практическим, так и теоретическим. Кроме того, в рамках конференции прошёл хакатон, участники которого пытались как можно точнее предсказать результаты турнира по Dota 2, а также питч-постер сессия для исследователей, на которой были представлены различные разработки и исследовательские проекты. Предлагаем вашему вниманию видеозаписи всех выступлений на Data Fest2.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js