Приветствую всех.
Хочу показать свой проект над которым я с коллегой работал последние месяцы.
Вкратце его можно охарактеризовать как Appstore + tracking + Big Data.
Все началось с того, что я заинтересовался, какие события происходят в Эпл Аппсторе, и как они влияют на рейтинги приложений.
И при этом я был крайне недоволен статистикой которую предоставляют мне такие компании как Appannie или Distimo.
Из мелких скриптов мониторинга «а что же там происходит?» и родился этот проект.
Что делает Statsios.com?
Он агрегирует весь Аппстор, каждый день, и строит полную историю изменений всех приложений, локализаций, рейтингов, цен… Всего.
При этом, у нас всегда под рукой полный и достаточно актуальный слепок Аппстора, откуда можно выудить (читай, data mining) некоторые интересные факты, не так широко известные общественности.
Мы надеемся что эта информация окажется полезной паблишерам приложений как средство мониторинга (например конкурентов или просто успешных приложений).
У нас прикручен поисковый движок; также мы предоставляем API ко всем этим данным, в надежде что кто-то сможет получить из них еще большую пользу.
Ссылка: statsios.com
Как это работает изнутри?
Поначалу дело казалось нехитрым. Первых несколько версий работали как http парсеры. Приходилось держать ферму воркеров, да еще и списки прокси, т. к. со временем политика Apple по поводу агрегации ухудшилась.
В конечном итоге отказались, т.к. удалось получить доступ к Enterprise Partner Feed (сокращенно EPF) — каждодневный (почти)полный слепок Аппстора от Apple, специально для партнеров и аффилейтов.
Если быть точным — то каждый день выкладывается инкрементальный слепок, и раз в неделю — полный. Это несколько десятков гигабайт данных каждый день которые нужно стянуть, обработать и сохранить.
С февраля у нас накопилось ~500 Гигабайт горячих данных (с учетом индексов и того что некоторые данные перепакованы для удобства выборки).
Естественно в проекте присутствуют недоработки, неточности, и просто баги. В экспериментальном режиме мы начали агрегировать упоминания ссылок на Аппстор в социальных сетях. Для отображения кумулятивного рейтинга приложения мы будем еще регулировать коэффициенты для стран/категорий (USA/ActionGames естественно, самый высокий). В целом, понять что происходит, можно.
Иногда баги встречаются в самом EPF. Один такой баг я зарепортил в Apple, и через несколько недель получил ответ о том что бага пофикшена.
Технические подробности реализации, если будет интересно, я сделаю отдельной публикацией в соответствующем блоге.
Интересные факты
- В топе паблишеров по количеству выпущеных приложений есть такие простые и привычные для нашего уха имена как
Aleksandr Drozdov (759 apps) или Xu Cun Lu (933 apps) с пиковой продуктивностью в 300-700 релизов в месяц. - Самые «тяжелые» (в мебагайтах) приложения посвящены картам и навигации.
- Некоторые паблишеры (такие как Big Fish Games) постоянно держат «выключенными» с десяток приложений, вероятно, полируя их перед следующим релизом (типично, ставят релиз дату в будущем)
- В день релизится около полутора тысяч приложений. Учитывая информацию сколько модераторов держит Эпл, можно получить представление о том сколько приложений в день аппрувит каждый модератор — 15
- Недавняя шумиха с UUID никак не повлияла на это число — модератор просто реджектил неправильное приложение и переходил к следующему из очереди (а очередь немаленькая)
- Некоторые паблишеры не отказываются от своих приложений, продолжая поддерживать их для текущих пользователей, но ставят цену в 999 USD. Некоторые ставят цены в 999 USD просто по приколу.
Автор: Urn
