В нашем блоге мы не только пишем о технологиях обеспечения приватности, но и рассказываем о реальном применении сервиса Infatica для решения бизнес-задач. Сегодня речь пойдет о применении сервиса резидентных прокси в сфере Data Mining.
Что такое Data Mining
Data Mining (или дата майнинг) — это процесс выявления полезных для бизнеса фактов, закономерностей и других инсайтов на основе анализа больших объемов данных (Big Data). Помимо, собственно, алгоритмов и инструментов для анализа данных, ключевой задачей является сбор нужного объема информации для дальнейшего «майнинга».
Один из наиболее популярных в последние несколько лет способов сбора данных – их скачивание с веб-сайтов, подпадающих под нужные критерии. Этот процесс получил название веб-скрейпинга (web scrapping), и при его реализации компании сталкиваются с рядом сложностей.
В каких отраслях используют веб-скрейпинг
Короткий ответ – везде, где анализ данных позволяет принимать более эффективные бизнес-решения. Например, в сфере электронной коммерции компании мониторят изменения цен на сайтах конкурентов – это позволяет гибко менять стоимость товаров и публиковать маркетинговые акции, чтобы переманивать покупателей.
Данные с разных сайтов и из соцсетей собирают также для проведения исследований спроси и настроений потенциальных покупателей (sentiment analysis).
Маркетологи собирают информацию о рекламных кампаниях конкурентов – какие объявления и на каких площадках они публикуют, как они отличаются для различных регионов в рамках одной страны или в целом по миру.
Сложности веб-скрейпинга
Количество компаний, использующих этот метод сбора данных, за последние годы выросло в сотни раз. В основном организации применяют веб-скрейпинг для анализа активности конкурентов или изучения рынка.
Как правило, «скрейпинг» реализуется с помощью специализированного софта. По сути это робот, который заходит на сайт и скачивает контент с него. А поскольку это довольно распространенная практика и руководители многих компаний уже знают о ней, то нередки случаи противодействия этому методу сбора данных.
Если компания-конкурент распознает робота-скрейпера, то может заблокировать его или, в некоторых случаях, специально отобразить для него заведомо некорректную информацию. В результате можно получить неверные данные для анализа, сделать ложные выводы, которые приведут к серьезным убыткам для бизнеса.
Поэтому важно противодействовать попыткам заблокировать или сфальсифицировать данные для дата майнинга. Сделать это можно с помощью резидентных прокси.
Как резидентные прокси помогают для задач дата майнинга: кейс Infatica
Как же избежать обнаружения вашей активности по сбору данных и последующей блокировки или их фальсификации? Прежде всего, нужно понять, как вообще работают системы обнаружения веб-скрейпинга.
Чаще всего они выявляют роботов-скрейперов и блокируют их на основании IP-адреса. Во многих случаях такие системы используют так называемые серверные IP, которые предоставляют компаниям . Узнать, принадлежит ли конкретный адрес к пулу определенного провайдера несложно: информация об этом указывается в ASN-номере, связанным с конкретным IP. Существует множество сервисов для автоматической проверки, их активно используют антибот-системы. Им не составляет труда заблокировать обращения с серверных IP.
Гораздо сложнее сделать это в случае использования резидентных прокси. Резидентными называют IP-адреса, которые интернет-провайдеры выдают владельцам жилья, они отмечаются в базах данных региональных интернет-регистров (RIR). Резидентные прокси используют именно такие IP, поэтому запросы с них неотличимы от тех, что отправлены реальными пользователями.
Таким образом использование механизма ротирования резидентных прокси Infatica позволит обойти защиту от веб-скрейпинга – подключения будут идти с разных адресов, и для сервера все они будут выглядеть, как запросы обычных пользователей. А блокировать потенциальных клиентов бизнеса никто не будет.
В системе Infatica доступно более 100 стран и регионов. Поэтому наши заказчики из сферы Data Mining могут собирать данные, в разных регионах не вызывая подозрений у систем противодействия скрейпингу.
Автор: lol_wat
