Типичная ситуация, вы продвигаете сайт и взамен запланированных позиций в поисковой выдаче получаете странные результаты. Но ведь вы делали все правильно? В процессе анализа произошедшего переходите на сайт клиента и обнаруживаете совершенно другой контент. Ругаться с клиентом нельзя, мы его любим, но иметь возможность контролировать то, что делает клиент на своём сайте, очень хочется. Ведь виноватым в плохих результатах оптимизации окажетесь именно Вы. Попав в очередной раз в такую ситуацию я решил автоматизировать мониторинг изменений на сайтах и описать как я выбирал для этого инструмент.
Задача
Найти программу способную автоматизировать мониторинг изменения контента на стороннем сайте. Программа должна быть простой в использовании, оперативно и точно выявлять изменения и наглядно их показывать.
Критерии отбора
В отборе участвуют только веб-сервисы, поскольку я хочу иметь доступ к информации всюду, где есть интернет. Из отбора исключены те сервисы, которые не обладают какими-либо уникальными свойствами упрощающими решение поставленной задачи. Для определения победителя каждый сервис будет оцениваться по числу набранных балов — ноль (плохо), единица (нормально), двойка (хорошо).
Показатели, по которым будем начислять балы:
- Простота добавления сайта для мониторинга.
- Удобство работы с данными, в случае, если на сайте много изменений.
- Понятные уведомления об обнаружении изменений на сайте.
- Возможность собирать дополнительную и полезную информацию, рассказывающую о жизни и состоянии сайта.
- Ограничения по числу отслеживаемых страниц в рамках одного аккаунта.
- Стоимость (в идеале хочется бесплатного решения или за деньги, если цена будет адекватной).
- Поддержка. Если найдена ошибка, хочется быть уверенным, что мою проблему оперативно решат.
Отбор
Сhangedetection.com
Самый известный сервис для мониторинга изменений на веб-страницах запущенный ещё в 1999 году. Проект пережил десятилетие благодаря своей потрясающей простоте. Вы указываете URL страницы, за которой хотите следить и адрес электронной почты, куда будут присылаться отчёты. Если сервис обнаруживает изменение, то на почту присылается уведомление. В самом сервисе доступна визуализация изменённых участков страницы. В личном кабинете есть возможность в рамках одного аккаунта указывать для мониторинга множество страниц одновременно. Часто сервис очень странно выявляет изменение на русскоязычных сайтах, внимательно присмотритесь на скриншот.
Пример отображения изменения на странице в Сhangedetection.com
Плюсы:
- Простой интерфейс.
- Наглядная информация об изменениях на странице.
- Бесплатен.
Минусы:
- Адрес каждой страницы сайта для мониторинга нужно указывать в ручную. Если нужно следить за сайтом компании или ещё хуже интернет-магазином, то добавление URL-ссылок для начала мониторинга напоминает мазохизм и 7 кругов ада.
Followthatpage.com
Аналогичен Сhangedetection.com, но есть 2 ключевых отличия:
1) Изменения на странице показываются не в интерфейсе, а приходят на электронную почту. Реализация спорная, поскольку наглядность таких писем низкая, но не если вы живёте в почтовом клиенте, возможно придётся по вкусу.
2) Сервис может сам предлагать URL-адреса для добавления в мониторинг на основе одной указанной вами ссылки, но реализовано это очень поверхностно, поскольку Followthatpage просто выдёргивает из html все попавшиеся адреса.
Плюсы:
- Понятный интерфейс.
- Автоматическое предложение адресов на основе указанной ссылки.
Минусы:
- Бесплатно можно следить только за 20 страницами на одном аккаунте.
- Заспамленная электронная почта, если сайт меняться часто или ведётся мониторинг за множеством страниц.
- Информация об изменениях на страницах не наглядна.
SORGE.pro
После работы с SORGE создаётся ощущение полёта на космическом корабле. Отличия:
1) Сервис следит не только за изменениями в контенте, но отдельно отслеживает изменения в структуре сайта, мета-тегах, ведёт его пеленгацию и проверяет состояние домена с WHOIS-информацией.
2) Это единственный сервис, который не просто предлагает URL-адреса для мониторинга на основе указанной вами ссылки как Followthatpage.com, а обладает своим роботом для индексации указанного сайта. Работает это очень просто, вы указываете ссылку на главную страницу сайта и SORGE в течении 1-2 дней полностью его индексирует, представляя сайт в виде актуальной структуру. Слежение за изменениями в структуре сайта ведётся отдельно, что позволяет узнавать о фактах, если клиент сам снесёт или добавит несколько страничек. При этом, если страница добавится, сервис не просто сам её найдёт, но и начнёт автоматически отслеживать дальнейшие изменения на ней контента. Само же индексирование легко настраивается.
3) Изменения в контенте не такие наглядные как у Сhangedetection.com, однако и с ними удобно работать. Тут стоит отметить, что любые изменения на сайта по всем собираемым типам информации сохраняются в системе, что даёт возможность просматривать историю этих изменений. Это удобно когда правки на сайте вносились не сразу, а в длительном промежутке времени.
Плюсы:
- Лучшая автоматизация и простота для мониторинга целого сайта, а не отдельных страниц.
- Собственный робот для индексации с возможностью настройки.
- Удобная работа с большими объёмами данных (сортировка, отображении истории изменений).
- Сбор дополнительной информации (структура сайта, мета-теги, пеленгация, домен).
- Подробная документация и поддержка на русском языке.
Минусы:
- Полностью платный. Есть 14-дневный тестовый период.
- Работу с сервисом лучше начинать с чтения документации, поскольку есть ряд не очевидных моментов в интерфейсе.
Femtoo.com
Аналогичен Сhangedetection.com, но примечательный возможностью удобного отслеживания изменений не на всей странице, а на какой-то конкретной её части (цена, абзац, таблица). Подобный функционал есть и в SORGE, но реализация Femtoo.com значительно удобней. Так же, как и в SORGE есть поддержка истории изменений, но доступная только на платном аккаунте.
Плюсы:
- Простое отслеживание отдельной части веб-страницы.
- Поддержка пользователей.
Минусы:
- Бесплатная версия очень ограничена в функционале (до 3 отслеживаемых страниц).
Итоги
Суммируем результаты по обозначенным ранее критериям и получаем следующую таблицу:
| Сhangedetection.com | Followthatpage.com | SORGE.pro | Femtoo.com | |
| Простота добавления сайта | 0 | 1 | 2 | 0 |
| Удобство работы с данными | 1 | 0 | 2 | 1 |
| Ограничения по числу страниц на аккаунте | 2 | 1 | 1 | 1 |
| Понятность уведомлений | 1 | 2 | 2 | 1 |
| Сбор дополнительных данных | 0 | 0 | 2 | 1 |
| Стоимость | 2 | 1 | 0 | 1 |
| Поддержка | 0 | 0 | 2 | 1 |
| Итого: | 6 | 5 | 11 | 6 |
«And winner is..» — SORGE. В плане удобства мониторинга сайтов, из того что я попробовал, ничего лучше пока нет. Однако, я его использую только если на сайте больше 30 страниц. В случае, когда речь о маленьких промо-сайтах, вполне терпимо работать и с бесплатным Сhangedetection.com. Но тут каждый выбирает себе инструмент по вкусу.
Кстати
Хотел протестировать проект под названием Trackedcontent.com, уж очень хорошо он подходил под обзор, однако, чтобы попасть в интерфейс, разработчики просят заплатить денег.
Нет денег, нет доступа.
Если кто-то рискнул заплатить 49$ за кота в мешке — опишите ваши впечатления.
Ребята, а какими программами вы решаете схожую задачу?
Автор: cosmic_dog
