Платформа: Windows XP/Vista/7
Язык: Perl
Сервис, созданный Роскомнадзором носит очень длинное, трудное для восприятия название: «Единый реестр доменных имён, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено», поэтому далее будем называть его для простоты-сервис «Роскомнадзор».
Задача
Организовать автоматическое скачивание списков запрещенных сайтов с ресурса «Роскомнадзор». Система должна быть реализована в рамках одного хоста, скаченные файлы должны ротироваться с заданной глубиной.
Лирика
По поводу списка запрещенных сайтов, сказано было уже немало и обсуждать эту тему снова не имеет смысла.
Однако ежедневное скачивание списка запрещенных сайтов, несмотря на всю очевидную бессмысленность данного занятия, стало необходимостью для многих интернет-провайдеров. Делается это в основном для того, чтобы избежать претензий со стороны Роскомнадзора. Естественно что первое что приходит на ум-автоматизировать процесс скачивания. К сожалению на сайте Роскомнадзора способ автоматизации описан довольно туманно, а техподдержка практически отсутствует. Кроме того в случае автоматизации процесса, работа с сервисом идет по протоколу SOAP, что тоже не добавляет радости.
По этому поводу хочу представить один из возможных способов организации автоматического скачивания списка запрещенных сайтов. Возможно что у кого-то тоже возникла такая проблема, и я надеюсь моя статья поможет тем людям, которые в данный момент ищут ее решение.
Должен сказать, что на эту тему уже написано некоторое количество статей, в том числе и на Хабре, методы, представленные в этих статьях, большей частью, не позволяли достигнуть полной автоматизации. Где-то нужно было руками формировать запрос на получение списка, где-то руками запускать скрипты и т.д. В моем случае система работает полностью автоматически, я только иногда поглядываю все ли нормально. Скажу честно, чтобы поднять систему, я воспользовался статьей, которую нашел на Toster. В ней были представленны скрипты на Perl, которые я немного изменил и кое-что добавил.
Реализация конечно получилась довольно грубой, но вполне рабочей. Все удалось разместить на одном хосте. Это старый компьютер из бухгалтерии под Windows XP, в который воткнули Rutoken, подключили к сети и закрыли в стойке. Соответственно директория, в которую скачиваются архивы с сервиса Роскомнадзор расшарена в локальную сеть.
Теперь рассмотрим реализацию.
Читать полностью »
На своей странице в Facebook представители Роскомнадзора сообщили о передаче операторам связи списка из «7 указателей страниц сайта» сервиса GitHub для блокировки. Скорее всего, речь идёт о конкретных URL.
