Целью исследования являлось получение актуального списка всех активных доменов в зоне .RU, к 01.01.2016 зарегистрировано в которой было 5040277 имён. Приняли решение пройтись по каждому имени краулером и проанализировать результат.
Ответы серверов распределились следующим образом:
| rc | cnt | % |
| 200 | 2670175 | 53.0 |
| IPFAIL | 826869 | 34.9 |
| TIMEOUT | 486924 | 7.4 |
| 301 | 444719 | 7.3 |
| 404 | 191831 | 3.4 |
| 302 | 176133 | 3.2 |
| 403 | 108624 | 2.1 |
| 503 | 43330 | 0.8 |
| CHARSETFAIL | 32606 | 0.6 |
| 500 | 19603 | 0.4 |
| 401 | 6847 | 0.1 |
| 303 | 5919 | 0.1 |
| 429 | 5501 | 0.1 |
| 502 | 5340 | 0.1 |
| 402 | 4232 | 0.1 |
| 0 | 2954 | 0.1 |
| NONHTML | 1796 | 0.0 |
| 423 | 1688 | 0.0 |
| 400 | 1654 | 0.0 |
| 409 | 1125 | 0.0 |
| 307 | 1014 | 0.0 |
| 521 | 273 | 0.0 |
| 999 | 203 | 0.0 |
| 410 | 191 | 0.0 |
| 523 | 150 | 0.0 |
| 504 | 138 | 0.0 |
| 509 | 98 | 0.0 |
| 508 | 93 | 0.0 |
| 204 | 46 | 0.0 |
| 520 | 45 | 0.0 |
| 434 | 32 | 0.0 |
| CLEX | 32 | 0.0 |
| 406 | 20 | 0.0 |
| 501 | 14 | 0.0 |
| 479 | 8 | 0.0 |
| 407 | 8 | 0.0 |
| 418 | 7 | 0.0 |
| 405 | 7 | 0.0 |
| 451 | 4 | 0.0 |
| 435 | 4 | 0.0 |
| 304 | 4 | 0.0 |
| 201 | 3 | 0.0 |
| 300 | 2 | 0.0 |
| 456 | 2 | 0.0 |
| 3 | 1 | 0.0 |
| 507 | 1 | 0.0 |
| 101 | 1 | 0.0 |
| 126 | 1 | 0.0 |
| 422 | 1 | 0.0 |
| 557 | 1 | 0.0 |
| 412 | 1 | 0.0 |
| 413 | 1 | 0.0 |
| 420 | 1 | 0.0 |
| Total: | 5040277 | 100.0 |
IPFAIL — отрезолвить домен не получилось (не делегирован, не указаны сервера имен и т.д.).
TIMEOUT — IP был получен, но не отдал ничего и отвалился по таймауту.
CHARSETFAIL — кодировку контента распознать не удалось.
NONHTML — сайты, веб-сервера которых не интерпретировали скрипты, а отдали их текстом вместе с реквизитами подключения к базам и прочими прелестями.
CLEX — исключения краулера по размеру ответа > 10мб.
301 редирект (постоянный):
bulk — зоопарк из сеток сателлитов, альтернативные адреса сайтов, прочее.
| cnt | % | |
| http:// www.domain | 215289 | 48.4 |
| bulk | 144275 | 32.4 |
| http:// domain/page | 76417 | 17.2 |
| https:// domain | 7617 | 1.7 |
| https:// www.domain | 1121 | 0.3 |
| Total: | 444719 | 100.0 |
302 редирект (временный):
bulk — всё те же сетки, ошибки, установщики различных cms, прочее.
| cnt | % | |
| bulk | 135464 | 76.9 |
| http:// domain/page | 22658 | 12.9 |
| http:// www.domain | 10660 | 6.1 |
| https:// domain | 7168 | 4.1 |
| https:// www.domain | 183 | 0.1 |
| Total: | 176133 | 100.0 |
В редирект через meta refresh мы тоже заглядываем, но в этот раз ничего интересного там не наблюдается. Самый популярный сопособ отправить пользователя на связку эксплойтов.
Все 2670175 доменов, отдавших 200 ОК крутятся на 192213 IP адресах, top 10:
| ip | cnt | example_url |
| 109.206.190.54 | 180983 | http://ksimelin.ru |
| 188.166.49.110 | 40199 | http://samoobsluga.ru |
| 81.177.141.15 | 15040 | http://plusheviy-buket.ru |
| 89.111.167.3 | 11887 | http://ipoezd.ru |
| 94.76.205.132 | 11774 | http://mediatr.ru |
| 78.108.80.238 | 10937 | http://bikesurfing.ru |
| 78.108.86.63 | 10883 | http://asp-v.ru |
| 185.32.57.224 | 10157 | http://salgroup.ru |
| 188.120.232.174 | 9431 | http://moscowspa.ru |
| 199.59.243.120 | 9057 | http://asolutbank.ru |
Вот тут мы встречаем по-настоящему интересных ребят: 180983 домена на ip 109.206.190.54 (6,77% от всех активных) являются зеркалами www.homes.ru (сверяли не только по ip, естественно). С огромным отрывом уходят даже от парковок. Работают с размахом.
Немного средних значений контентной составляющей главных страниц рунета:
| Средняя длина тайтла | 47 |
| Средняя длина кейвордов | 220 |
| Среднее количество слов на странице | 515 |
| Средний вес страницы (в октетах) | 42320 |
На 262 доменах в тексте встречается слово ‘хабрахабр'.
| user | anchor | cnt |
| @WildGreyPlus | WildGreyPlus | 17 |
| @DaryaKorsak | DaryaKorsak | 17 |
| @ptsecurity | ptsecurity | 17 |
| @DenisIzmaylov | DenisIzmaylov | 17 |
| @pkruglov | pkruglov | 17 |
| @maisvendoo | maisvendoo | 17 |
| @alexsoft | alexsoft | 17 |
| @SmartEngines | SmartEngines | 17 |
| @DrMefistO | DrMefistO | 17 |
| @DenisVasilyev | DenisVasilyev | 17 |
| @yourdestiny | 4 | |
| @anatoly_rr | Хабр | 2 |
| @taxi5mblog | 2 | |
| @gurylyov | habr | 2 |
| @kzotov | Хабрахабр | 1 |
| @couragic | couragic | 1 |
| @nProfessor | habrahabr.ru | 1 |
| @efimich | habrahabr.ru/users/efimich/ | 1 |
| @nektodev | 1 | |
| @alexchernyy | Habrahabr | 1 |
| @ftp27 | 1 | |
| @constructive | На Хабре | 1 |
| @ilusha_sergeevich | Полезности (от ilusha_sergeevich) | 1 |
| @pas | 1 | |
| @rock | 1 | |
| @payonline | Habrahabr | 1 |
| @softlink | Softlink | 1 |
| @blv | Борисом Вольфсоном | 1 |
| @ilusha_sergeevich | дискуссии в группах, подкасты на тему интернета | 1 |
| @teaminds | Habrahabr | 1 |
| @nikmelnikov | хабре | 1 |
| @jaloveast1k | 1 | |
| @Sacret | 1 | |
| @bredun | 1 | |
| @omegicus | Блог | 1 |
| @xnim | 1 | |
| @nkochnev | Habrahabr | 1 |
| @brntsrs | хабр | 1 |
| @splurov | Хабрахабр | 1 |
| @batazor | 1 | |
| @heath | автор статей на Хабрахабре | 1 |
| @kriptomen | Habrahabr (один из…) | 1 |
| @sil1999 | 1 | |
| @Advertone | Хабрахабр | 1 |
| @mwsoft | 1 | |
| @superalesha | habrahabr | 1 |
| @iserdmi | хабрахабре | 1 |
| @cadmy | link | 1 |
| @ksdaemon | Хабрахабр | 1 |
| @invizory | Habr | 1 |
| @yegorf1 | H | 1 |
| @zoriko | Zoriko | 1 |
| @nickurs | 1 | |
| @asommer | 1 | |
| @d530 | HABR.RU | 1 |
| @polar | Polar | 1 |
| @DataArt | Habrahabr | 1 |
| @silvansky | silvansky | 1 |
| @jokerov | jokerov | 1 |
| @grachevamari | grachevamari | 1 |
| @andruekonst | Habrahabr | 1 |
| @artoodetoo | Habrahabr | 1 |
| @ihhabr | Habrahabr | 1 |
| @ustas | 1 | |
| @alizar | alizar | 1 |
| @wilelf | 1 | |
| @rebirther23 | 1 | |
| @ordos | Хабрахабр | 1 |
| @shukshinivan | 1 | |
| @falula | falula | 1 |
| @Dobrii | habrahabr | 1 |
| @denxc | 1 | |
| @garstelecom | 1 | |
| @shlom | HabrahabrHabrahabr.ru | 1 |
| @PavlovM | пишу на хабр | 1 |
| @iley | iley | 1 |
| @noldo32 | Я на Хабре | 1 |
| @valerasergeevich | H | 1 |
| @kachkaev | мой аккаунт на Хабрахабре | 1 |
| @icw82 | Хабрахабр | 1 |
| @skutin | Habrahabr | 1 |
| @genixg | 1 | |
| @sirus | sirus | 1 |
| @codefucker | Хабр | 1 |
| @divan0 | divan0 | 1 |
| @devpreview | 1 |
Список доменов отдавших 200 OK dataoperator.ru/ru_domains_200_ok.zip
Автор: daocrawler
