Хорошо известна старая поговорка, гласящая, что Интернет был создан для порнографии. Увеличение скорости соединения по всему миру, онлайн-вещание видеороликов, видеочаты и живое общение, оптимизация трафика, огромные хранилища и безотказный — всё это лишь следствия запросов порноиндустрии.
Согласно отчету принадлежащей Google рекламной сети DoubleClick, которая отслеживает посетителей по cookies, в числе 500 самых посещаемых сайтов сети есть десятки порнографической направленности. Xvideos, самый крупный порносайт мира, получает 4,4 миллиарда просмотров страниц в месяц, что в три раза больше, чем CNN или ESPN, и в два раза больше, чем Reddit. LiveJasmin, YouPorn, Tube8 и Pornhub — огромные веб-сайты, посещаемость которых ниже лишь гигантов уровня Google или Facebook.
Конечно, следует отметить несколько отличий, которые нужно учитывать при сравнении посещаемости ресурсов порнографической направленности. Основное отличие порносайтов от обычных — это время, которое посетитель проводит на них. На обычном новостном сайте средний визит длится 3—6 минут, достаточные для чтения одной или нескольких статей, на порноресурсе посетитель задерживается на 15—20 минут. Контент обычного веб-сайта — это текст или изображения, которые не потребуют передачи сравнительно больших объемов данных, в то время как на порносайте с видеовещанием средний посетитель легко расходует 100 мегабайт трафика за один визит.
Но даже с учетом этих особенностей объем передаваемых данных поражает: один только Xvideos передает 29 петабайт в месяц или 50 гигабайт в секунду. В пике Xvideos испытывает нагрузку в 1 терабит в секунду. Для сравнения: интернет-канал между Нью-Йорком и Лондоном составляет всего 15 терабит в секуду.
YouPorn, второй по величине порносайт на планете, поделился данными о себе, отличающимися от статистики рекламной сети DoubleClick в большую сторону. YouPorn хранит более 100 терабайт порнографических материалов и получает более 100 миллионов просмотров страниц в сутки. За 24 часа передается 950 терабайт данных, в основном это — видеопоток. В месяц получается как минимум 28 петабайт переданного трафика, из-за пиков возможны скачки от 35 до 40 петабайт в месяц. В пике YouPorn формирует 4000 страниц в секунду и передает 100 гигабайт или 800 гигабит сетевого трафика в секунду. Это равносильно передаче 10 двухслойных DVD-дисков в секунду.
Для обслуживания подобных запросов используется СУБД Redis и MySQL для административных потребностей при управлении и добавлении данных в кластере Redis. Сайт использовал в основном Perl с MySQL, но в 2011 году всё было переписано на PHP с использованием Redis. Redis получает 300.000 запросов в секунду, в час сохраняется 8—15 гигабайт данных (логи посетителей, их поведение и т.д.). В качестве веб-сервера используется nginx с HAProxy и Varnish для балансировки нагрузки. Владельцы YouPorn говорят, что подобная система может принять в два раза большую нагрузку — до 200 миллионов просмотров страниц в сутки.
От YouPorn не поступало информации о их вычислительных мощностях, но судя по IP-адресам системы доставки контента сайта, они пользуются услугами облачного хостера с крупным дата-центром и пирингом от Level 3.
Чтобы понять, что означают 800 гигабит в секунду, вспомним, что посредством Интернета в сутки передается лишь пол-эксабайта трафика или около 50 терабит в секунду. Другими словами, обычный порносайт может получать в пике 2% всего мирового трафика. Существуют десятки сайтов, сопоставимого с YouPorn размера, и сотни, получающих аналогичные хабрахабровским объемы трафика. Не будет преувеличением оценка порнотрафика в 30% от всех передаваемых данных в сети.
via
Автор: FakeFactFelis
