В бесплатной версии Cloudflare все замечательно (ей-богу сказка!), но список кешируемых форматов файлов весьма ограничен.
К счастью кеширование всего подряд (до 512 Мб на файл) можно настроить в одно два действия.
Рубрика «CDN» - 7
CloudFlare + nginx = кешируем всё на бесплатном плане
2014-12-06 в 21:42, admin, рубрики: CDN, CloudFlare, nginxДоброе утро, Вьетнам!
2014-10-21 в 10:29, admin, рубрики: CDN, CDNvideo, Блог компании CDNvideo, Исследования и прогнозы в IT, ит-инфраструктура, минэкономразвития, обзор рынка, поездки, рвк, сколково, технопаркБеглое впечатление об IT-рынке оплота коммунизма в Юго-Восточной Азии
Недавно я пять дней провел во Вьетнаме, участвуя в поездке топ-менеджеров российских компаний, которую организовало Минэкономразвития России. Целью Министерства было продвигать российские высокотехнологичные компании на вьетнамский рынок. Мы посещали местные университеты, технопарки, общались с руководителями крупных компаний и даже посетили Академию наук. В составе нашей группы были люди из разных компаний, даже сельхозпроизводители. Но я, разумеется, буду судить о Вьетнаме с позиции «айтишника». К слову, нашу компанию CDNvideo в эту поездку пригласила РВК. Читать полностью »
По городам и весям или как мы балансируем между узлами CDN
2014-09-29 в 8:41, admin, рубрики: BGP, CDN, ivi.ru, балансировка нагрузки, балансировка трафика, Блог компании онлайн-кинотеатр ivi.ru, ит-инфраструктура, Сетевые технологии 
Когда вы выросли настолько, что появились узлы в разных городах, возникает задача распределения нагрузки между ними. Задачи такой балансировки могут быть разными, но цель, как правило, одна: сделать так, чтобы было хорошо. У меня дошли руки рассказать о том, как это делают обычно, и как это сделано в ivi.ru.
В предыдущей статье я рассказал, что CDN у нас свой, при этом тщательно избегал подробностей. Пришла пора поделиться. Рассказ будет в стиле поиска решения, каким он мог бы быть.
Читать полностью »
SSD + raid0 — не всё так просто
2014-09-25 в 11:48, admin, рубрики: CDN, LSI, raid, raid0, ssd, ucdn, webzilla, Блог компании Webzilla, Железо, системное администрирование, спасибо за чтение, СХДВступление
Коллеги с соседнего отдела (UCDN) обратились с довольно интересной и неожиданной проблемой: при тестировании raid0 на большом числе SSD, производительность менялась вот таким вот печальным образом:
По оси X — число дисков в массиве, по оси Y — мегабайтов в секунду.
Я начал изучать проблему. Первичный диагноз был простой — аппаратный рейд не справился с большим числом SSD и упёрся в свой собственный потолок по производительности.
После того, как аппаратный рейд выкинули и на его место поставили HBA, а диски собрали в raid0 с помощью linux-raid (его часто называют 'mdadm' по названию утилиты командной строки), ситуация улучшилась. Но не прошла полностью -цифры возросли, но всё ещё были ниже рассчётных. При этом ключевым параметром были не IOPS'ы, а многопоточная линейная запись (то есть большие куски данных, записываемых в случайные места).
Ситуация для меня была необычной — я никогда не гонялся за чистым bandwidth рейдов. IOPS'ы — наше всё. А тут — надо многомногомного в секунду и побольше.
Адские графики
Я начал с определения baseline, то есть производительности единичного диска. Делал я это, скорее, для очистки совести.
Вот график линейного чтения с одной SSD.
Увидев результат я реально взвился. Потому что это очень сильно напоминало ухищрения, на которые идут производители дешёвых USB-флешек. Они помещают быструю память в районы размещения FAT (таблицы) в FAT32 (файловой системе) и более медленную — в район хранения данных. Это позволяет чуть-чуть выиграть по производительности при работе с мелкими операциями с метаданными, при этом предполагая, что пользователи, копирующие большие файлы во-первых готовы подождать, а во вторых сами операции будут происходить крупными блоками. Подробнее про это душераздирающее явление: lwn.net/Articles/428584/
Читать полностью »
Знакомство с Content Delivery Network
2014-09-11 в 13:00, admin, рубрики: CDN, Блог компании Webzilla, Веб-разработка, динамика, спасибо за чтение, статика, хостингСодержимое: что такое CDN? История возникновения. Зачем она нужна? Кому она нужна, а кому нет? Порог вхождения, стоимость, издержки. Основные технологии.
CDN — сокращение от content delivery network, то есть “сеть доставки контента”. Чаще всего это множество серверов с специализированным ПО, которые ускоряют доставку (“отдачу”) контента конечному пользователю. Сервера расположены по всему миру таким образом, чтобы время ответа посетителям сайта было минимальным. Под “контентом” чаще всего подразумевают видео и статические элементы веб-сайтов (не требующие выполнения кода на сервере или запросов в базу данных, такие как css/js), но к “контенту” относятся и совсем неожиданные вещи — например, игры в Стиме (использует CDN для отдачи игр), обновления для операционных систем и т.д.
Немного истории
Резкий рост Интернета в середине 90-х привёл к ситуации, что сервера тех лет не могли в одиночку выдержать нагрузку (много ли может отдать могучий двухпроцессорный сервер на базе Pentium Pro на частоте в 266 МГц с 128 мегабайтами памяти?). Лимит производительности серверов и потребность во всё большей и большей производительности породила ныне забытые слова: “ферма серверов”, “иерархическое кеширование”… Айтишный новояз удивительно чувствителен к возрасту — и слова вроде “servers farm” или “information superhighway” сейчас ассоциируются с тёплыми ламповыми CRT-мониторами, а не с прогрессом. В ходе разработки и внедрения разных решений была замечена одна важная особенность: есть два типа контента — статический и динамический.
Читать полностью »
Все на одного или как мы построили CDN
2014-09-09 в 10:24, admin, рубрики: CDN, ivi.ru, Блог компании онлайн-кинотеатр ivi.ru, ит-инфраструктура, Работа с видеоСреди высоконагруженных (highload) систем существует большая разница между системами с высокой нагрузкой в плане количества запросов в секунду (RPS, requests per second) и высокой нагрузкой в плане генерируемого трафика (того, который меряется гигабитами в секунду). В нашем ivi.ru нагрузка есть и та, и другая. Сейчас я хочу рассказать про то, как мы генерируем сотни гигабит в секунду, и никому от этого не плохеет.
Дисковая балансировка в Nginx
2014-08-15 в 22:40, admin, рубрики: CDN, disk performance, hashing, Lua, nginx, видео, дисковая подсистема, дисковый массив, хэширование
В этой статье я опишу интересное решение на базе Nginx для случая, когда дисковая система становится узким местом при раздаче контента (например, видео).Читать полностью »
Ускорение сайта на wordpress с Microsoft Azure по-быстрому
2014-08-11 в 7:46, admin, рубрики: CDN, Microsoft Azure, wordpress, оптимизация загрузки, сайтостроение, ускорение загрузки, ускорение сайтаДанная статья предназначена для тех, у кого есть не слишком сильно посещаемые, красиво оформленные сайты на WordPress, и кто хочет их ускорить. И при этом нет ни времени, ни желания углубляться в дебри оптимизации, надо просто сделать так, чтобы сайт загружался быстро и стабильно.
О том, что, ускорение загрузки сайта даже на полсекунды важно уже много написано и известно всем.
Область применения — сайты небольшого бизнеса — фотографы, психологи, юристы и много других сфер деятельности, где нужны красивые сайты и их посещение невелико. Довольно часто эти сайты создаются на WordPress и ставится готовая красивая тема с фотографиями, которая содержит много скриптов, мелких картинок и стилей. Как ускорить его загрузку такого сайта быстро, просто и дешево?
Для этого мы будем использовать Microsoft Azure, который на месяц дает бесплатный аккаунт и 7000руб. на счет, что позволяет не рискуя понять сколько вы будете тратить в месяц на ускорение своего сайт.
Для примера, по расчету для 10 сайтов с настройками из статьи, с общим количеством просмотров около 10 000 в день, я буду платить около 100руб.м. в месяц (грубая прикидка, скорее всего меньше).
Читать полностью »
Сбой в DNS у регистратора R01 и несколько роковых случайностей
2014-08-05 в 17:34, admin, рубрики: CDN, DNS, javascript, Qbaka, Анализ и проектирование систем, ит-инфраструктура, Сетевые технологии Сегодня один из старейших регистраторов R01 объявил о сбое в DNS.
В связи с этим хочу рассказать вам маленькую поучительную историю о том, как это едва не убило нашу компанию.
По роду деятельности мы saas-аналитика для веба. Наше основное оружие — javascript файл, который собирает статистику. Файл раздается на множество сайтов наших пользователей, поэтому мы обязаны обеспечить его безупречную стабильность, недоступность нашего сайта не должна никак влиять на сайты наших клиентов. И мы потратили много сил на то чтобы обеспечить полную стабильность: положили скрипт в отличный мощный CDN, сделали свой домен, чтобы абстрагировать этот CDN (чтобы можно было в любой момент сменить CDN, если он даст сбой или станет слишком дорогим). Но не учли одну мелочь: DNS-сервер находился у регистратора.
Читать полностью »
Запуск CDN для облачного хранилища
2014-07-29 в 9:19, admin, рубрики: CDN, cloud, cloud storage, selectel, Блог компании Селектел, селектел, хостинг 
На любом веб-сайте присутствует изрядная доля «тяжелого» статичного контента: JavaScript-библиотеки, CSS, графические изображения, разного рода бинарные файлы… Хранение и раздача этого контента всегда сопряжены с определенными проблемами: обо всем этом мы уже писали и рассказывали, как их можно решить с помощью нашего облачного хранилища.
Читать полностью »