Рубрика «высокая нагрузка» - 2

На картинке изображен график роста траффика, который облачные адепты по всему миру продают в виде одного из сценариев, когда эластичное масштабирование имеет высокую ценность:

Sessions going from barely anything to almost 12k an hour almost immediately

Это график посещений сайта Have I been pwned? (HIBP), на который в один момент стал обслуживать со ~100 сессий в час до… 12000 сессий в час. Практически мгновенно.

Это случилось на неделе в сентябре, когда траффик буквально увеличился в 60 раз. 10 сентября – 2105 сессий, 11 сентября – 124036 сессий. Интересные вещи происходят, когда нагрузка увеличивается так резко, так быстро. Так что мне захотелось поделиться с вами несколькими вещами, которые я узнал – что было сделано мной хорошо и что следовало улучшить.
Читать полностью »

Каждый разработчик, который работает на той или иной технологии, постоянно читает о ней что-то новенькое и углубляет свои знания. И мы не исключение. PHP довольно старый и популярный язык, на котором есть много разных фреимворков. Один из самых популярных и серьезных – это Symfony и так уж исторически получилось, что мы на нем пишем. По этому фреимфорку в рунете не так много информации, как хотелось бы, мы часто читаем разные статьи, обзоры и интервью на английском языке, чтобы быть в курсе последних событий. Эта статья – обзор больших сайтов, которые сделаны на PHP / Symfony с уникальной для рунета информацией, а также описание некоторых технологий, которые применяются в связке с ними. И да, мы знаем, что PHP «уже не торт» и что использовать его уже не модно, однако эта технология имеет большую долю рынка, много наработок и отличную документацию, поэтому мы её используем наравне с Python, Ruby, Java и другими.

Таблица известных проектов (на основе данных http://builtwith.com/), кликабельно:
Читать полностью »

Наша компания довольно давно занимается разработкой больших веб-приложений на Python / Django. В рунете крайне мало информации об этом замечательном языке программирования и фремворке на его основе. Мы решили исправить эту ошибку и рассказать о популярных высоконагруженных сайтах на этой технологии, а также дать много интересных технических подробностей. Для удобства сравнения сайтов между собой мы приводим еще и немного статистики к каждому из проектов. В целом сайтов на Python / Django, конечно, очень много в мире, мы охватим только наиболее интересные по нашему мнению.

Небольшая таблица известных проектов (на основе данных http://builtwith.com/), кликабельно:
Читать полностью »

Только что получил анонс, что на AWS стали доступны новое поколение Amazon EC2 High I/O инстансов. Данные типы инстансов базируются на новом поколении процессоров Intel Ivy Bridge. Каждый виртуальный CPU (vCPU) соответствует одному аппаратную потоку исполнения (hyperthread) процессора Intel Xeon E5-2670 v2 (Ivy Bridge).

Вот табличка:
Читать полностью »

Дата центр Mega еле справляется с нагрузкойВчера около 22:00 по московскому времени криптохостинг Mega открылся для всех желающих. С первых минут на него хлынул поток пользователей. «Я никогда не видел ничего подобного, — пишет Ким Дотком, — с нуля до 10 Гбит/с заполнение канала за десять минут».

В первый же час на сайте зарегистрировалось более 100 тыс. пользователей. «Самый успешный стартап в истории интернета?», — пошутил Ким Дотком на этот счёт в твиттере. Через два часа после запуска сайт достиг отметки в 250 тыс. зарегистрированных пользователей. Сейчас он работает с перебоями. Даже если вы сможете на него зайти, то закачать файлы туда затруднительно.

В любом случае, запуск проекта можно признать успешным. Ким Дотком проснулся три часа назад — и сразу организовал пресс-конференцию. Смотреть её в прямом эфире можно прямо сейчас.
Читать полностью »

6 декабря в Москве состоится High Performance Conference 3.0 (http://hpc.itmozg.ru/) – третья конференция по высоконагруженным системам от ITmozg.

В программе – выступления экспертов Parallels, Microsoft Russia, Мамба, Jelastic Russia и часовая сессия вопросов-ответов.

В рамках конференции, я выступлю с докладом о применении облачной платформы Windows Azure для высоконагруженных задач. В рамках доклада будут рассмотрены кейсы проектов уже работающих с высокими нагрузками на Windows Azure. Рассмотрена архитектура обеспечения отказоустойчивой трансляции Олимпийских Игр 2012 года в Лондоне на базе Windows Azure Media Services.

Приглашаем опытных разработчиков, архитекторов, системных администраторов собраться вместе и поделиться опытом, обсудить все аспекты высоконагруженных систем.

В программе конференции (http://hpc.itmozg.ru/program):
Читать полностью »

Puppet под нагрузкойPuppet — довольно удобный инструмент для управления конфигурациями. По сути, это система, которая позволяет автоматизировать настройку и управление большим парком машин и сервисов.

Базовой информации о самой системе много, в том числе и на Хабре: здесь, здесь и здесь. Мы же постарались собрать в одной статье несколько «рецептов» использования Puppet под действительно большими нагрузками — в «боевых условиях» Badoo.

О чём пойдет речь:

  • Puppet: ликбез;
  • кластеризация, масштабирование;
  • асинхронный Storeconfigs;
  • сбор отчётов;
  • анализ полученных данных.

Читать полностью »

Некоторое время назад я начал писать большой проект с высокой нагрузкой, в котором широко использовались возможности JavaScript. За это время пришлось переосмыслить многие вещи и столкнуться с необычными проблемами и различными уловками для их решения. Об одной из таких уловок и пойдет речь далее.

Читать полностью »

Вдохновение

Пока 55% ненавидит…

А я выбрал «другое». Потому что люблю. Но не за то, что считаю удобнее других, а за то, что…
Читать полностью »

Флеш-память уже производит в ЦОДах революцию: перенос данных на flash — следующий шаг в развитии многих централизованных ИТ-систем. Да, она довольно дорогая, обладает своими особенностями — и все же сегодня вопрос для администраторов ЦОДов уже не в том, использовать флеш-память или нет, а в том, как и когда это делать.

Тихая революция: флеш память в дата центрах

Вот в этом топике уже давалась вводная информация, показывающие, что накопители нового типа заметно быстрее и надежнее для «молотилок», на которых крутятся тяжелые базы данных. Если есть возможность загрузить флеш-хранилище работой (то есть обеспечить постоянные операции чтения-записи), его содержание обходится заметно дешевле содержания массива HDD, плюс вы получаете кучу дополнительных бонусов.

Ниже – советы, как определить, пора ли переходить на эту технологию или еще нет. Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js