Рубрика «масштабируемость» - 2

Суперскалярный стековый процессор: скрещиваем ужа и ежа - 1
В данной статье мы будем разрабатывать (программную) модель суперскалярного процессора с OOO и фронтендом стековой машины.
Читать полностью »

Наша команда разрабатывает бекэнд-систему для обработки сообщений от мобильных устройств. Устройства собирают информацию о работе сложной техники и посылают сообщения в центр обработки. В этой статье я хочу поделиться подходами к построению подобных систем. Идеи достаточно общие, их можно применять для любой системы со следующей архитектурой:

Как мы строим систему обработки сообщений - 1

По каналам связи устройства присылают сообщения на наш шлюз (gateway) – входную точку приложения. Задача приложения – разобраться, что именно пришло, произвести необходимые действия и сохранить информацию в базе данных для дальнейшего анализа. Базу мы будем рассматривать как конечную точку обработки. Звучит просто, но с ростом количества и разнообразия сообщений появляется несколько нюансов, которые я и хочу обсудить.
Читать полностью »

Автор: Дэвид Фишман

Хотите зарабатывать деньги с OpenStack? Поздравляем и добро пожаловать в клуб.

“Как вы продаете продукты и услуги в рыночной нише, которую занимает OpenStack?” — этот вопрос нам задают очень часто. Поэтому в этой статье я зафиксировал некоторые факты – чтобы помочь вам начать работу, а также возможно дать удачный маркетинговый ход, если вы уже работаете.Читать полностью »

Sooo elastic
Планируя разработку облачных сервисов, многие разработчики задаются вопросом – что нового им предстоит и чем облачный сервис отличается от «обычного».

Довольно часто при описании облаков и облачных решений говорят об эластичности. Amazon даже назвала свое облако Elastic Compute Cloud (EC2). Помимо того, что «эластичность» – используемое в маркетинге облаков красивое слово, у него есть и вполне определенный смысл. Речь о возможности арендовать вычислительные ресурсы с оплатой по фактическому использованию, начиная и прекращая аренду в произвольный момент.

Это очень удобно для сервисов с непостоянной нагрузкой – при изменении нагрузки они могут масштабироваться, увеличивая или уменьшая число узлов, обеспечивая пользователям приемлемое время обработки запросов, а владельцам – снижение затрат.

Так в теории. На практике перейти от красивого слова к делу не всегда просто.

Читать полностью »

Стив Хаффман, один из создателей Reddit, рассказал на презентации, чему они научились, пока строили и развивали Reddit до 7,5 млн пользователей в месяц, 270 миллионов просмотров страниц в месяц и более 20 серверов баз данных.

Стив уточнил, что большинство полученных уроков были очевидными, поэтому в презентации не будет радикально новых идей. Но у Стива огромный опыт, и если он не смог увидеть эти грабли, то возможно, вам стоит обратить внимание на эти «очевидные вещи».

Каждый из 7 уроков будет рассмотрен в соответствующей секции.

  • Падайте часто
  • Разделение сервисов
  • Открытая схема данных
  • Избегайте хранения состояний
  • Memcache
  • Сохраняйте избыточные данные
  • Имейте возможность работать оффлайн

Читать полностью »

Мы продолжаем цикл рассказов про оборудование и решения Dell для бизнеса: серверы, системы хранения данных, резервное копирование, сетевые устройства и прочее.
Сегодня мы хотим вам рассказать про характеристики и способы применения новейшего поколения систем хранения данных Dell EqualLogic: модных, красивых — а главное, эффективных, производительных и удобных с точки зрения масштабирования.

Дисковые массивы Dell EqualLogic

Внимание, системные администраторы компаний, сталкивающиеся со сложностью хранения больших объемов данных и потребностью обеспечить себе удобный контроль над сетевым хранением информации (нефтегазовая сфера, финансовые учреждения, ИТ-компании) — вам это может быть интересно! Кроме прочего, мы расскажем и том, почему подход Dell удобен с точки зрения развития бизнеса. Ведь никто не покупает железо корпоративного класса на один день, и сколько-нибудь серьезный производитель всегда обязан держать в уме защиту серьезных инвестиций своих клиентов. Читать полностью »

Как мы соединяли свой ЦОД с ЦОДом заказчика

Представьте задачу:

  • Вы решили стартовать IT-проект, который требует большой вычислительной мощности.
  • «Взлетит» он или нет, станет понятно через 3 месяца.
  • Космически дорогое железо (несколько серверов по цене квартиры в Москве каждый) покупать не хочется, но при этом надо сразу стартовать так, чтобы потом не было сложностей с масштабированием до серьёзной highload-системы, то есть хочется эластичного «облака».
  • В перспективе — необходимость быстро обрабатывать много данных и массу операций чтения-записи. То есть, потребуются тяжелые сервера-«молотилки», которые не могут горизонтально масштабироваться – такое в «облако» не запихнёшь.
  • При этом надо создать единое сетевое пространство, как если бы «молотилки» вашего ЦОДа и сервера «облака» находились в соседних стойках, и настроить всё так, чтобы на уровне приложений не приходилось думать про физическое воплощение железа;
  • Обеспечить адекватную техподдержку, которая способна закрыть все вопросы по проекту (сеть, сервера, прикладные системы) — и всё это без поиска новых администраторов себе в штат.
  • До кучи — запуститься очень быстро;
  • И всё это —в Москве, чтобы обеспечить минимальные лаги.

В начале этого года к нам пришел заказчик именно с такими задачами. Читать полностью »

image
*IBM отмечает одни из самых важных проблем IT-инфраструктур современности

Несколько дней назад компания IBM анонсировала начало «новой, упрощенной эры вычислений», связанное с серьезным шагом в работе компании — выпуске PureSystems, решения, которое в самом голубом гиганте называют «экспертной интегрированной системой», созданной для физических и виртуальных элементов корпоративной IT-структуры.

В пресс-релизе, посвященном PureSystems, компания пишет: «Новое семейство систем IBM предлагает альтернативу стандартной вычислительной модели, когда многочисленные и порой избыточные вычислительные мощности поглощают все ресурсы компании, нуждаясь в развертывании, настройке и постоянной поддержке».

Компания даже специально провела исследование на американском и глобальном рынке совместно с Forrester, и выяснила, что около двух третей корпоративных проектов, связанных с использованием многочисленных вычислительных ресурсов, требуют больше времени и средств, чем изначально планируется. Инвестируя огромные средства в IT-инфраструктуру, которая после этого может «съедать» до 70% надбавки к бюджету даже находясь в состоянии простоя, даже у очень успешных компаний может не остаться денег на финансирование новых разработок.
Читать полностью »

Джошуа Редстоун (Joshua Redstone) пожаловался в листе рассылки Git на некоторые проблемы с производительностью, которые возникли у Facebook на большом репозитории. Они создали синтетический репозиторий и провели тесты.Тестовый репозиторий
4 млн коммитов, линейная история и около 1,3 млн файлов. Размер папки .git — около 15 ГБ, её упаковали командой repack:git repack -a -d -f --max-pack-size=10g --depth=100 --window=250
Процесс занял около двух суток на хорошей машине (много памяти, SSD). Размер индексного файла составил 191 МБ.
Скорость работы Git в таком репозитории совсем не радует. Результаты выполнения команд на сервере с обычным HDD и >10 ГБ RAM (команды повторялисьЧитать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js