История 180 VPS

На протяжении уже 6 лет наша компания предоставляет народу выделенные серверные мощности. Из них каждый день мы получаем большое количество запросов довольно необычного содержания, рассказами о которых давно хочется начать делиться с вами.

Например, недавно к нам обратился новый клиент, которому требовалось как можно скорее поднять 180 линуксовых виртуальных машин по подготовленному им шаблону. Так же заказчику нужна была полная система управления с консолью и контролем над этими ВПС.

Несмотря на большой опыт реализации решений по виртуализации стало ясно, что для этой задачи потребуется нестандартный подход, ибо:

1) Hyper-V 2008, которым мы пользовались до недавних пор, традиционно непредсказуемо справлялся с Linux, как то — к примеру, возникали проблемы с файловой системой, машины могли не вернуться из ребута, после установки сервисов интеграции становилось невозможным обновление ядра системы.

2) Лимит виртуальных машин на том же самом кластере Hyper-V 2008 к тому моменту был практически исчерпан:

В итоге, несмотря на то, что новый кластер на базе Hyper-V 2012, в котором маркетологи Майкрософт обещали расширить горизонты виртуализации далеко за пределы пределов возможного и невозможного, был уже на подходе, было решено не дожидаться этого трепетного для всех момента, а сделать то, что давно советовали нам многие коллеги по цеху – поднять гипервизор KVM, чтобы максимально обезопасить себя от большинства проблем с никсами.

В качестве панели управления мы выбрали SolusVM, как недорогой, испытанный и простой в эксплуатации инструмент, вместе с тем обладающий полноценной поддержкой.

В качестве железа был использован двухпроцессорный Xeon E5630 на базе платформы Supermicro, с 96гб памяти и 12 винтами SAS по 300гб.

Бодро и весело установленные KVM и SolusVM позволили без особых проблем создать пустую виртуальную машину в качестве шаблона, управление над которой мы передали клиенту для настройки. Он провозился с ней порядка нескольких часов и вернул нам, прибавив к ее весу порядка 10 гигабайт установленного софта. После этого началась миграция.

В этом месте стоит похвалить KVM за непривычно высокую (после опыта с Hyper-V 2008), скорость копирования виртуалок. Опираясь на 4 ядра сервера — создавая и инициализируя по 4 виртуальные машины в раз, он тратил на создание каждой такой партии менее 10 минут, создавая таким образом 24 машины в час с чем мы его благополучно поздравили, удалившись отдыхать домой, т.к. на улице уже наступила ночь.

Утром нас уже ждала впечатляющая картина 180 установленных ВПС, требующих трепетного внимания и дальнейшей работы:

Здесь возникли небольшие сложности. Потребовалось установить статический IP на каждой из подготовленных машин, для чего на базе guestfish был создан

цепляющийся к жесткому диску каждой из них в оффлайн для исправления нужных параметров, который справился со своей задачей всего за минуту.

Наконец, когда казалось, что счастье уже не за горами, возникли новые проблемы с сетью – без проблем взаимодействующие внутри своей сети 180 машин, были недоступны извне — не проходил даже ping. В результате долгих танцев с бубнами и фаерволом, старожилам удалось вспомнить, что в используемом для задачи свитче давным-давно для защиты от спуфинга был установлен лимит на выдачу MAC-адресов до 20 штук, отключив который нам удалось избавиться от последней головной боли и осчастливить клиента вовремя.

В итоге всего за несколько часов 180 виртуальных машин были благополучно развернуты на совершенно новой для нас ноде и платформе. Сам клиент остался доволен, как впрочем остались довольны и мы, высоко оценив возможности связки KVM и SolusVM для платформы Linux. Единственным минусом показалось отсутствие тонкого выделения ресурсов, что мы собираемся исправлять при помощи Nexenta. А сейчас можем с гордостью заявить, что теперь готовы к реализации проектов по подготовке VPS любого размаха.

Счастья и успехов всем труженикам серверного тыла в преддверии долгожданного праздника,
компания Hostkey.

Автор: ULP

Источник