Немного о хранении данных и опыте 1cloud

в 7:01, , рубрики: 1cloud, Блог компании 1cloud.ru, системное администрирование, хранение данных

Немного о хранении данных и опыте 1cloud - 1

Объем данных, генерируемых человечеством, с каждым годом увеличивается, причем по экспоненте. Этот факт способствует развитию новых инновационных технологий, благодаря которым в сфере хранения данных периодически происходят мини-революции.

Чтобы поспеть за все возрастающими запросами локальных и других хранилищ, емкость жестких дисков постепенно увеличивается. У нас были диски емкостью 320 МБ и 1ТБ, 4 ТБ и 6 ТБ. Теперь нам стали доступны жесткие диски промышленного класса объемом 8 ТБ, скорость вращения которых достигает 7200 об/мин. HDD такой ёмкости находят применение и в облачных технологиях и корпоративных ЦОД.

Отметим, что жесткие диски должны должны обладать высокими параметрами надежности, доступности и производительности. Возможно, когда вы читали спецификации различных дисковых устройств, то встречали фразу «Рабочая высота от -300 до +3 000 метров».

Эта связано с тем, что всем дисковым накопителям для работы требуется воздух, а его давление внутри диска зависит от высоты, на которым находится устройство – эта потребность заложена в его конструкции. Головки чтения/записи должны как бы «плыть» над поверхностью гладких магнитных дисков, совершающих 120 оборотов за секунду.

В книге «Модернизация и ремонт ПК» Скотт Мюллер пишет следующее:

«Представьте себе эту головку: при таком увеличении ее длина составит около 410 м, ширина — 325 м, а высота — 100 м (это приблизительно размеры небоскреба Sears, положенного на бок). Перемещается она со скоростью 9 187 км/с на расстоянии всего лишь 5 мм над землей (т.е. над диском) и считывает биты данных, промежутки между которыми равны 2,16 см. Эти биты данных расположены на дорожках, расстояние между которыми составляет всего 29,9 см.

Скорость перемещения этой гипотетической головки даже трудно себе представить, поэтому я приведу конкретный пример. Диаметр Земли составляет 12 742 км, т.е. длина около земной орбиты, проходящей на расстоянии одного дюйма от поверхности, будет равна приблизительно 40 000 км.

Таким образом, развивая скорость 9 187 км/с, эта головка совершит виток вокруг Земли меньше чем за пять секунд. Кроме того, за один виток вокруг экватора головка сможет прочитать 231,33 Мбайт данных».

В такой ситуации свойства воздуха, отделяющего вращающуюся поверхность и считывающую головку, очень важны. По этой причине разработчики устройства закладывают определенный диапазон высот, на которых HDD будет работать без поломок.

Превышение этих норм значительно увеличивает вероятность выхода из строя головки чтения/записи – вследствие вибрации она может коснуться поверхности диска. Если бы в дисковых накопителях не делались специальные отверстия, обеспечивающие циркуляцию воздуха, то верхние и нижние пластины диска пришлось бы утяжелять, чтобы скомпенсировать влияние изменения давления.

Немного о хранении данных и опыте 1cloud - 2

Почти у всех дисковых накопителей есть такие воздуховоды

Однако из любого правила есть исключения – не все дисковые устройства имеют «дыхательные отверстия». Например, в 2013 году компания HGST (Hitachi), дочерняя компания Western Digital, смогла уместить семь 3,5-дюймовых дисков (6 ТБ) в один HDD, использовав герметичную заполненную гелием камеру.

Поскольку гелий в 7 раз легче воздуха, то при его использовании изменение давления не является проблемой. Чтобы удержать газ внутри герметичной камеры, использовалась лазерная сварка швов.

Гелиевый винчестер на 7200 оборотах в минуту примерно на 4-5 градусов холоднее, чем обычный (поскольку теплопроводность гелия на порядок выше воздуха), и потребляет на 33% меньше электроэнергии. Благодаря этому у дата-центров появляется возможность увеличить дисковую плотность, что означает снижение операционных издержек и уменьшение занимаемого устройствами пространства, по сравнению с классическими системами аналогичной емкости.

Немного о хранении данных и опыте 1cloud - 3

Немного позднее HGST выпустила винчестер на 10 ТБ, превзойдя характеристики своего конкурента Seagate (диск емкостью 8 ТБ). К 2017 году компания планирует полностью перейти на выпуск дисков с гелием, отказавшись от «воздушных» винчестеров (о других технологиях, которые могут перевернуть наше представление о хранилищах можно почитать здесь и здесь, и тут).

От проблем с перепадами давления избавлены и SSD-накопители, которые являются немеханическим запоминающим устройством. С недавних пор твердотельные накопители, в основном из-за высокой скорости работы, находят применение в дата-центрах. Появляются массивы, целиком построенные на флеш-памяти, и гибридные массивы, комбинирующие в себе твердотельные накопители и жесткие диски.

Здесь пользователю приходится выбирать, что для него важнее. SSD предложили умопомрачительные скорости и очень высокую стоимость гигабайта. С другой стороны, многотерабайтные жесткие диски гораздо более дешевы, но, обладая скоростью в 75-100 IOPS, не могут справляться с большой нагрузкой.

Гибридные массивы – это некий компромисс. Добавляя флеш-память в размере 2-5% от общего объема памяти, можно увеличить количество IOPS практически вдвое, что снизит латентность системы до уровня 3-5 мс (без флеш-технологий она составляет более 10 мс). Таким образом, заплатив всего на 10-20% больше, вы можете удвоить производительность массива.

Пользователи сервиса 1cloud теперь тоже могут подключать разные диски к одному виртуальному серверу. Одновременное использование различных типов запоминающих устройств позволяет сделать общее инфраструктурное решение более гибким, эффективным и оптимизированным по цене.

Разработка новой функциональности заняла не очень много времени и сопровождалась стандартным процессом внесения изменений: доработкой интерфейса панели управления и внешнего сайта. Чтобы добавить новый диск пользователю нужно всего лишь зайти в панель управления виртуального сервера и, проследовав по вкладкам Настройка -> Диски, добавить необходимые устройства.

Немного о хранении данных и опыте 1cloud - 4

Дисковое пространство выдается с массивов NetApp FAS6240 / FAS8040. На уровне vCloud Director организованы отдельные Storage policy под каждый тип. Начиная c vCloud Director версии 5.6 стало доступно (но только через API) изменение storage policy для конкретных дисков.

Для реализации этого функционала нам пришлось немного пропатчить .net SDK от VMware из-за обнаруженной ошибки, когда при добавлении дополнительного диска SDK пытался создать еще одну шину с нулевым идентификатором.

Ниже представлен код, иллюстрирующий корректные настройки для добавления виртуального диска:

VirtualDisk vDisk = new VirtualDisk(10240, BusType.SCSI, BusSubType.LSI_LOGIC_SAS);
vDisk.GetItemResource().Address = null;
vDisk.GetItemResource().AddressOnParent.Value = unit.ToString(); //unit number, надо вычислять
vDisk.GetItemResource().Parent.Value = bus.ToString(); //это привязка нового диска к существующей шине  

Несмотря на растущую популярность SSD, полностью отказываться от HDD еще рано. Очень разумно использовать для разных типов задач разные запоминающие устройства.

Например, активно используемую базу данных стоит перенести на SSD-накопитель – это позволит оптимизировать скорость её работы, а вот операционную систему логично оставить на более медленных SAS-дисках. Для хранения резервных копий можно вообще подключить еще более медленный, но больший по объёму SATA-диск.

P.S. Другие интересные материалы по теме:

Автор: 1cloud.ru

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js