Сегодня в компании HP прошел большой анонс в департаменте систем хранения данных, этой информацией я хочу поделиться. Были анонсированы модели систем хранения среднего класса, оптимизированные на работу с флэш-носителями – HP 3PAR StoreServ 7450, а также был расширен функционал текущих систем 7000 / 10000.
HP 3PAR StoreServ 7450
Практически любая система хранения, представленная сейчас на рынке, поддерживает накопители SSD.
Традиционно, требования высокой производительности от дисковой подсистемы достигалось добавлением большого количества вращающиеся шпинделей, как правило с минимальной утилизацией их объема (рис1).
Использование SSD накопителей позволило сократить число вращающихся шпинделей, подняв при этом производительность массивов данных.
Рис.1 Достижение высокой производительности в массивах традиционного типа и в современных массивах
В то время когда на рынке доминируют традиционные массивы, имеющие почти 20-летнюю архитектуру, либо сверхдорогие all-flash стартапы, HP предлагает массив с совершенно другой архитектурой, специально разработанный для одновременной работы с различными типами данных. Ключевыми особенностями нового массива 3PAR 7450 является то, что контроллеры не являются узким местом в производительности. Это гарантирует практически линейный рост производительности по мере добавления новых дисков.
Технологически – эти массивы похожи на текущие 3PAR 7400 с улучшенными характеристиками кэша и интерконнект-связей между контроллерами. Как и модель HP 3PAR 7400, новый 7450 может расширяться до массива из 4 полносвязанных контроллеров с зеркалированием кэша на запись, при этом уникальность массива в том, что каждый контроллер массива является активным для всех томов – что дает честную балансировку нагрузки между всеми нодами и всеми дисками массива. Эта уникальная технология позволяет сохранять высокую производительность даже при выходе одного контроллера из строя.
Массивы 7450 имеют большой объем кэша – 64GB для двухконтроллерной системы и 128GB для 4 контроллеров, при этом кэш на запись имеет свои собственные каналы, таким образом операционная система массива не может «отъедать» кэш на запись под свои нужды и он полностью доступен для операций ввода/вывода.
Благодаря такому большому уровню кэша, использованию чипов ASIC и восьмиядерных процессоров Intel E5-2470 2.3GHz массив может разгоняться до 520 000 IOPs при использовании только SSD дисков (4k random read), что важно, при задержке менее 1мс. И для получения таких больших цифр достаточно только нескольких полок с SSD носителями. Большие IOPS требуют большой пропускной способности массива. Благодаря использованию чипов ASIC сильно разгружается центральный процессор каждого контроллера, это позволяет получить очень высокие показатели пропускной способности – до 5.2 GB/s. Таким образом, «сырая» вычислительная мощность каждого контроллера возросла более чем на 55%.
Чтобы справляться с такими большими нагрузками и поддерживать кластеризацию, была увеличена пропускная способность шины между контроллерами.
Т.к. большинство традиционных дисковых массивов построены на архитектуре 20-летней давности, то использование SSD дисков в них не приносит существенной производительности, а лишь приводит к кратковременному улучшению показателей чтения. Контроллеры таких массивов имеют существенные ограничения по количеству поддерживаемых SSD накопителей.
Особенности архитектуры массива 3PAR таковы, что позволяют получить высокую производительность, даже при добавлении большого количества SSD (120 SSD для модели 3PAR 7200, 240 SSD для моделей 3PAR 7400/7450).
Для оценки износа SSD дисков используется продвинутый механизм Flash Wear Gauge, которая вовремя проинформирует о возможных проблемах с носителями.
Адаптивный кэш
Для массива 3PAR 7450 был переработан микрокод по работе с кэшем контроллера.
Минимальный объем страницы, хранимой в кэше большинства систем хранения – 16КБ. У массива 3PAR «умный» кэш – каждому типу дисков, в зависимости от их объема и количества, выделяется определенная область кэша на запись. Дальше – если к этому типу дисков параллельно будут идти последовательные и случайные обращения, то страницы этой части кэша адаптируются под типы запросов. Например, при нескольких последовательных операциях на чтение кэш сразу считывает несколько блоков по 16КБ, таким образом снижается нагрузка на носители и уменьшается время отклика. Как только последовательные обращения прекратились – в кэше остаются только актуальные страницы.
Рис. 2 Адаптивный кэш в системе хранения 3PAR 7450
Рассмотрим пример, когда хост запрашивает 4KB на чтение. Для традиционных массивов от кэша к дискам характерны обращения блоками в 16KB. Это сделано потому, что у вращающихся дисков существует задержка, поэтому в кэш помещается сразу блок большего размера, чтобы прогнозировать дальнейшие обращения к соседним блокам. Такой подход повысит скорость обращения к массиву, но сильно загрузит кэш данных. Для SSD дисков характерным является в десять раз меньшее время отклика, поэтому в массивах 3PAR 7450 применяется адаптивный способ работы – кэш массива запрашивает от SSD носителей блок, практически равный по размеру блоку I/O запрошенному от хоста, что меньше нагружает кэш и SSD диски.
Рис. 3 Адаптивный кэша на чтение в массиве 3PAR 7450
Запросы на запись усложняют ситуацию. Известно, что SSD носители обрабатывают запись блоками размером 4 / 8 KB от хоста, но при этом перезапись ячеек SSD носителя идет блоками по 64KB, для ранних моделей накопителей SSD – 512KB (циклы перезаписи для SSD всегда лимитированы). Подход традиционных массивов – в кэше хранятся страницы по 16KB и на SSD носители записываются блоки такого же размера, даже, если сервер отправляет блоки по 4 / 8KB, т.е. неполная страница будет храниться в кэше до заполнения, только после этого она будет записана на SSD носители. Но чаще всего на SSD носители будет сбрасываться неполная страница, т.к. в массивах применяются политики принудительного сброса кэша на диски по достижении определенного тайм-аута для сохранения данных (даже если в кэше контроллера записано только 4KB, то сбрасывается блок в 16 KB, из которых 12KB будут заполнены нулями). В таком подходе эффективность использования SSD носителей и срок их службы сильно снижается. Такое поведение характерно для большинства массивов традиционного типа.
Подход, используемый в системах хранения 3PAR — на диски с кэша сбрасываются блоки меньшего размера (до 4KB), этот подход имеет ряд преимуществ:
- Уменьшается износ SSD носителей, т.к. записываться будут только небольшие блоки с данными
- Улучшаются механизмы поиска свободного места на SSD, после заполнения носителя: массиву легче найти свободный блок в 4KB, чем блок в 16KB
- Исходя из п.2 улучшается утилизация SSD носителя – хранятся только блоки с данными, блоки, заполненные нулями исключены
- Для томов RAID1 уменьшаются задержки и штрафы, связанные с последовательностью запросов на «чтение – изменение — запись»
Рис. 4 Принцип работы кэша 3PAR 7450 на запись
Если же от хоста идут запросы на запись большими блоками (например, 128KB), то кэш массива 3PAR разбивает их на блоки меньшего размера и разделяет нагрузку между носителями. В таком подходе каждый носитель SSD изнашивается гораздо меньше. Помимо этого контроллер умеет одновременно обрабатывать запросы разных типов: последовательные и случайные. Каждый тип запроса параллельно обрабатывается чипами ASIC, тем самым снижается очередь и повышается скорость работы массива в смешанных нагрузках. В массивах традиционного типа на смешанных нагрузках характерны большие очереди запросов.
Рис. 5 Принцип работы кэша массивов 3PAR в смешанных нагрузках
Какие же преимущества дает подобная система хранения наряду с многочисленными проектами Flash-массивов, появившихся в ближайшее время?
- Во-первых, массив 3PAR 7450 дает высокую производительность, сопоставимую с flash-массивами. При этом используются SSD диски, которые значительно дешевле Flash-модулей. Традиционные системы хранения данных, в силу устаревшей архитектуры, не могут добиться высоких показателей производительности.
- Во-вторых, массив 3PAR поддерживает Disaster recovery, что пока не могут предложить производители Flash-массивов.
- В-третьих, Flash-массивы, как и массивы традиционной архитектуры, не могут наращиваться до 4 контроллеров с автоматической балансировкой нагрузки между ними.
- В-четвертых, сам по себе Flash-массив обычно слабо связан с другими системами хранения, что уменьшает зону для его применения, в то время как 3PAR позволяет хранить все типы данных на одной системе хранения, с одним интерфейсом управления и динамическим перемещения данных между уровнями.
- В-пятых, массивы 3PAR могут объединяться в федерацию из нескольких систем, с балансировкой нагрузки между массивами, что пока недоступно в как решениях Flash, так и в массивах традиционной архитектуры.
Поддержка Disaster Recovery
Помимо улучшений в области производительности, в массивах 3PAR возросли возможности по созданию отказоустойчивых решений. В частности, улучшилась работа технологии Peer Persistence, направленной на совместную работу с решениями VMware. Улучшений несколько:
- Были реализованы функции балансировки нагрузки между двумя площадками совместно с Storage vMotion. Теперь автоматическая балансировка нагрузки VMware возможна не только внутри массива между всеми контроллерами, но и между несколькими массивами.
- Была реализована функция High Availability для виртуальных машин между несколькими дата центрами.
- Синхронная репликация теперь поддерживает технологию «не пропадающего тома» (never disappearing LUN presentation):
Том реплицируется между массивами и для него создаются отказоустойчивые пути, презентованные хосту. Дисковые массивы, размещенные на разных площадках, будут связаны между собой репликацией, реализованной при помощи 3PAR Remote Copy. Ввиду того, что обе площадки являются активными, репликация будет двусторонней. Технология 3PAR Peer Persistence предоставляет узлам кластера vMSC равномерный доступ к двум системам хранения на площадках датацентра, при этом, каждый логический диск (LUN) каждой системы хранения 3Par имеет синхронную копию на другой площадке (как отражено на схеме ниже). Данная копия представляется виртуальной среде VMware пассивным путём к основному LUN, так как имеет такой же идентификатор WWN (уникальный идентификатор устройства в сетях SAN). В случае сбоя основного LUN, его дублёр остаётся видимым для хостов, таким образом, обеспечивая возможность гипервизора переносить виртуальные машины с использованием обычных технологий vMotion, High-Availability или Fault-Tollerance. Переключение между площадками выполняет кворум, т.е. это полностью автоматическая операция.
Большинство традиционных технологий (таких, как, например, автоматизированное решение VMware Site Recovery Manager) в случае сбоя системы хранения данных может перевести всю виртуальную среду на резервную площадку, но для этого будет необходима перезагрузка виртуальных машин. Благодаря же вышеописанной технологии Peer Persistence, для виртуального кластера система хранения доступна даже тогда, когда дисковый массив одной из площадок вышел из строя. В то же время, переключение на резервную площадку происходит без использования сторонних механизмов, что даёт возможность перевести виртуальные машины на другую площадку без их остановки и, при этом, не усложняет управление инфраструктурой.
Рис. 6 Технология Disaster Recovery в среде VMware
Для физических машин по-прежнему доступно ПО кластеризации приложений, работающее совместно с массивами 3PAR – HP Cluster Extension для Linux и Windows и MetroCluster для HP-UX.
Система шифрования данных в массивах 3PAR StoreServ 7000 / 10000
С июня у заказчиков появилась возможность заказывать помимо стандартных массивов 3PAR 7000 / 10000 массивы с функцией шифрования данных. Отличие этих массивов в наличии специальных дисков SED (Self-Encrypted Disk), в каждом из которых есть чип шифрования. Поддерживаются протоколы шифрования AES-128 / RSA-2048 / SHA-256 / RNG FIPS-186 / SP 800-90DRBG. Благодаря низкой задержке чипа, скорость работы SED диска практически не отличается от скорости обычного диска. При первой инициализации ключ шифрования распознается менеджером Local Key Manager, который является частью операционной системы массива и выполняется на каждом контроллере. Во время первой инициализации массивом будет предложено сохранить копию ключа. В случае пропадения питания на дисках или массиве данные блокируются и доступ к данным может быть возобновлен при повторном вводе ключа шифрования в консоли Local Key Manager. Если IT специалист уходит из организации, то можно поменять ключ. При миграции на массив без функции шифрования данные будут расшифрованы, при миграции в обратную сторону – зашифрованы. Есть важные нюансы:
- Шифрование активируется лицензией, приобретается одна лицензия на массив.
- Смешивать обычные и SED диски в массиве с активированной функцией шифрования нельзя.
- Если функция шифрования не активирована, то смешивать диски в массиве можно, но стоимость SED дисков выше примерно на 5%.
- После того, как функция шифрования активирована – все SED диски должны быть переинициализированы, т.е. данные на дисках будут недоступны.
Для шифрования будут доступны несколько типов дисков SED – 400GB MLC SSD, 450GB 10k, 900GB 10k, 1TB 7.2k 2.5”.
Рис. 7 Схема работы шифрования данных в массиве 3PAR
Включение функции шифрования происходит очень быстро, в несколько параллельных потоков, например, на системе в 160 дисков шифрование применяется за ~30сек.
Экосистема хранения данных нового поколения
Совсем недавно HP анонсировала поддержку Smart кэша на хостах HP ProLiant. Суть этой технологии в выделении группы дисков на сервере для хранения наиболее востребованных данных. В данной версии поддерживаются серверы HP ProLiant Gen8 с контроллерами HP Smart Array P22x, P42x, P721m, P822, P83x (необходим flash-модуль минимум 1GB). Пока поддерживаются 32 тома для кэширования данных. Следующим этапом станет расширение функционала этой технологии – на стороне хоста будет устанавливаться драйвер, поддерживающий тома системы хранения 3PAR для кэширования. Это позволит перемещать наиболее часто востребованные данные для чтения в кэш, созданный из группы дисков сервера. Будут поддерживаться как SSD носители, так и IO Accelerator’ы на шине PCI-E, установленные в сервер. Таким образом для критичных приложений это позволит существенно поднять производительность на чтение (до 3 раз), сократив задержки на доступ к данным.
Smart Cache поддерживает кластеризацию, интеграцию с vCenter, посредством использования агентов для виртуальных машин.
Рис. 8 Принцип работы Smart Cache
Тем не менее – HP не предлагает перемещать все данные на Flash, для некоторых приложений это неприемлемо, а большинству приложений быстрый SSD уровень требуется только для кратковременного хранения данных, поэтому «закат эры HDD» пока не предвидится.
Для каких сред предназначен массив HP 3PAR 7450?
Во-первых, это технологии OLTP / WEB 2.0, для которых время отклика и скорость массива имеет решающее значение, а для предприятия это напрямую влияет на полученную прибыль.
Во-вторых, это ставшие широко востребованными технологии VDI, для которых характерно наличие лавинообразного роста обращений к массиву в течение очень короткого промежутка времени (boot storm). Использование быстрого массива 3PAR 7450 позволит выжать максимум производительности из SSD накопителей (до 10000 IOPS с носителя), таким образом, сократить их количество.
Рис. 9 Паттерн типичных обращений к массиву для VDI
В-третьих, это бизнес аналитика. Быстрый анализ большого количества данных – быстрая реакция на изменения и высокая прибыль.
О каких анонсах еще стоит упомянуть:
- Можно заказывать MLC SSD диски 400GB — для тех случаев, когда необходимы SSD тома больших размеров, NL SAS диски 1TB 7.2k 2.5" — для тех, кому необходимы емкие хранилища в форм-факторе 2.5" (для 3PAR 7000), SAS диски 600GB 10k 2.5”.
- Появился Smart Cache для серверов с поддержкой систем хранения 3PAR.
- Технология назначения приоритетов в обслуживании для хостов (QoS).
- Объявлена поддержка OpenVMS, Ubuntu.
- Объявлена поддержка интерфейсов и драйверов OpenStack, массив 3PAR еще легче встраивается в «облака».
- Теперь подключение по FCoE поддерживается на устройствах с несколькими hop’ами.
Автор: Effi3
