Как повысить производительность систем хранения данных в дата-центре

По информации Cisco, к 2019 году один пользователь будет генерировать 1,6 ГБ данных на облачных хранилищах ежемесячно. Увеличение объема информации — главный фактор роста ИТ-рынка и в то же время серьезный вызов для инфраструктуры. Поэтому в этой статье посмотрим, как поднять производительность и эффективность SSD и HDD в дата-центре.

/ кадр из видео о дата-центре Xelent, в котором размещается оборудование 1cloud

Что влияет на производительность HDD и SSD в дата-центрах

Проблемы производительности, связанные с хранением, упираются в размеры блоков данных вне зависимости от архитектуры СХД — будь то традиционная инфраструктура или распределенное хранилище. Например, операции с одним и тем же объемом данных при работе с блоками требуют разного количества ресурсов: запись 100 байт в один блок или несколько займет разное время.

Другой фактор — то, как система обращается к файлам и как они хранятся на диске. Процедуры определения местоположения информации приводят к задержкам обработки в случае с HDD. При этом большие данные, размером свыше петабайта, преобразуются в огромное количество метаданных, с которыми справится не каждая файловая система.

Также на производительности систем хранения сказываются физические ограничения технологий. Есть мнение, что с ростом производительности темпы развития параметров HDD не следуют закону Мура. SSD же развиваются предсказуемо: пропускная способность вместе с емкостью растет, как того ожидает индустрия.

Однако у HDD еще осталось поле для маневра — ведутся работы по уменьшению дисков в размерах и увеличению плотности записи, направленные на повышение эффективности запоминающих устройств. Например, только в начале октября этого года компания WD представила новую технологию микроволновой магнитной записи (MAMR), которая, по расчётам разработчиков, позволит создавать 40-терабайтные HDD.

/ кадр из видео о дата-центре Xelent, в котором размещается оборудование 1cloud

Как повысить производительность систем хранения данных

Определить узкие места

Валдис Филкс (Valdis Filks), директор по исследованиям в Gartner Inc, сравнивает поиск «утечки» производительности в системе хранения с поиском сокровищ. И отмечает, что для этого нужны специальные инструменты. Сегодня индустрия предлагает как встроенные системы для оценки работоспособности массивов хранения данных, так и стороннее программное обеспечение для управления ресурсами хранения (SRM) и мониторинга.

Например, компания Dell EMC предлагает встроенные инструменты для управления ресурсами хранения и составления отчетов. Они позволяют сформировать статистику по емкости, конфигурации и производительности используемых массивов. Отметим, что подобные решения предоставляют и IaaS-провайдеры, если речь об отслеживании производительности СХД в виртуальной инфраструктуре.

Оптимизировать данные

Повысить производительность СХД можно, если правильно скомпоновать накопители в пулы. Один из вариантов — объединение дисков с низкой производительностью, которые хранят основную массу данных, и использование динамического выделения памяти и дедупликации.

Для выполнения этих функций существует большое количество современных решений. Дополнительно они обеспечивают защиту данных и виртуальных серверов. Одним из примеров может служить решение ClearSky Data, которое устраняет дубликаты данных и предлагает возможности резервного копирования и восстановления после катастрофы.

Идея проекта заключается в следующем: кеш с бизнес-критической информацией хранится на площадке клиента, «теплые» данные помещаются в локальное облако, а «холодные» выносятся во внешнее облако. Компания разработала программное обеспечение, которое автоматически управляет данными, перемещая их между точками хранения. Алгоритмы анализируют интенсивность использования информации и требования заказчика.

Еще один проект — это стартап Datrium. Идея разработчиков заключается в том, что дедупликация выполняется дважды: на локальной флеш-памяти до пересылки на устройство долгосрочного хранения, и после него. О других интеллектуальных системах дедупликации и резервного копирования вы можете почитать в одном из наших материалов.

Оптимизировать кеш

Если объем данных, используемый системой, слишком велик для кеша, производительность может существенно снизиться. Решить проблему помогает виртуализация СХД. Виртуализация точек монтирования, в которых система хранения данных связывается с сервером и ОС, позволяет задействовать DRAM для создания общего кеша.

Впоследствии его можно использовать с целью ускорения работы приложений и выполнения буферизации. Специалисты из аналитической компании StorageSwiss говорят, что такой подход хорошо показывает себя при работе с системами обработки транзакций в реальном времени.

Оптимизировать работу сети

Модернизация сети помогает в тех случаях, когда производительность страдает от недостатков на уровне адаптера главной шины, сетевого коммутатора или кабельной инфраструктуры. Кабельные соединения часто упускаются из виду как фактор снижения эффективности хранения данных.

Еще одна причина — неэффективное управление трафиком. Если сеть обладает ограниченной пропускной способностью, то часть канала можно отвести под критически-важные сервисы, «поджав» работу второстепенных (скажем, электронной почты).

Для повышения качества управления трафиком, специалисты консалтинговой группы Ashton Metzler & Associates Inc. советуют мониторить сеть и готовить отчеты, чтобы своевременно изменять модель распределения данных.

Как отмечают сотрудники Viavi Solutions, один из эффективных способов трафик-менеджмента — это иерархическая система качества обслуживания (H-QoS). Она объединяет в себе сетевые политики и политики фильтрации. H-QoS снижает латентность, не требуя повышения пропускной способности сети.

Использовать особенности устройств хранения

Хотя SSD и HDD выполняют одну и ту же функцию, они основаны на разных технологиях. Поэтому к этим устройствам требуется различный подход. Например, в случае с SSD фрагментация никак не сказывается на производительности. Это означает, что дефрагментация не дает преимуществ в вопросе оптимизации. Поэтому команда PC Magazine Labs отмечает, что иногда бывает полезно отключить эту функцию для твердотельных накопителей.

Также отметим, что внутренняя реализация ряда операций, например, удаления файлов, в SSD и HDD отличается. А выполнение некоторых стандартных функций на SSD (например, форматирования) даже приводит к ухудшению их производительности. И чтобы противостоять этому эффекту, стоит использовать команду TRIM, которая уменьшает влияние «сборки мусора» на SSD-устройстве.

Бывают ситуации, когда TRIM не поддерживается ОС. Для таких случаев были разработаны специальные инструменты, которые дают возможность посылать команду «вручную». Эти утилиты формируют список свободных блоков и передают его диску в виде последовательности TRIM-команд. При этом есть как универсальные инструменты (например, hdparm), так и специализированное программное обеспечение для дисков отдельных производителей (Intel SSD Toolbox).

P.S. Вот еще несколько статей об аппаратных решениях из нашего блога:

Автор: 1cloud

Источник