Сейчас очень много по телевизору говорят об очередных успехах российских компаний на поприще импортозамещения. Рисуются дорожные карты, создаются реестры отечественных разработчиков, организовываются форумы, вкладываются гос. деньги (как обычно, не совсем понятно, куда).
О том, что скоро наступит светлое будущее и всех нас ждут российские операционные системы, базы данных и прочие нужные вещи, телевизор уже всем рассказал.
В реальности все, как обычно, обстоит несколько иначе…
Несколько лет назад компания Softline начала активно мониторить рынок российских ИТ-решений, чтобы удовлетворить спрос со стороны государственных (и не только) компаний на импортозамещающую продукцию в ИТ. Ну ведь должно же что-то быть, правда?
Так как сегодня пишем про СХД, значит и расскажем о нашем опыте как мы искали, тестировали и внедряли СХД российского производителя компании AERODISK.
Но, прежде чем познакомиться с данным вендором, мы прошли семь кругов ада долгий путь знакомства с OEM-ами, которые на полном серьезе выдают себя за отечественных производителей.
А теперь сразу минуточку внимания:
Во-первых, мы совсем не против OEM-бизнеса, это нормально и практикуется во всем мире. К примеру, тот-же HP давно и успешно OEM-ит СХД DotHill, продавая ее по всему миру как свою и всем все нравится.
Во-вторых, мы против только откровенного обмана (я думаю, тут с нами согласятся все).
Мы не будем тут приводить названия организаций, которые ведут себя плохо, обманом выдавая себя за отечественных производителей. Мы не хотим создавать никому антирекламу, но, к сожалению, такие компании есть, и они у всех на слуху.
Попытка номер раз
Начав поиск, мы первоначально наткнулись на целую кучу так называемых «российских СХД», которые по всем бумагам и картинкам «наши», продаются под «импортозамещение», а на деле и оборудование и интеллект либо китайские, либо американские.
Ну, чёрт бы с ним с оборудованием, понятное дело, что даже американские производители делают свое железо в Азии, сейчас это норма, но ПО-то кто мешает написать?
Попытка номер два
Мы, конечно, расстроились, но продолжили искать. Вскоре мы обнаружили несколько российских решений, которые действительно разработаны были у нас, но тесты показали, что они страдают одной из двух (или сразу двумя) болезней.
- Решения сырые
- Решения не для серьезных (или для нишевых) задач
Очевидно, что работать серьезно мы с такими решениями не могли. Опять неуд.
Попытка номер три
Расстроившись ещё больше, мы продолжили есть кактус. В этот момент (шел конец 2017 года) у нас появился крупный федеральный проект, где нужно было максимально использовать российские технологии. Еще шла стадия проектирования: закладывались основные технические решения. Эта была часть федерального проекта «Безопасный город» в одном из городов – хозяев ЧМ 2018.
Концепция «Безопасного города» подразумевает объединение всех ответственных служб безопасности в единое направление с тесной интеграцией ИТ-систем. Это помогает гораздо быстрее реагировать на инциденты, а в некоторых случаях даже предотвращать их.
Технически суть проекта в том, что в городе все обвешивается камерами (несколько тысяч камер), и эти камеры, используя умную систему видеонаблюдения, автоматически фиксируют опасные или потенциально опасные события и в хорошем разрешении непрерывно пишут данные в ЦОД. В онлайн-режиме аналитика событий с камер выводится на пульты экстренных служб, и, кроме того, в ЦОД-е записи с камер хранятся минимум один месяц.
В любой момент сотрудник правоохранительных органов может обратиться к оператору услуги и максимально быстро получить видео из любой точки за последний месяц для дальнейшего анализа. Требования к доступности и производительности (несколько тысяч камер хорошего разрешения – это не фунт изюма, как вы поняли) в таком проекте максимальны. Если нужное видео потеряется или не так запишется, оператор услуги может на полном серьезе уехать отдыхать на курорты солнечного Магадана.
Конечный заказчик (оператор услуги) просил по возможности (без ущерба качеству) использовать российские решения там, где это возможно, поскольку с него же потом собирались спросить: «а что ты сделал для импортозамещения?». А краснеть он перед большими начальниками ох как не хотел.
С системами видеонаблюдения проблем не было, т.к. есть много российских решений, выбор большой, и в данном случае было использовано проверенное решение. А вот с СХД (поскольку наши поиски не увенчались успехом) мы были настроены на использование давно знакомого иностранного решения. И тогда один из наших партнеров по проекту предложил использовать для уровня хранения российскую СХД AERODISK.
Мы (Softline) на тот момент, конечно, знали, что есть такой производитель, и что это не OEM. Отзывы о нем слышали разные: и хорошие, и не очень, поэтому однозначного впечатления у нас не было. До его тестирования мы не дошли, поскольку тестирование решений других российских разработчиков (см. попытка номер два) не удалось, и мы на время приостановили активность из-за постоянных провалов.
Но предложение было сделано, заказчик воспринял идею на ура. А мы отправились выяснять, что за СХД делает AERODISK, и решили их навестить.
Посещением компании AERODISK мы остались вполне довольны. Нам показали систему в работе, демо-центр, а также дали пообщаться с разработчиками, которые «вот этими вот руками» делают будущее.
Мы попросили AERODISK организовать тестовую лабораторию специально для этого проекта и вместе с выбранной системой видеонаблюдения эмулировать продуктивную нагрузку. Специфичность задачи состояла в том, что, кроме обычной потоковой записи видео, к потоку постоянной записи добавляются задачи по чтению и перезаписи данных на основе проведенного анализа. Зная этот профиль нагрузки, мы на протяжении нескольких недель гоняли СХД AERODISK и в хвост, и в гриву. В целом, результатами остались мы довольны, система в ряде случаев даже превосходила иностранных производителей, но были и недочеты. Но все они сводились в основном к мелким багам в интерфейсе, которые оперативно были исправлены тех. поддержкой производителя.
Итог теста был такой:
- Ничего не сломалось, хотя мы ломали
- По ходу теста поддержка работала на хорошем уровне
- Производительность для нашей задачи была достаточна
- Мы поняли, что мы как системный интегратор вполне можем систему поддерживать самостоятельно (для нас это важный критерий)
Мы приняли решение идти в этот проект с СХД AERODISK и со стандартными x-86 серверами, подключенными к СХД по Fiber Channel и по Ethernet 10Gbit. Предстояло собрать два отказоустойчивых кластера, которые будут параллельно обслуживать городские видеокамеры.
Внедрение
Проектное решение разрабатывалось с нуля, и толком ни у нас, ни у нашего партнера, ни у оператора услуги подобного опыта не было. Понятно, что были использованы различные бэст практисы и прочая теория, но, как говорят у военных, «любой план хорош до первого выстрела». Проект на бумаге выглядел идеально и был утвержден. Смущало то, что AERODISK не участвовал в проектировании, по причине того, что в проекте появился в последний момент и что-то переутвердить уже было невозможно без переноса сроков (а срок ЧМ-2018 перенести мы не можем)))).
Комплекс решений был поставлен, настроен согласно проектным документам и введен в опытную эксплуатацию, которая должна была идти несколько месяцев. Началось все очень хорошо и обе системы хранения за первый месяц были заполнены данными с видеокамер. Полет был нормальный, все как на бумаге. Мы были очень рады, но еще не знали, что настоящие проблемы нас ждали ещё впереди.
Мы уже было расслабились, но под конец второго месяца опытной эксплуатации от оператора услуги стали поступать жалобы на производительность и нестабильность работы системы в целом.
Мы срочно привлекли поставщика решения для видеонаблюдения и AERODISK к решению проблемы. На тот момент мы ждали, что начнется «пинг понг», типа этого:
К нашему удивлению этого не случилось, и оба вендора с головой ушли в диагностику проблемы. На следующий день был выдан диагноз. Причина проблем с производительностью была в некорректной настройке СХД. Сработало то, что нас смутило с самого начала: физически не было возможности привлечь производителя СХД к проектированию, и именно этот участок был спроектирован неверно, без учета особенностей СХД AERODISK. Мы в тот момент даже обрадовались, потому что «ну раз криво настроено, так давайте перенастроим, в чем проблема то :)?»
Но не тут-то было. Проблема заключалась в том, что видео с камер писались в основном на файловые шары SMB, которые были презентованы с СХД серверам видеонаблюдения, и именно в этом был корень зла, а по правильному для видеонаблюдения нужно презентовать блочные устройства и форматировать их уже на уровне серверов в локальные файловые системы. Казалось бы, в чем проблема, создаем LUNы и отдаем серверам, но нет. Поскольку за первый месяц работы весь полезный объем обеих СХД был уже занят, то LUN-ы банально негде создавать. Места нет, а удалять старые видео, чтобы освободить место нельзя, ибо «посодют». Ну и бэкапы тут не помогут, что очевидно, а репликация не была заложена в проект.
Докупить ещё столько же объема (пол петабайта) бюджета уже не было, а очистить текущее дисковое пространство было нельзя. Вариант использовать временное пространство в нашем облаке не подходил, поскольку будут слишком большие задержки при таких объемах записи. То, что так хорошо начиналось, подходило к ужасному концу.
Развязочка
Но помощь все-таки пришла. AERODISK предложил поставить на время перенастройки СХД рядом еще один свой массив аналогичной емкости и производительности, перенаправить всю запись на него, подождать один месяц, когда данные с неверно настроенных СХД автоматически удалятся. После этого, пока видеоданные пишутся на временную СХД, а постоянные СХД освободились, следовало выполнить корректную настройку блочного доступа на свободных СХД. Ну а потом выполнить все в обратном порядке. Как вы поняли все эти операции следовало выполнять «без единого разрыва)))», то есть без остановки записи с видеокамер.
Самостоятельно провернуть такую спец. операцию мы немного боялись. Поэтому AERODISK (за что ему огромное спасибо) кроме железа несколько раз командировал двух инженеров для выполнения этих работ.
Переключение на временную СХД, перенастройка и обратное переключение было выполнено без каких-либо остановок. Производительность СХД и комплекса в целом нормализовалась. Оператор услуги сиял от счастья, поскольку уже почти смирился с провалом проекта.
На текущий момент комплекс «Безопасный город» введен в эксплуатацию, мы получили бесценный опыт, а программно-аппаратный комплекс, использованный в этом проекте взят за эталон для последующих применений в других городах нашей страны.
Выводы
Итак, мы изучили рынок российских систем хранения данных, прошлись по OEM-ным «фэйкам», сырым решениям, смогли все-таки найти серьезного игрока на этом рынке – компанию AERODISK, чей продукт СХД ENGINE N-серии по нашему опыту может смело конкурировать с более именитыми зарубежными решениями. Да, реализация большого и сложного проекта не вся прошла гладко (а бывает по-другому?), но результат в итоге получился на наш взгляд отличный. Можно с уверенностью сказать, что за импортозамещение в направлении систем хранения данных Родина может не волноваться.
Автор: Softliner
