При внедрении в мозг различных электронных устройств возникает проблема их энергопитания. Прямое подключение проводов через отверстие в черепе — не самый лучший вариант, потому что есть риск инфекций и утечки спинномозговой жидкости. Группа японских инженеров из Технологического университета Тоехаси предлагает более практичный подход, который устраняет такие риски и позволяет объекту свободно двигаться даже при имплантированных контактах мозг-компьютерного интерфейса.
Читать полностью »
Продолжу, первая часть тут.
Итак, приступим к настройке софта, управляющего кластером.
У нас это будет Pacemaker + Corosync в качестве транспортного бэкенда для общения между нодами.
Corosync для большей надёжности поддерживает работу через несколько колец обмена данными.
Причём, три и более уже не тянет, хотя в доках про это нигде особо не указано, только ругается при запуске если указать более двух в конфиге.
Кольца названы так потому что общение между нодами идёт по кольцу — ноды передают данные друг другу последовательно, заодно проверяя живучесть друг друга. Работает оно по UDP, может как по мультикасту, так и по уникасту. У нас будет последний, почему — будет понятно ниже.
Для связи между нодами я решил применить несколько параноидальную схему — внешнее кольцо через коммутаторы (тут стандартный Bonding/Etherchannel на два свича) + внутреннее кольцо, соединяющее ноды напрямую (напомню, что их три — два хранилища + свидетель).
Схема следующая:
Зелёные связи — внутреннее кольцо, чёрные — внешнее. В данной топологии ноды должны будут сохранить связность даже при полном отказе внешних устройств (шторм положил коммутаторы, админ (то бишь я) своими кривыми руками что-то напортачил… маловероятно, но всё может быть).
Читать полностью »
Итак, продолжу свои редкие статьи на тему «как не платить HP/EMC/IBM многие кило-(или даже мега-) доллары и собрать своё хранилище не хуже». Прошлый цикл я до победного конца не довёл, но 90% мыслей всё же оформил в текст.
Нашей сегодняшней целью будет отказоустойчивое «All-Flash» (то есть — только из SSD, без жестких дисков, хотя это и не принципиально) хранилище для нужд кластера vSphere, в несколько раз дешевле брендовых аналогов и с очень неплохой производительностью. Подключаться к нему мы будем по Fibre Channel, но никто не мешает сделать iSCSI, FCoE или даже, о ужас, Infiniband.
Как ясно из названия, основой всей этой богодельни станет достаточно уникальный на рынке продукт под названием Syncro CS от компании LSI (ныне Avago).
Что же оно такое есть и чем примечательно?
По сути, это комплект из двух обычных контроллеров LSI 9286-8e (либо 9271-8i, если нужны внутренние порты) и двух суперконденсаторов для сохранения кеш-памяти на флешку контроллера в случае потери питания. Стоимость комплекта при этом в несколько раз выше цены аналогичного комплекта без HA-функционала. Но, если сравнивать с решениями на базе DRBD, то эта разница с лихвой компенсируется отсутствием необходимости иметь двойной набор накопителей.
Но самое интересное кроется в прошивке. Благодаря ей, эти контроллеры, будучи подключенными к одной SAS-сети (например, дисковой корзине с экспандерами) устанавливают через неё связь друг с другом и работают в режиме отказоустойчивого кластера.
Для нас это интересно вот чем:
Встала необходимость организовать мониторинг исправной работы контроллеров семейства LSI MegaRAID на серверах, работающих под управлением гипервизора VMware vSphere ESXi v5.5. И соответственно автоматически получать уведомления при наличии какого-либо сбоя, например отказе одного из HDD. В процессе проработки оказалось, что найденное решение не ограничивается только хранилищами данных гипервизора.
Читать полностью »
Коллеги с соседнего отдела (UCDN) обратились с довольно интересной и неожиданной проблемой: при тестировании raid0 на большом числе SSD, производительность менялась вот таким вот печальным образом:
По оси X — число дисков в массиве, по оси Y — мегабайтов в секунду.
Я начал изучать проблему. Первичный диагноз был простой — аппаратный рейд не справился с большим числом SSD и упёрся в свой собственный потолок по производительности.
После того, как аппаратный рейд выкинули и на его место поставили HBA, а диски собрали в raid0 с помощью linux-raid (его часто называют 'mdadm' по названию утилиты командной строки), ситуация улучшилась. Но не прошла полностью -цифры возросли, но всё ещё были ниже рассчётных. При этом ключевым параметром были не IOPS'ы, а многопоточная линейная запись (то есть большие куски данных, записываемых в случайные места).
Ситуация для меня была необычной — я никогда не гонялся за чистым bandwidth рейдов. IOPS'ы — наше всё. А тут — надо многомногомного в секунду и побольше.
Я начал с определения baseline, то есть производительности единичного диска. Делал я это, скорее, для очистки совести.
Вот график линейного чтения с одной SSD.
Увидев результат я реально взвился. Потому что это очень сильно напоминало ухищрения, на которые идут производители дешёвых USB-флешек. Они помещают быструю память в районы размещения FAT (таблицы) в FAT32 (файловой системе) и более медленную — в район хранения данных. Это позволяет чуть-чуть выиграть по производительности при работе с мелкими операциями с метаданными, при этом предполагая, что пользователи, копирующие большие файлы во-первых готовы подождать, а во вторых сами операции будут происходить крупными блоками. Подробнее про это душераздирающее явление: lwn.net/Articles/428584/
Читать полностью »
Данная маленькая статья может оказаться полезной для владельцев модуля RMS25JB080 или администраторам ищущих хорошее решение для построения не дорогих дисковых хранилищ.
Возникла необходимость проработать бюджетное и надежное решение, которое можно было бы использовать в системах видео наблюдения или как хранилища данных на базе файловой системы ZFS. Основными требованиями было: универсальность и тиражируемость решения, хорошая процессорная производительность и возможность хранения больших объемов данных (много дисков, регулярная запись/чтение, отсутствие необходимости использовать рейд, возможность быстрой замены диска без раскручивания корпуса). За основу решено было взять серверную материнскую плату Intel, с процессором Xeon E3 v3, а так же корпус на 8 SAS/SATA дисков с горячей заменой без экспандера. При выборе рейд контроллера для подключения дисков выбор был отдан интегрированному RAID-модулю Intel (HBA контроллер с портами 2 x SFF-8087 мини, на базе чипа LSI 2308, но имеющий цену в 1,5 – 2 раза ниже таких же PCI-E контроллеров на 8 SAS портов).
Читать полностью »
Поскольку компания LSI (теперь уже часть Avago Technologies) продала свое подразделение flash-контроллеров небезызвестной Seagate, основной областью их внимания вновь становятся решения для RAID и SAS (своеобразный back to basics). Чтоб отметить это «возвращение к корням», я решил перевести интересную статью Томаса Павела (Thomas Pavel), директора по продажам storage-подразделения EMEA. Не уверен насчет того, выложена ли данная статья в Интернет, по крайней мере пока не нашел.
Читать полностью »
В мире IT и высоких технологий многомиллиардные сделки, в ходе которых компании меняют собственников — абсолютно не редкость. К некоторым из них приковано пристальное внимание общественности (банальные примеры — Instagram, Oculus Rift и Beats), а другие, несмотря на солидные суммы, остаются абсолютно незамеченными почти никем, кроме специалистов в отрасли. Так случилось и с компанией LSI, которую за внушительную сумму 6.6 миллиардов долларов приобрела Avago Technologies. Что же это за компания, Avago Technologies, и зачем они заплатили за акции LSI по $11,15 за штуку?
Читать полностью »
Современная революция систем хранения данных невозможна без развития интерфейсов, с помощью которых диски подключаются к системе. Одним из главных «героев» этого фронта сейчас является шина PCI Express. Скоростные накопители в наше время работают с интерфейсом PCIe Gen2 x4, обеспечивая скорость до 20 Гб/с, но так было далеко не всегда.
Читать полностью »
В моем переводе статьи про форм-факторы SSD рассказывалось про то, как развивались разнообразные решения в области твердотельных дисков. Если говорить коротко, был затронут и формат M.2, который на самом деле заслуживает более пристального рассмотрения. Недавно в блоге компании LSI вышла вторая часть статьи, проливающая свет на данный вопрос. Предлагаю вашему вниманию ее перевод.
Читать полностью »
