Привет! Давно мы не проводили семинары — исправляемся.
31 мая совместно с Lenovo мы расскажем о новом сервисе DataLine — объектном хранилище. Поговорим о том, как мы выбирали решение и с чем столкнулись в процессе создания сервиса. Рассмотрим основные сценарии использования объектного хранилища и о цифрах не забудем.
Осталось всего несколько мест, регистрация обязательна!
Читать полностью »
Не так давно компания Pure Storage анонсировали новую функциональность ActiveCluster – active/active метро кластер между хранилищами данных. Это технология синхронной репликации, при которой логический том растянут между двумя хранилищами и доступен на чтение/запись на обоих. Эта функциональность доступна с новой версией прошивки Purity//FA 5 и является абсолютно бесплатным. Также Pure Storage пообещали, что настройка растянутого кластера никогда не была еще такой простой и понятной.
В данной статье мы расскажем про ActiveCluster: из чего состоит, как работает и настраивается. Отчасти статья является переводом официальной документации. Помимо этого, мы поделимся опытом тестирования его на отказоустойчивость в VMware-окружении.
Читать полностью »
В статье «СХД Infortrend — альтернатива А-брендам. Обзор и тестирование» мы описали функционал и производительность одной из самых популярных на тот момент SAN Infortrend — DS 3012T. К преимуществам СХД Infortrend, по итогам прошлой статьи, мы отнесли поддержку классических Enterprise-дисков (не брендированных) и обеспечение работы SATA-дисков в 2-контроллерных системах. Эти факты делают данные системы хранения уникальными, т.к. используя SATA SSD Enterprise, можно построить бюджетную систему хранения с высокими показателями производительности и отказоустойчивости.
В этой статье мы рассмотрим 24-дисковую модель SAN 2000-ой серии, и уделим больше внимания интерфейсу управления Infortrend SANWatch.
Читать полностью »
Один из ведущих производителей оборудования для СОРМ компания «Национальные технологии» разместила на портале госзакупок документацию по системе хранения данных «Купол», которая разработана при её участии.
Как следует из документации, до 30 мая 2018 года компания обязуется поставить оборудование на восемь площадок «Мегафона» и три площадки «Скартел» («дочка» «Мегафона», работает под брендом Yota). Площадки «Мегафона» располагаются в Москве, Санкт-Петербурге, Нижнем Новгороде, Самаре, Екатеринбурге, Саранске, Пскове и Смоленске, площадки Yota — в Москве, Санкт-Петербурге и Самаре.
С помощью этой системы «Мегафон» может хранить около 100 петабайт данных (62,6 ПБ в московском дата-центре). Комплексы для Yota рассчитаны на 7,6 ПБ. Эксперты поясняют, что суммарный трафик «Мегафона» в несколько десятков раз превышает объём поставки, так что это тестовая закупка всего лишь на 1 миллиард рублей.
Читать полностью »
Компания Fujitsu вот уже на протяжении 50 лет работает на рынке дисковых систем хранения данных. Сегодня в ее продуктовом портфеле присутствуют как гибридные, так и All-Flash массивы. Модельный ряд систем хранения данных Fujitsu регулярно пополняется интересными новинками, в этой статье мы расскажем о некоторых из них.
Как в блогах, так и в журналах есть множество статей о том, как собрать NAS своими руками.
И с первого взгляда кажется, что при наличии прямых рук, свой NAS по всем пунктам бьёт покупное решение.
"Фигак, фигак и в продакшн", — и вот уже быстро, дёшево и качественно реализованное хранилище радует вас высокой производительностью и надёжностью.
Несколько лет назад, при выборе первого хранилища для дома, я смотрел в сторону «коробочных решений» по причине не особой осведомлённости в построении системы хранения на базе открытого ПО и обычного ПК. В тот раз выбор пал на 2-дисковую NAS — Shuttle KD20. Хранилище было компактным и тихим. RAID1 обеспечивал необходимую надёжность, а потребности в высокой производительности и расширенном функционале на тот момент не было. Этот NAS проработал почти 4 года, пока в один прекрасный момент не накрылась линия питания вентилятора. Диски раскалились до 60 градусов и чудом выжили. Я запаял вентилятор напрямую к материнке, но стал подбирать вариант на замену. В качестве второй NAS я выбрал 4-дисковую Synology. Задачи оставались те же, поэтому в функционал DiskStation Manager (DSM) я особо не вникал. Это продолжалось до тех пор, пока я не решил установить домашнее видеонаблюдение на несколько каналов. Не смотря на то, что Synology имеет собственный сервис видеонаблюдения, я остановился на Macroscop — была потребность в расширенном функционале и серьёзной аналитике. На своё счастье, я обнаружил в DSM новый пакет Virtual Machine Manager — гипервизор, с помощью которого я создал виртуальную машину и установил на неё Windows и Macroscop. На запись система работала нормально, встроенный Pentium 1,6 ГГц с трудом, но успевал отрабатывать задачи СХД и виртуальной машины. Но как только активировалась какая-либо аналитика — сервис отваливался по перегрузке процессора. В результате, я был вынужден начать поиски отдельного бюджетного Windows-девайcа с адекватной производительностью для реализации сервера видеонаблюдения, так как Synology необходимого уровня стоит недёшево. В тот самый момент я в очередной раз наткнулся в сети на статьи, посвящённые установке DSM на обычное железо и мой проект XPenology начался…
Читать полностью »
Будущее принадлежит флэш-накопителям (SSD): они способны обеспечить гораздо более высокие скорости передачи данных, чем традиционные жесткие диски (HDD), и при этом становятся сравнительно недорогими. Широкое внедрение SSD может привести к существенным изменениям в архитектуре ЦОД и вычислительных систем.
Серверы и системы хранения с флэш-накопителями SSD позволяют решать самые ресурсоемкие задачи, такие как поиск в крупных базах данных, оперативная обработка транзакций, бизнес-аналитика, обработка больших данных и крупномасштабная виртуализация. SSD имеют все шансы заметно потеснить HDD в серверах и системах хранения данных, становятся ключевым компонентом гиперконвергентных систем. К 2020 году может появиться флэш-накопитель емкостью 40 Тбайт, практически решена проблема долговечности SSD.
В процессе настройки нового кластера на Ceph Luminous появилась задача разнести разные S3 бакеты по разным устройствам хранения (в моем случае SSD и HDD). В интернете много инструкций как это сделать в Ceph Jewel, но в случае с Luminous процесс претерпел большие изменения и старые инструкции больше не работают. Вместе с тем, что в офф документации этот сценарий не описан, процесс настройки становится не слишком тривиальным.
Читать полностью »
ClickHouse, Druid и Pinot — три открытых хранилища данных, которые позволяют выполнять аналитические запросы на больших объемах данных с интерактивными задержками. Эта статья — перевод подробного сравнения, выполненного Романом Левентовым.
| ClickHouse | Druid или Pinot |
|---|---|
| В организации есть эксперты по C++ | В организации есть эксперты по Java |
| Малый кластер | Большой кластер |
| Немного таблиц | Много таблиц |
| Один набор данных | Несколько несвязанных наборов данных |
| Таблицы и данные находятся в кластере перманентно | Таблицы и наборы данных периодически появляются в кластере и удаляются из него |
| Размер таблиц (и интенсивность запросов к ним) остается стабильным во времени | Таблицы значительно растут и сжимаются |
| Однородные запросы (их тип, размер, распределение по времени суток и т.д.) | Разнородные запросы |
| В данных есть измерение, по которому оно может быть сегментировано, и почти не выполняется запросов, которые затрагивают данные, расположенные в нескольких сегментах | Подобного измерения нет, и запросы часто затрагивают данные, расположенные во всем кластере |
| Облако не используется, кластер должен быть развернут на специфическую конфигурацию физических серверов | Кластер развернут в облаке |
| Нет существующих кластеров Hadoop или Spark | Кластеры Hadoop или Spark уже существуют и могут быть использованы |
А под катом — подробный рассказ о том, как Роман к этому пришёл.Читать полностью »
