Рубрика «СХД» - 6

в 7:06, , рубрики: amazon, AWS, s3, Блог компании ТЕХНОСЕРВ, облако, облачное хранение данных, облачное хранилище, облачные сервисы, СХД, хранение данных

Как мы организовали хранилище данных дешевле Amazon Simple Storage Service на 35% - 1

У нас есть набор систем хранения как традиционных, так и программно определяемых. Они используются в формате блочных хранилищ для хранения виртуальных машин, баз данных и других ресурсов.

На втором этапе мы стали использовать объектное хранение, то есть хранение без иерархии каталогов. Все данные лежат на одном уровне, и каждый файл может быть доступен по своему ключу. Метаданные хранятся рядом с файлом. Для доступа используются простые команды уровня PUT — GET — MODIFY, есть возможность обратиться к каждому файлу по собственному URI, обеспечены лёгкость управления правами и лёгкость размещения самых разных данных и доступа к ним.

Минус данных решений — невозможность обращения к части (сегменту) файла, поэтому для приложений вроде баз данных такие хранилища не используются. Оптимальное применение — сложить туда картинки веб-сайта, файловую помойку, архивы или бэкап данных. На базе объектного хранилища мы построили свой S3 — систему хранения не очень часто изменяемых данных. С прямой совместимостью с Amazon S3.

А ещё классические протоколы доступа, использующиеся внутри компаний для файлового доступа (CIFS или NFS), не предназначены для обмена большими данными через сеть Интернет. Это ещё одна из причин, почему и зачем мы создали своё объектное хранилище.

Стояла задача сделать его не просто работающим отовсюду, но и дешёвым.
Читать полностью »

в 15:28, , рубрики: jbod, ultrastar data102, western digital, Блог компании RAIDIX, дисковая полка, резервное копирование, Серверное администрирование, системное администрирование, системы хранения данных, СХД, хранение данных

Наращиваем дисковую массу без стероидов. Обзор 102-дисковой полки Western Digital Ultrastar Data102 и конфигурации СХД - 1

Чем хороши большие JBOD’ы?

Новый JBOD Western Digital на 102 диска по 12ТБ получился мощным. При разработке этого JBOD были учтены предыдущий опыт с двумя поколениями 60-дисковых полок.
Data102 получился на редкость для таких гигантов сбалансированным по объему и производительности.

Зачем же нужны такие большие дисковые корзины, когда в мире растет популярность гиперконвергентных систем?
Читать полностью »

в 6:37, , рубрики: backup, DSM, high availability, LUN, NAS, raid, SAN, Synology, xpenology, виртуализация, высокая производительность, гибридное хранилище, кластер, резервирование, резервное копирование, сервер, СХД, хранение данных, хранилища данных

Гибридное хранилище для дома «из коробки» и возможности High Availability от Synology - 1Несколько лет назад, при выборе первого хранилища для дома, я смотрел в сторону «коробочных решений» по причине не особой осведомлённости в построении системы хранения на базе открытого ПО и обычного ПК. В тот раз выбор пал на 2-дисковую NAS — Shuttle KD20. Хранилище было компактным и тихим. RAID1 обеспечивал необходимую надёжность, а потребности в высокой производительности и расширенном функционале на тот момент не было. Этот NAS проработал почти 4 года, пока в один прекрасный момент не накрылась линия питания вентилятора. Диски раскалились до 60 градусов и чудом выжили. Я запаял вентилятор напрямую к материнке, но стал подбирать вариант на замену. В качестве второй NAS я выбрал 4-дисковую Synology. Задачи оставались те же, поэтому в функционал DiskStation Manager (DSM) я особо не вникал. Это продолжалось до тех пор, пока я не решил установить домашнее видеонаблюдение на несколько каналов. Не смотря на то, что Synology имеет собственный сервис видеонаблюдения, я остановился на Macroscop — была потребность в расширенном функционале и серьёзной аналитике. На своё счастье, я обнаружил в DSM новый пакет Virtual Machine Manager — гипервизор, с помощью которого я создал виртуальную машину и установил на неё Windows и Macroscop. На запись система работала нормально, встроенный Pentium 1,6 ГГц с трудом, но успевал отрабатывать задачи СХД и виртуальной машины. Но как только активировалась какая-либо аналитика — сервис отваливался по перегрузке процессора. В результате, я был вынужден начать поиски отдельного бюджетного Windows-девайcа с адекватной производительностью для реализации сервера видеонаблюдения, так как Synology необходимого уровня стоит недёшево. В тот самый момент я в очередной раз наткнулся в сети на статьи, посвящённые установке DSM на обычное железо и мой проект XPenology начался…
Читать полностью »

в 20:37, , рубрики: all-flash, c++, disk performance, linux, nvme express flash pcie, storage, Блог компании СторКвант Лабс, системное программирование, СХД, хранение данных

Сегодня мы расскажем о героических буднях админов и системах хранения данных. В рамках этой статьи мы расскажем две реальные истории внедрения СХД и попробуем поделиться своим опытом внедрения и эксплуатации СХД решений. Имена участников конечно же вымышлены.

История 1. Как закалить админа

Начались суровые будни администратора Пети, и вот вечером приехала очередная партия оборудования вместе с СХД, но уже слышны стоны пользователей о том, когда новые ресурсы СХД будут им выданы. И вот системный администратор, невзирая на погоду и завершившийся рабочий день, уже бежит в свой ЦОД (или серверную, у кого как). Ведь там находится его главная цель — СХД, про которую он уже много читал на сайте производителя, практически изучил по буклетам, как она работает. Ведь именно он защищал покупку этой системы у своего ИТ-директора и приводил тысячу «за» и немного «против», и вот наступил тот самый момент, счастье совсем близко.
Читать полностью »

в 14:09, , рубрики: ssd caching, ssd кэш, Алгоритмы, алгоритмы машинного обучения, Блог компании RAIDIX, математика, машинное обучение, СХД, хранение данных

Данная статья была представлена на конференции SECR2017, где получила премию Бертрана Мейера за лучший исследовательский доклад.

В этом материале руководитель исследовательской лаборатории «Рэйдикс» Светлана Лазарева рассказывает о новом алгоритме заполнения параллельного кэша в СХД, который основан на алгоритме машинного обучения.

Читать полностью »

в 7:32, , рубрики: hitachi, Блог компании КРОК, история, СХД, Учебный процесс в IT, хранение данных

Когда я слышу Хитачи, то сразу думаю про что-то такое:

Хитачи: как японцы докатились от бензопилы до современных СХД - 1

Или про холодильник. Или про электровоз. Но никак не про СХД. Но нет, японцы делают большие серьёзные системы хранения данных:

Хитачи: как японцы докатились от бензопилы до современных СХД - 2

Мы недавно открыли учебный центр Hitachi Vantara, где как раз рассказываем про то, что с этими СХД и как делать. Укомплектовали пока только первый месяц занятий, поэтому сейчас про учебный центр рассказывать не буду — поделюсь инфой потом. Лишь добавлю, что работает он на базе КРОК ОК, где делаем онлайн-курсы по IT и не только. Гораздо больше меня заинтересовало, зачем японцы вообще пошли в эту сферу.

Начать надо с 1910 года. Именно тогда на шахте в городе Хитати объявился парень по имени Одаира. Примерно за 10 лет он из молодого инженера стал главой технического отдела шахты.
Читать полностью »

в 9:49, , рубрики: NAS, zyxel, Блог компании ZYXEL в России, коммутатор, Серверное администрирование, системное администрирование, СХД, файлохранилища, хранение данных

Существуют различные методы организации централизованной системы хранения данных.
Тем не менее большинство таких методик так или иначе можно свести к одному из трёх направлений…
Читать полностью »

в 13:00, , рубрики: NVDIMM, Блог компании RAIDIX, Серверное администрирование, системное администрирование, системы хранения данных, СХД, хранение данных, энергонезависимая память

Энергонезависимая память NVDIMM для защиты кэша в RAIDIX 4.6 - 1

В этой статье мы подробнее расскажем о поддержке энергонезависимой памяти (NVDIMM) в ПО RAIDIX 4.6. Новую версию ПО взяли на вооружение наши ключевые партнеры. Так, управляющее ПО RAIDIX 4.6 уже используется в новой СХД Trinity FlexApp от «Тринити».

Персистентная память и стандарт NVDIMM

Новый RAIDIX работает с персистентной памятью (PMEM), которая объединяет в себе преимущества традиционных устройств хранения данных и большую пропускную способность памяти DRAM. Данный тип памяти допускает побайтовую адресацию (load/store), и – в отличии от традиционных «блочников» – функционирует со скоростью DRAM и соответствующими низкими задержками. В случае потери питания на сервере все содержимое памяти остается нетронутым и может быть восстановлено после загрузки. В настоящее время этот тип памяти доступен в форме модулей NVDIMM (Non-Volatile Dual Inline Memory Module).
Читать полностью »

в 12:51, , рубрики: key-value, key-value storage, rocksdb, Администрирование баз данных, базы данных, Блог компании RAIDIX, Серверная оптимизация, Серверное администрирование, системы хранения данных, СХД

Key-value для хранения метаданных в СХД. Тестируем встраиваемые базы данных - 1

7-8 ноября 2017 на конференции Highload++ исследователи лаборатории «Рэйдикс» представили доклад «Метаданные для кластера: гонка key-value-героев».

В этой статье мы представили основной материал доклада, касающийся тестирования баз данных key-value. «Зачем их тестировать производителю СХД?», — спрóсите вы. Задача возникла в связи с проблемой хранения метаданных. Такие «фичи», как дедупликация, тиринг, тонкое выделение ресурсов (thin provisioning), лог-структурированная запись, идут вразрез с механизмом прямой адресации – возникает необходимость хранить большое количество служебной информации.
Читать полностью »

в 9:15, , рубрики: fio, linux, mdadm, raid, zfs, виртуализация, высокая производительность, Настройка Linux, системное администрирование, СХД

Тестируем производительность ZFS и mdadm+ext4 на SSD Sandisk CloudSpeed
для выбора технологии создания локального дискового массива.

Цель данного тестирования — выяснить, с какой реальной скоростью смогут работать виртуальные машины в raw файловых образах, если разместить их на 4-х производительных SSD-дисках. Тестирование будет производится в 32 потока, чтобы приблизительно создать условия работы реального гипервизора.

image
Читать полностью »

1...567...10...18
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js