Рубрика «хранение данных» - 40

Картинка не выражает позицию компании и является личным видением автора, не обязательно связанным с темой данного текста, аминьКак вы наверное помните, НРЕ давно вкладывается в тему новых типов хранилищ данных (конечно, The Machine) и в оптимизацию доступа к хранилищам (наше членство в консорциуме Gen-Z).

Цель этого движения — ускорить работу приложений наших заказчиков. Причем движение это многоуровневое: пока куется совершенно новая архитектура вычислительных систем The Machine (т.н. памяте-центричная архитектура), мы понимаем, что ускоряться нужно уже сейчас. Давайте посмотрим что можно сделать сегодня, и что появится у HPE завтра. Подсказка — речь пойдет о сильном ускорении наших СХД 3PAR и Nimble с помощью умного и относительно бюджетного кэширования на Storage Class Memory (SCM) в форме Intel Optane.
Читать полностью »

Память Optane — симбиот для HDD, и конфигурации офисных ПК получаются на 8–15 % дешевле - 1

Берёте ПК с HDD, втыкаете ему внутрь PCIe-модуль Intel Optane, и он становится кэшем жёсткого диска. Получается сильно быстрее, потому что это, по сути, флешовый NVMe-модуль, который становится частью жёсткого диска. Вы получаете гибридный массив. Это ещё и относительно просто.

К нам упал такой запрос: будет ли дешевле покупать офисные ПК с этой платой в сравнении с SSD-диском? И какие подводные камни возможны, если они есть? А они есть, конечно.

Плату 32 Гб мы сожгли во время тестов, поэтому числа будут только про 16 Гб.
Читать полностью »

Сегодня на тематических зарубежных сайтах о Big Data можно встретить упоминание такого относительно нового для экосистемы Hadoop инструмента как Apache NiFi. Это современный open source ETL-инструмент. Распределенная архитектура для быстрой параллельной загрузки и обработки данных, большое количество плагинов для источников и преобразований, версионирование конфигураций – это только часть его преимуществ. При всей своей мощи NiFi остается достаточно простым в использовании.

image

Мы в «Ростелекоме» стремимся развивать работу с Hadoop, так что уже попробовали и оценили преимущества Apache NiFi по сравнению с другими решениями. В этой статье я расскажу, чем нас привлек этот инструмент и как мы его используем.
Читать полностью »

Splunk глазами новичка: как мы делали систему инвентаризации хранилищ - 1

Недавно заказчик попросил нас реализовать систему учета дисковых мощностей. Стояла задача объединить информацию с более семидесяти дисковых массивов разных вендоров, от свичей SAN и ESX-хостов VMware. Затем данные нужно было систематизировать, проанализировать и иметь возможность выводить на дашборд и различные отчеты, например, о свободном и занятом объеме дискового пространства во всех или отдельно взятых массивах.

Мы решили реализовать проект с помощью системы анализа операционной деятельности — Splunk.
Читать полностью »

Рынок твердотельных накопителей развивается семимильными шагами – если совсем недавно ещё не каждый мог себе позволить такое устройство в рабочую систему, то сегодня можно найти десятки совершенно разных моделей в любой ценовой категории. Объёмы контента растут с каждым месяцем – сейчас смартфоны даже среднего ценового диапазона умеют снимать высококачественное видео в разрешении 4K, не говоря уже о флагманах и профессиональных камерах, которые позволяют фиксировать самые важные моменты вашей жизни в режиме 4K 60fps. Можно даже сказать, что FullHD уже уходит в небытие, хоть и пока ещё достаточно популярен. Не прошло и 15 лет, как жёстких дисков объёмом 20 ГБ хватало для хранения важных данных. А сейчас на дворе уже и 14 ТБ диски можно приобрести – что делать, если надо оперативно перекинуть 500-800 ГБ файлов? Для этого есть несколько способов, поэтому сегодня разговор пойдёт не о привычных SSD для установки внутрь ПК или ноутбуков, а о портативном накопителе HyperX SAVAGE EXO, который стал первым этапом кампании по замещению внешних HDD. Дело остаётся лишь за временем. Но уже сейчас SAVAGE EXO способен завоевать внимание тех пользователей, кому часто требуется переносить много данных или запускать то или иное программное обеспечение прямо со своего переносного накопителя. А в конце данного материала мы подведём итоги конкурса ваших историй и озвучим победителей, которые получат флешки Kingston!

Невесомый терабайт в кармане – будущее уже здесь? Изучаем возможности HyperX SAVAGE EXO - 1
Читать полностью »

За окном ноябрь, а это значит, что до новогодних каникул осталось всего ничего! Для Western Digital уходящий год выдался не самым простым, хотя и весьма продуктивным. Подготовка к производству винчестеров, использующих передовую технологию магнитной записи MAMR, перепрофилирование производства SSD с планарных чипов на трехмерные, запуск новых продуктов, а теперь еще и ребрендинг! Нет-нет, не пугайтесь: мы не собираемся расставаться с названием Western Digital. Напротив: отныне легендарный (что уж тут скромничать) бренд будет включать в себя огромное количество продуктов, в том числе — выпускаемых ранее под марками дочерних предприятий. И специально для того, чтобы вы не запутались, мы и подготовили сегодняшний материал.Читать полностью »

И хотя людей, которые для написания списка покупок или компиляции данных по квартплате используют скрипты на python, пересчитать по головам, но если так получилось, что вы используете скрипты для решения рутинных задач и иногда скрипты работают недопустимо долго, то возможно, идея применение ленивых вычислений ко всему что движется, придётся вам по вкусу.

Читать полностью »

Конференция ПРОSTOR 2018: вопросы и ответы про будущее СХД - 1

Каждую осень команда «Рэйдикс» собирает неравнодушных к технологиям хранения данных на ежегодной конференции ПРОSTOR. В предыдущей статье мы рассказывали, как это было раньше, и вот пришла пора подвести итоги 4-ой конференции, которая состоялась 1-го ноября на «Красном Октябре».
Читать полностью »

Иногда может захотеться странного. Вот вроде бы лежит себе видеокамера стандарта MiniDV и лежит. Есть не просит. А что если взять и записать на её кассеты вовсе даже не видео, а, скажем, файлы. Запись-то всё равно цифровая. Пусть объём кассеты всего лишь около 13 ГБ (под данные получилось занять около 9.5 ГБ), пусть скорость чтения 3.5 МБ в секунду, но ведь получится простой домашний стример. Так сказать, “стример для бедных”. Почему бы не отправить на несколько кассет, скажем, какие-либо важные файлы. Просто так, на всякий случай. Попробуем!
Читать полностью »

Есть сеть примерно из 90 очень крупных магазинов по России. Каждый магазин бэкапится на ленточную библиотеку (ниже на фото — ЗИП). Дальше они берут кассеты и везут их на машине в архив.

Резервное копирование на кассеты - 1

Устройства механические: они ломаются, выходят из строя, мы ездим чинить. Потом они сходят с расширенной гарантии, и это всех бесит.

В какой-то момент они устарели. Но бюджета было ровно на новую версию ленточной библиотеки. В этот момент заказчик появился у нас на пороге с энной суммой и спросил, можно ли что-то придумать в её рамках.

Мы было подумали про центральную инсталляцию одной большой железки, но ситуация осложнялась тем, что каналы от магазинов ограничены 5 Мбит/с (от самых дальних).
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js