Когда я писал в начале года статью “Кто есть кто в мировой микроэлектронике”, меня удивило, что в десятке самых больших полупроводниковых компаний пять занимаются производством памяти, в том числе две – только производством памяти. Общий объем мирового рынка полупроводниковой памяти оценивается в 110 миллиардов долларов и является постоянной головной болью участников и инвесторов, потому что, несмотря на долгосрочный рост вместе со всей индустрией микроэлектроники, локально рынок памяти очень сильно лихорадит – 130 миллиардов в 2017 году, 163 в 2018, 110 в 2019 и 110 же ожидается по итогам 2020 года.
Рубрика «хранилища данных» - 5
Вспомнить всё. Разбираемся в полупроводниковой памяти
2020-12-29 в 15:03, admin, рубрики: dram, eeprom, FRAM, mram, PCM, sram, ssd, Накопители, Научно-популярное, память, Производство и разработка электроники, хранилища данных, Электроника для начинающихСовременные накопители очень быстры, но плохие API это не учитывают
2020-12-01 в 9:34, admin, рубрики: api, intel, IOPS, NVMe, Накопители, хранение данных, хранилища данных
Почти десять лет я проработал в компании, создающей довольно специализированный продукт — высокопроизводительные системы ввода-вывода. Я имел возможность наблюдать за быстрой и решительной эволюцией технологий хранения данных.
В этом году я сменил работу. Окружённый в новой большой компании инженерами, имевшими опыт в разных сферах работы, я удивился тому, что у каждого из моих коллег, несмотря на выдающийся ум, сложились ложные представления о том, как наилучшим способом использовать современные технологии хранения. Даже если они и были в курсе совершенствования технологий, такие представления приводили к созданию неоптимальных архитектур.
Поразмышляв о причинах этой неувязки, я понял, что в основном устойчивость таких заблуждений вызвана следующим: даже если они проверяли свои предположения при помощи бенчмарков, то данные показывали их (кажущуюся) истинность.
Вот самые распространённые примеры таких заблуждений:
- «Вполне нормально скопировать память здесь и выполнить эти затратные вычисления, потому что это сэкономит нам одну операцию ввода-вывода, которая была бы ещё более затратной».
- «Я проектирую систему, которая должна быть быстрой. Поэтому она должна находиться в памяти».
- «Если мы разобьём эти данные на несколько файлов, то выполнение будет медленным, поскольку возникнут паттерны произвольного ввода-вывода. Нам нужно оптимизировать выполнение под последовательный доступ и осуществлять считывание из одного файла».
- «Прямой ввод-вывод очень медленный. Он подходит только для очень специализированных областей применения. Если у тебя нет собственного кэша, ты обречён».
Однако если изучить спецификации современных NVMe-устройств, то мы увидим, что даже в потребительском классе это устройства с задержками, измеряемыми в единицах микросекунд, и пропускной способностью в несколько ГБ/с, поддерживающие несколько сотен тысяч произвольных IOPS. Так в чём же нестыковка?Читать полностью »
Nextcloud: отказоустойчивый деплой для средних компаний
2020-11-30 в 9:13, admin, рубрики: nextcloud, ruvds_статьи, Блог компании RUVDS.com, Настройка Linux, облачные сервисы, хранилища данных
Есть очень крутой комбайн для совместного ведения проектов, LDAP-авторизацией, синхронизацией файлов с версионированием и чем-то вроде корпоративного мессенджера с видеоконференциями, которые прикрутили в последних версиях. Да, я про Nextcloud. С одной стороны, я сторонник Unix-way и четкого дробления приложений по отдельным функциям. С другой — этот продукт более чем устойчив, работает много лет в нескольких проектах без особых проблем и дополнительные свистелки особо не мешают ему работать. Если очень хочется, то туда можно прикрутить практически любую дичь. Коммьюнити живое и вполне допиливает различные плагины, которые доступны как отдельные приложения.
Сегодня мы будем его разворачивать. Я не буду давать полной пошаговой инструкции, но постараюсь упомянуть про ключевые моменты архитектуры, на которые стоит обратить внимание. В частности, разберем балансировку нагрузки, репликацию БД и регламентное обслуживание без прерывания сервиса.
Деплоить будем в отказоустойчивом варианте для небольшой компании в 150-1000 пользователей, но для домашних пользователей тоже пригодится.Читать полностью »
Как определить, что в жестком диске применена технология SMR
2020-11-25 в 13:29, admin, рубрики: hdd, SMR, жесткий диск, Компьютерное железо, Накопители, системное администрирование, хранение данных, хранилища данных, черепичная магнитная запись
В последние месяцы на глаза попадалось много материалов о том, что производители скрывают использование технологии SMR в своих устройствах. Новости о том, что покупатели жестких дисков подают в суд на производителей и тому подобное.
Дело в том, что в силу особенностей технологии, такие устройства плохо подходят для многих сценариев использования, в которых находят своё применение жесткие диски. Выражается это в катастрофическом падении производительности.
Для определения того что в диске, лежащем на полке магазина, применена технология SMR, если эта информация не указывается производителем явно, требуется знать модельные ряды и их особенности. По другому, похоже, никак. Не получится со 100% вероятностью определить это и по заявленным характеристикам диска.
Но если диск уже попал к вам в руки, определить использование технологии SMR можно достаточно просто. Далее я расскажу о том, как это сделать.
Читать полностью »
Как мы искали неработающие датчики на «УРАЛХИМЕ» (первый проект Data Lake)
2020-11-05 в 11:24, admin, рубрики: big data, data lake, Блог компании КРОК, датчики, сбор данных, хранение данных, хранилища данных
«УРАЛХИМ» делает удобрения. № 1 в России — по производству аммиачной селитры, например, входит в топ-3 отечественных производителей аммиака, карбамида, азотных удобрений. Выпускаются серные кислоты, двух-трёхкомпонентные удобрения, фосфаты и многое другое. Это всё создаёт агрессивные среды, в которых выходят из строя датчики.
Мы строили Data Lake и заодно охотились на те датчики, которые замерзают, выходят из строя, начинают давать ложные данные и вообще ведут себя не так, как должны себя вести источники информации. А «фишка» в том, что невозможно строить матмодели и цифровые двойники на базе «плохих» данных: они просто не будут правильно решать задачу и давать бизнес-эффект.
Но современным производствам нужны Data Lake'и для дата-сайентистов. В 95 % случаев «сырые» данные никак не собираются, а учитываются только агрегаты в АСУТП, которые хранятся два месяца и сохраняются точки «изменения динамики» показателя, которые вычисляются специально заложенным алгоритмом, что для дата-сайентистов снижает качество данных, т. к., возможно, может пропустить «всплески» показателя… Собственно, примерно так и было на «УРАЛХИМЕ». Нужно было создать хранилище производственных данных, подцепиться к источникам в цехах и в MES/ERP-системах. В первую очередь это нужно для того, чтобы начать собирать историю для дата-сайенса. Во вторую очередь — чтобы дата-сайентисты имели площадку для своих расчётов и песочницу для проверки гипотез, а не нагружали ту же самую, где крутится АСУ ТП. Дата-сайентисты пробовали сделать анализ имеющихся данных, но этого не хватило. Данные хранились прореженные, с потерями, часто неконсистентные с датчиком. Взять датасет быстро не было возможности, и работать с ним тоже было особо негде.
Теперь вернёмся к тому, что делать, если датчик «гонит».
Читать полностью »
Написать книгу: стоит ли игра свеч?.. От автора книги «Высоконагруженные приложения»
2020-10-10 в 11:35, admin, рубрики: big data, data-intensive, архитектура, Блог компании Издательский дом «Питер», книги, обучение, Программирование, Профессиональная литература, роялти, хранилища данныхПривет!
Сложно переоценить успех книги "Designing Data-Intensive Applications" которая вышла в русском переводе и неизменно допечатывается у нас под названием "Высоконагруженные приложения"
Не так давно автор разместил в своем блоге честный и подробный пост о том, как ему далась работа над этой книгой, сколько она позволила заработать, и чем кроме денег измеряется польза авторского труда. Публикация обязательна к прочтению для всех, кто хоть раз задумывался стать литературной суперзвездой нашим автором, но до сих пор не определился, а стоит ли браться за столь амбициозный проект.
Читаем с удовольствием!
Читать полностью »
Seagate выпустила HDD объемом 18 ТБ
2020-09-18 в 14:49, admin, рубрики: hdd, seagate, Блог компании Selectel, жесткий диск, Компьютерное железо, Накопители, хранение данных, хранилища данных
Компания Seagate выпустила на рынок новую модель семейства жестких дисков Exos X18. Вместимость HDD корпоративного класса — 18 Тбайт. Приобрести диск можно за $561,75.
Кроме того, представлена платформа Exos Application Platform (AP) 2U12 и новый контроллер для систем AP 4U100. В одной платформе объединены емкое хранилище и вычислительные ресурсы. Также AP предлагает встроенное программное обеспечение корпоративного уровня, защиту данных и автоматическое многоуровневое хранение.
Читать полностью »
Пример event-driven приложения на основе вебхуков в объектном S3-хранилище Mail.ru Cloud Solutions
2020-07-13 в 7:37, admin, рубрики: ci/cd, cloud storage, devops, event-driven, Mail.Ru Cloud Solutions, object storage, s3, webhooks, Блог компании Mail.Ru Group, облачные сервисы, хранение данных, хранилища данных
Event-driven architecture повышает ценовую эффективность используемых ресурсов, потому что они задействуются только в тот момент, когда они нужны. Существует масса вариантов, как это реализовать и не создавать дополнительные облачные сущности в качестве worker-приложений. И сегодня я расскажу не про FaaS, а про вебхуки. Я покажу учебный пример обработки событий с помощью вебхуков объектного хранилища.
Читать полностью »
Western Digital начинает поставки корпоративных HDD объемом до 20 ТБ
2020-07-10 в 11:16, admin, рубрики: hdd, western digital, Блог компании Selectel, жесткие диски, Компьютерное железо, Накопители, хранение данных, хранилища данных
Компания Western Digital анонсировала выход сразу нескольких моделей емких HDD для корпоративного использования. Обновление получили линейки Gold и Ultrastar. В первом случае диски уже можно купить, во втором речь идет об анонсе новых моделей, которые станут доступны не ранее следующего квартала.
WD Gold — это носители для корпоративных систем хранения данных. Рядовой пользователь тоже может их приобрести, но позиционируются они как серверные. Линейка жестких дисков Gold поддерживает только интерфейс SATA. Производитель дает на них пятилетнюю гарантию.
Читать полностью »
Коды избыточности: простыми словами о том, как надёжно и дёшево хранить данные
2020-07-08 в 10:28, admin, рубрики: lrc, Блог компании Яндекс, коды избыточности, коды Рида-Соломона, распределенные системы, хранение данных, хранилища данных
Так выглядит избыточность
Коды избыточности* широко применяются в компьютерных системах для увеличения надёжности хранения данных. В Яндексе их используют в очень многих проектах. Например, применение кодов избыточности вместо репликации в нашем внутреннем объектном хранилище экономит миллионы без снижения надёжности. Но несмотря на широкое распространение, понятное описание того, как работают коды избыточности, встречается очень редко. Желающие разобраться сталкиваются примерно со следующим (из Википедии):
Меня зовут Вадим, в Яндексе я занимаюсь разработкой внутреннего объектного хранилища MDS. В этой статье я простыми словами опишу теоретические основы кодов избыточности (кодов Рида — Соломона и LRC). Расскажу, как это работает, без сложной математики и редких терминов. В конце приведу примеры использования кодов избыточности в Яндексе.
Ряд математических деталей я не буду рассматривать подробно, но дам ссылки для тех, кто хочет погрузиться глубже. Также замечу, что некоторые математические определения могут быть не строгими, так как статья рассчитана не на математиков, а на инженеров, желающих разобраться в сути вопроса.
* В англоязычной литературе коды избыточности часто называют erasure codes.