Рубрика «NVMe» - 3

Главные вопросы работы с базой данных связаны с особенностями устройства операционной системы, на которой работает база. Сейчас Linux — основная операционная система для баз данных. Solaris, Microsoft и даже HPUX все еще применяются в энтерпрайзе, но первое место им больше никогда не занять, даже вместе взятым. Linux уверенно завоевывает позиции, потому что open source баз данных все больше. Поэтому вопрос взаимодействия БД с ОС, очевидно, о базах данных в Linux. На это накладывается вечная проблема БД — производительность IO. Хорошо, что в Linux последние годы идет капитальный ремонт IO-стека и есть надежда на просветление.

Илья Космодемьянский (hydrobiont) работает в компании Data Egret, которая занимается консалтингом и поддержкой PostgreSQL, и про взаимодействие ОС и баз данных знает многое. В докладе на HighLoad++ Илья рассказал о взаимодействии IO и БД на примере PostgreSQL, но и показал, как с IO работают другие БД. Рассмотрел стек Linux IO, что нового и хорошего в нем появилось и почему все не так, как было пару лет назад. В качестве полезной памятки — контрольный список настроек PostgreSQL и Linux для максимальной производительности подсистемы IO в новых ядрах.
Читать полностью »

Ничто человеческое не чуждо гигантским роботам-трансформерам. Например, старый добрый глава трансформеров-автоботов Оптимус Прайм махнул в Вегас, чтобы размять шины на дорогах порока. Но вместо того, чтобы пуститься во все тяжкие, привез на выставку CES 2019 целую гору новинок Kingston и HyperX. Да там и остался. А поскольку Оптимус Прайм плохого не посоветует, с гордостью показываем, чем занимались наши инженеры и разработчики весь прошлый год.

На стороне добра: как Оптимус Прайм привез Kingston и HyperX на выставку CES 2019 - 1
Transform and roll out!
Читать полностью »

Что происходило с SSD в 2018 году - 1

Прошлый год в истории SSD оказался самым интересным с тех пор, когда эти устройста пошли в массовое потребление. Увеличилась конкуренция и уменьшились цены. Существующие технологии, типа 3D NAND и NVMe, выдали своё полный потенциал, а новые технологи, типа QLC NAND, взяли неплохой старт.

3D NAND показывают всё, на что способны, с 64-мя слоями

2018 стал первым полным годом, когда основные производители NAND флэш-памяти массово изготавливали 3D NAND с 64-мя слоями или более. 64-слойные 3D TLC, которые производят совместно Intel/Micron и Toshiba/SanDisk/Western Digital, хорошо показали себя в конкурентной борьбе с памятью от Samsung, что впервые уравняло шансы крупнейших поставщиков.

Intel и Micron вторыми после Samsung стали выпускать 3D NAND, но их первое 32-слойное поколение было очевидно медленным и явно не было готово бросить вызов V-NAND от Samsung, хотя оно было достаточно хорошим, чтобы его можно было производить массово. А вот второе поколение уже не просто удвоило количество слоёв: быстродействие и энергоэффективность серьёзно увеличились.
Читать полностью »

Архитектуры центров обработки данных общего назначения (такие ЦОДы сегодня все еще широко применяются) хорошо отрабатывали свои задачи в прошлом, но с недавних пор большинство из них достигли своих границ масштабируемости, производительности и эффективности. В архитектуре таких ЦОД обычно используется принцип совокупного выделения ресурсов — процессоров, жестких дисков и ширины сетевых каналов.

При этом изменение объема используемых ресурсов (увеличение или уменьшение) происходит в таких ЦОДах дискретно, с заранее определенными коэффициентами. Например, при коэффициенте 2 мы можем получить такой ряд конфигураций:

  • 2CPU, 8 GB RAM, 40GB storage;
  • 4CPU, 16GB RAM, 80GB storage;
  • 8CPU, 32GB RAM, 160GB storage;

Однако, для множества задач эти конфигурации оказывается экономически неэффективными, часто клиентам достаточно некоей промежуточной конфигурации, например, — 6CPU, 16GB RAM, 100GB storage. Таким образом, мы приходим к пониманию, что вышеуказанный универсальный подход к выделению ресурсов ЦОД оказывается неэффективным, в особенности при интенсивной работе с большими данными (например, быстрые данные, аналитика, искусственный интеллект, машинное обучение). Пользователи в таких случаях хотят иметь более гибкие возможности управления используемых ресурсов, им необходима возможность независимого друг от друга масштабирования используемых процессоров, памяти и хранилищ данных, сетевых каналов. Конечной целью этой идеи является создание гибкой компонентной инфраструктуры.

Будущее инфраструктур центров обработки данных - 1

Рис. 1. Дата-центрированная архитектура ЦОД.
Читать полностью »

Картинка не выражает позицию компании и является личным видением автора, не обязательно связанным с темой данного текста, аминьКак вы наверное помните, НРЕ давно вкладывается в тему новых типов хранилищ данных (конечно, The Machine) и в оптимизацию доступа к хранилищам (наше членство в консорциуме Gen-Z).

Цель этого движения — ускорить работу приложений наших заказчиков. Причем движение это многоуровневое: пока куется совершенно новая архитектура вычислительных систем The Machine (т.н. памяте-центричная архитектура), мы понимаем, что ускоряться нужно уже сейчас. Давайте посмотрим что можно сделать сегодня, и что появится у HPE завтра. Подсказка — речь пойдет о сильном ускорении наших СХД 3PAR и Nimble с помощью умного и относительно бюджетного кэширования на Storage Class Memory (SCM) в форме Intel Optane.
Читать полностью »

На статью натолкнул топик на forum.searchengines.guru, где часто люди пытаются найти VPS подешевле, строят и мониторят миллионы каталогов, которые почти бесполезны для пользователей, за исключением их создателей (и ниже я объясню почему), с целью поиска максимально дешевого предложения, что является самой большой ошибкой в случае новичка-вебмастера, недооценивающего возможности хостинга или переоценивающего пользу дешевого виртуального сервера в его случае.Читать полностью »

Phoenix. Направляясь ввысь: обзор накопителей Samsung 970 EVO (500 ГБ и 1 ТБ) - 1

Хотя назвать новый Samsung 970 EVO топовым в линейке потребительских SSD и нельзя, но благодаря своей последней флэш-памяти 3D TLC NAND и собственному контроллеру SSD, 970 EVO предлагает почти все характеристики своих коллег с кодовой приставкой «PRO» в названии, но за явно меньшие деньги.

  1. Phoenix Rises
  2. Тест накопителей AnandTech — The Destroyer
  3. Тест накопителей AnandTech – Heavy
  4. Тест накопителей AnandTech — Light
  5. Тест рандомного чтения
  6. Производительность последовательного чтения
  7. Смешанная рандомная производительность
  8. Управление энергопотреблением
  9. Измерение энергопотребления на «холостом ходу»
  10. И в заключение

Читать полностью »

image

8 лет назад я написал статью про ускорение раздачи статического контента, некоторым хабрачитателям она приглянулась и долгое время оставалась актуальной.

И вот мы решили ускорять то, что и так работает быстро и, заодно, поделиться опытом того, что получилось в итоге. Конечно же я расскажу о граблях, о том где не надо HTTP/2, о том почему мы покупаем 7,6Tb NVMe SSD вместо 8x1Tb SATA SSD и много другой узкоспециализированной информации.

Давайте сразу договоримся что хранение и раздача контента это 2 разные задачи и говорить мы будем только про раздачу (продвинутый кеш)

Начнем с железа…
Читать полностью »

Анализ производительности накопителя Intel Optane SSD 750ГБ - 1

Летом прошлого года мы опубликовали статью о дисковых накопителях Intel Optane SSD и предложили всем желающим принять участие в бесплатном тестировании. Новинка вызвала большой интерес: наши пользователи пробовали применять Optane для научных расчётов, для работы с in-memory базами данных, для проектов в области машинного обучения.
Читать полностью »

Рабочие станции Dell – это мощные инструменты для создания профессионального контента самых разных типов. Все устройства линейки объединяет одно: они полностью совместимы со специализированным ПО, обладают высокой производительностью и очень надежны.

В достижении последнего одну из ключевых ролей играет правильный выбор накопителя для хранения данных. И к этой задаче у нас совершенно особый подход. Сегодня мы познакомим вас с методами, которые используем для классификации устройств хранения данных в рабочих станциях серии Dell Precision. Эта информация будет полезна тем, кто хочет разобраться в параметрах производительности самих рабочих станций и подсистем хранения.
Классификация устройств хранения данных в рабочих станциях, на примере линейки Dell Precision - 1
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js