Привет! Наборы данных для Big Data и машинного обучения экспоненциально растут и надо успевать их обрабатывать. Наш пост о еще одной инновационной технологии в области высокопроизводительных вычислений (HPC, High Performance Computing), показанной на стенде Kingston на Supercomputing-2019. Это применение Hi-End систем хранения данных (СХД) в серверах с графическими процессорами (GPU) и технологией шины GPUDirect Storage. Благодаря прямому обмену данными между СХД и GPU, минуя CPU, на порядок ускоряется загрузка данных в GPU-ускорители, поэтому приложения Big Data выполняются на максимуме производительности, которую обеспечивают GPU. В свою очередь, разработчиков HPC-систем интересуют достижения в области СХД с высочайшей скоростью ввода/вывода — таких, какие выпускает Kingston.
Рубрика «хранение данных» - 22
5.8 млн IOPS: зачем так много?
2019-12-30 в 12:13, admin, рубрики: DC1000, ssd, SSD Kingston, SSD для сервера, анализ больших данных, Архитектура хранения, Блог компании Kingston Technology, высокая производительность, Накопители, накопитель, Облачные вычисления, облачные провайдеры, система хранения, условия вычислений, хранение данных
СХД AERODISK на отечественных процессорах Эльбрус 8С
2019-12-30 в 2:00, admin, рубрики: Aerodisk, E2K, linux, SAN, storage, Блог компании AERODISK, импортозамещение, МЦСТ, Норси-транс, российское оборудование, система хранения данных, системное администрирование, СХД, хранение данных, хранилища данных, Эльбрус
Привет, читатели Хабра. Хотим поделиться крайне приятной новостью. Мы наконец-то дождались реального серийного выпуска нового поколения российских процессоров Эльбрус 8С. Официально серийный выпуск должен был стартовать аж в 2016 году, но по факту именно массовое производство началось только в 2019 году и на текущий момент выпущено уже около 4000 процессоров.
Практически сразу после старта серийного производства данные процессоры появились и у нас в Аэродиске, за что хотим отдельно поблагодарить компанию НОРСИ-ТРАНС, которая любезно предоставила нам свою аппаратную платформу Яхонт УВМ, поддерживающие процессоры Эльбрус 8С, для выполнения портирования программной части СХД. Это современная, отвечающая всем требованиям МЦСТ универсальная платформа Яхонт УВМ. На данный момент платформа используется спец.потребителями и операторами связи для обеспечения выполнения установленных действий при проведении оперативно — разыскных мероприятий.
На текущий момент портирование успешно завершено и уже сейчас СХД AERODISK доступна в варианте с отечественными процессорами Эльбрус.
В этой статье мы расскажем о самих процессорах, об их истории, архитектуре и, конечно же, о нашей реализации СХД на Эльбрусе.
Выбираем хранилище данных для Prometheus: Thanos vs VictoriaMetrics
2019-12-27 в 15:57, admin, рубрики: devops, prometheus monitoring, thanos, victoriametrics, хранение данных, хранилища данныхВсем привет. Ниже представлена расшифровка доклада с Big Monitoring Meetup 4.
Prometheus – система мониторинга различных систем и сервисов, с помощью которой системные администраторы могут собирать информацию о текущих параметрах систем и настраивать оповещения для получения уведомлений об отклонениях в работе систем.
В докладе будет сравнение Thanos и VictoriaMetrics — проектов для долгосрочного хранения метрик Prometheus.
Делимся опытом, как показывают себя SSD в рамках RAID и какой уровень массива выгоднее
2019-12-27 в 12:16, admin, рубрики: Kingston, raid, raid контроллер, SSD-накопитель, Блог компании Kingston Technology, высокая производительность, контроллер, Накопители, накопитель, серверное решение, хранение данных, цодВ прошлом материале мы уже рассмотрели вопрос о том “Применим ли RAID на SSD” на примере накопителей Kingston, но сделали это только в рамках нулевого уровня. В текущей статье мы разберем варианты использования профессиональных и домашних NVMe-решений в самых популярных типах RAID-массивов и расскажем о совместимости контроллеров Broadcom с накопителями Kingston.
Правительство на два года запретило закупку иностранных СХД для государственных и муниципальных нужд
2019-12-26 в 15:40, admin, рубрики: два года, Законодательство в IT, запрет, импортозамещение, СХД, хранение данныхСогласно постановлению Правительства РФ от 21 декабря 2019 года №1746 «Об установлении запрета на допуск отдельных видов товаров, происходящих из иностранных государств, и внесении изменений в некоторые акты Правительства Российской Федерации», в целях обеспечения безопасности критической информационной инфраструктуры (КИИ) РФ, в том числе используемой при реализации национальных проектов, на два года вводится запрет на допуск к закупкам иностранных программно-аппаратных, а именно комплексов систем хранения данных («Устройства запоминающие и прочие устройства хранения данных»).
Настоящее постановление Правительства РФ от 21 декабря 2019 года №1746 вступает в силу со дня его официального опубликования и действует в течение двух лет.
Читать полностью »
Нужно ли создавать RAID-массив из SSD и какие контроллеры для этого нужны
2019-12-26 в 12:17, admin, рубрики: Kingston, raid, raid контроллер, SSD-накопитель, Блог компании Kingston Technology, высокая производительность, контроллер, Накопители, накопитель, серверное решение, хранение данных, цодПривет! В этом материале мы расскажем, стоит ли организовывать RAID-массивы на базе твердотельных решений SATA SSD и NVMe SSD, и будет ли от этого серьезный профит? Мы решили разобраться в этом вопросе, рассмотрев виды и типы контроллеров, которые позволяют это сделать, а также сферы применения таких конфигураций.
Фамильный вики-движок Bonsai: итоги 2019 года
2019-12-26 в 10:40, admin, рубрики: .net, bonsai, wiki, вики, движок, Разработка веб-сайтов, фотоальбом, хранение данныхВ начале прошлого года я рассказывал про проект Bonsai — движок для создания семейного вики и фотоальбома с открытым исходным кодом. С тех пор проект планомерно развивался. За год сделано несколько фич, благодаря которым движок теперь значительно проще попробовать в у себя и приятнее использовать в дальнейшем.
Под катом — подробности, планы на будущее и немного bounty.Читать полностью »
Безлимитное облако и заурядные уязвимости
2019-12-25 в 8:02, admin, рубрики: ингосстрах, информационная безопасность, персональные данные, реверс-инжиниринг, уязвимости, хранение данныхВолей случая наткнулся на приложение «IngoMobile» компании Ингосстрах.
И как это обычно бывает, я достал из широких штанин mitmproxy и тут началось самое интересное.
Pizza as a service: как Amazon на Redshift мигрировал
2019-12-25 в 6:32, admin, рубрики: amazon, Блог компании КРОК Облачные сервисы, данные, инфраструктура, миграция, облако, облачные сервисы, пользователь, технология, управление проектами, хранение данных
Привет, меня зовут Виктория, и я отвечаю за маркетинг в КРОК Облачные сервисы. Теперь мы регулярно проводим у себя облачные митапы. Я недавно попала на крутейшее выступление Дмитрия Аношина, который сейчас работает в Amazon, и хочу им поделиться.
У меня появилось стойкое ощущение, что крупные коммерческие компании решили собрать вообще все возможные данные в мире, до которых могут дотянуться. С одной стороны, это выливается в продвинутую аналитику, повышение продаж и привлекательность продуктов. С другой — данные стали настолько жирными и всеобъемлющими, что анекдоты про грузовики с CD-дисками уже давно обыденность.
Посмотрим, зачем может понадобиться миграция в облако, и что получила Amazon от переезда внутренней инфраструктуры на Redshift и NoSQL DynamoDB. Разберём разницу между концепциями SMP и MPP, ETL и ELT и попробуем понять, зачем нужны облака для больших данных.
Ну а если вы в курсе того, что происходило в индустрии в последние годы, то листайте сразу к конкретному кейсу. Заходите под кат, я подготовила конспект основных моментов выступления.Читать полностью »
Бюджетные VPS с видеоадаптерами: сравнение российских провайдеров
2019-12-24 в 12:27, admin, рубрики: vps, Видеокарты, хостинг, хранение данных, хранилища данныхСчитается, будто виртуальные серверы с vGPU стоят дорого. В небольшом обзоре я попробую опровергнуть этот тезис.
