Рубрика «хранение данных» - 23

Мы с коллегами изучили опыт мировых IT-гигантов в вопросе экологичности центров обработки данных, выжали самый сок из материалов о том, как Apple, Google, Facebook, Microsoft и многие другие организуют синергетическую модель эффективности работы дата-центров. Также мы узнали, насколько «грязные» данные в Европе, Америке, России и продемонстрировали, почему высокотехнологичная Азия – это «территория экологических контрастов».

На страже природы сегодня — магнитная левитация, искусственный интеллект, биогаз, ЦОДы, вживленные в экосистему, и другие эко-технологии. Эта статья максимально прокачивает КПД дата-центров, минимально влияя на окружающую среду.

Экология и дата-центры. Как в России и за её пределами «озеленяют данные» - 1

Читать полностью »

Мы давно пользуемся облачными сервисами: почта, хранилища, соцсети, мессенджеры. Все они работают удаленно — отправляем сообщения и файлы, а хранятся и обрабатываются они на удаленных серверах. Также работает и облачный гейминг: пользователь подключается к сервису, выбирает игру и запускает. Для игрока это удобно, потому что игры запускаются почти мгновенно, не занимают память, и не нужен мощный игровой компьютер.

Как правильно использовать доступный объем хранилища - 1

Для облачного сервиса все иначе — у него возникают проблемы хранения данных. Каждая игра может весить десятки или сотни гигабайт, например, «Ведьмак 3» занимает 50 Гбайт, а «Call of Duty: Black Ops III» — 113. При этом игроки не будут пользоваться сервисом с 2-3 играми, как минимум нужно несколько десятков. Кроме хранения сотен игр, сервису нужно решать, какой объем хранилища выделять на одного игрока, и масштабироваться, когда их будут тысячи.

Хранить ли все это на своих серверах: сколько их нужно, где ставить дата-центры, как «на лету» синхронизировать данные между несколькими дата-центрами? Покупать «облака»? Использовать виртуальные машины? Можно ли хранить данные пользователей со сжатием в 5 раз и предоставлять их в real-time? Как исключить любое влияние пользователей друг на друга при последовательном использовании одной и той же виртуальной машины?

Все эти задачи успешно удалось решить в Playkey.net — облачной игровой платформе. Владимир Рябов — руководитель отдела системного администрирования — подробно расскажет о технологии ZFS для FreeBSD, которая в этом помогла, и ее свежем форке ZOL (ZFS on Linux).
Читать полностью »

Как соблюсти требования 152-ФЗ, защитить персональные данные своих клиентов и не наступить на наши грабли   - 1

По российским законам любая компания, работающая с личными данными своих пользователей в России, становится оператором ПДн, хочет она того или нет. Это накладывает на нее ряд формальных и процедурных обязательств, которые не каждый бизнес может или хочет нести самостоятельно.

Как показывает практика – совершенно правильно не хочет, потому что эта область знаний еще настолько новая и не обкатанная на практике, что сложности и вопросы возникают даже у профессионалов. Сегодня мы расскажем о том, как реализовывали проект под хранение персональных данных для нашего заказчика и с какими неочевидными сложностями столкнулись.
Читать полностью »

Тестирование SSD на надёжность: 3dnews vs JEDEC vs здравый смысл. Где правда, брат? - 1

Всем известно легендарное тестирование SSD на надёжность от 3dnews (публикация от 2018.01), по результатам которого некоторые бюджетные накопители превзошли заявленный производителем ресурс в десятки раз.

После этого исследования в народе появилась конспирологическая теория, что производители занижают ресурс у бюджетных SSD, а также распостранилось убеждение, что практически все SSD умеют делать и качественно выполняют выравнивание износа.

Читать полностью »

Операторы закупили оборудование для прослушки на 10 млрд ₽ - 1

Российские операторы связи купили у госкорпорации «Ростех» оборудование СОРМ на 10 млрд руб. для исполнения требований закона Яровой, рассказал индустриальный директор радиоэлектронного кластера госкорпорации Сергей Сахненко.

В нынешнем году «Ростех» начал отгружать операторам системы хранения данных «Купол». Локализация оборудования, по словам гендиректора, составляет 70%.

Комплекс СХД «Купол» — модульная система для хранения сверхбольших объёмов данных. Комплекс СХД «Купол» создан 30 марта 2018 года. Его задачи — создание надёжного, отказоустойчивого, высокопроизводительного СХД, подключение к оборудованию СОРМ для реализации интегрированного решения и обеспечение безопасного, бесперебойного хранения и накопления данных.
Читать полностью »

Введение в SSD. Часть 2. Интерфейсная - 1

В прошлой части цикла «Введение в SSD» мы рассказали про историю появления дисков. Вторая часть расскажет про интерфейсы взаимодействия с накопителями.

Общение между процессором и периферийными устройствами происходит в соответствии с заранее определенными соглашениями, называемыми интерфейсами. Эти соглашения регламентируют физический и программный уровень взаимодействия.
Читать полностью »

Представьте, что вы запускаете инновационный медицинский бизнес — индивидуальный подбор лекарств на основе анализа генома человека. У каждого пациента 3 миллиарда пар генов, и обычному серверу на процессорах х86 потребуется несколько дней на расчеты. Вы знаете, что ускорить процесс можно на сервере с процессором FPGA, который распараллеливает вычисления на тысячи потоков. Он выполнит расчет генома примерно за час. Такие серверы можно взять в аренду в Amazon Web Services (AWS). Но вот незадача — заказчик в лице госпиталя категорически против помещения генетических данных в облако провайдера. Как быть? Kingston и облачный стартап показали на выставке Supercomputing-2019 архитектуру Private MultiCloud Storage (PMCS), которая решает такую задачу.

[Supercomputing 2019]. Мультиоблачное хранилище как сфера применения новых накопителей Kingston DC1000M - 1
Читать полностью »

Предыстория

Есть торговые автоматы собственной разработки. Внутри Raspberry Pi и немного обвязки на отдельной плате. Подключены монетоприёмник, купюроприёмник, банковский терминал… Управляет всем самописная программа. Вся история работы пишется в журнал на флешке (MicroSD), который потом передаётся через интернет (с помощью USB-модема) на сервер, там складывается в БД. Информация о продажах загружается в 1с, также есть простенький веб-интерфейс для мониторинга и т.п.

То есть журнал жизненно необходим — для учёта (там выручка, продажи и т.д.), мониторинга (всевозможные сбои и другие форс-мажорные обстоятельства); это, можно сказать, вся информация, которая у нас об этом автомате.

Проблема

Флешки показывают себя как очень ненадёжные устройства. Они с завидной регулярностью выходят из строя. Это приводит как к простоям автоматов, так и (если по каким-то причинам журнал не мог быть передан онлайн) к потерям данных.

Это уже не первый опыт использования флешек, до этого был другой проект с более, чем сотней устройств, где журнал хранился на USB-флешках, там тоже были проблемы с надёжностью, временами число вышедших из строя за месяц исчислялось десятками. Пробовали разные флешки, в том числе и брендовые на SLC памяти, да некоторые модели надёжнее других, но замена флешек не решила проблему кардинально.

Читать полностью »

В последние дни компания Toshiba анонсировала выпуск сразу двух новых серий своих HDD-накопителей: DT02-V, ёмкостью от 2 до 6 TB для систем видеонаблюдения (Digital Video Recorder/Network Video Recorder) и P300, ёмкостью от 4 до 6 TB для домашнего использования.
Toshiba анонсировала две новые линейки HDD ёмкостью до 6 TB и заявила об ориентации на корпоративный сегмент с 2020 года - 1
Также японская компания заявила об ориентации на корпоративный сегмент с 2020 года и планирует наращивать количество 20 TB дисков в enterprise-решениях. А пока этого не произошло, Toshiba дорабатывает существующие линейки продуктов, предлагая пользователям большую надежность, размер буфера и функции.

Так, серия HDD DT02-V для систем видеонаблюдения, которую условно можно отнести к бизнес-сегменту, не получила значительных обновлений по сравнению с ранее выпущенной линейкой MD04ABA-V, но все же имеет некоторые отличия.
Читать полностью »

Наши руки не для скуки: восстановление кластера Rook в K8s - 1

Мы уже рассказывали, как/почему нам нравится Rook: в заметной мере он упрощает работу с хранилищами в кластерах Kubernetes. Однако с этой простотой приходят и определённые сложности. Надеемся, новый материал поможет лучше разбираться в таких сложностях ещё до того, как они себя проявят.

А чтобы читать было интереснее, начнём с последствий гипотетической проблемы в кластере.Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js