Прошлые части цикла «Введение в SSD» поведали читателю про историю появления SSD-накопителей, интерфейсы взаимодействия с ними и популярные форм-факторы. Четвёртая часть расскажет о хранении данных внутри накопителей.
Читать полностью »
Рубрика «хранение данных» - 19
Введение в SSD. Часть 4. Физическая
2020-03-06 в 11:00, admin, рубрики: ssd, Блог компании Selectel, Компьютерное железо, хранение данныхSeagate SkyHawk AI — огромный и злопамятный
2020-03-04 в 11:42, admin, рубрики: hdd, ImagePerfect AI, NVR, seagate, SkyHawk, SkyHawk AI, surveillance, Блог компании Seagate, видеонаблюдение, жесткий диск, Накопители, накопитель, Работа с видео, хранение данныхВ конце прошлого года модельный ряд наших устройств пополнился новой линейкой, SkyHawk AI. Эти накопители создавались для работы в системах видеонаблюдения с поддержкой искусственного интеллекта. Сегодня мы хотим подробно рассказать вам о её флагмане — модели Seagate ST16000VE000 c 16 ТБ памяти. Только один такой специализированный HDD может хранить месяц записей с 15 камер наблюдения, круглосуточно записывающих видео в разрешении Full HD на скорости 25 кадров в секунду.
Обезл***вание д***ных — это не просто рандомизация
2020-03-03 в 7:02, admin, рубрики: алгоритм, база данных, банк, безопасность, Блог компании ТЕХНОСЕРВ, данные, информационная безопасность, маскировка, обезличивание, разработчик, СУБД, тестировщик, тесты, финансы, хранение, хранение данных
В банке есть проблема: нужно давать доступ к базе данных разработчикам и тестировщикам. Есть куча клиентских данных, которые по PCI DSS требованиям Центробанка и законам о персональных данных вообще нельзя использовать для раскрытия на отделы разработки и тестирования.
Казалось бы, достаточно просто поменять всё на какие-нибудь несимметричные хеши, и всё будет хорошо.
Так вот, не будет.
Дело в том, что база данных банка — это множество связанных между собой таблиц. Где-то они связаны по ФИО и номеру счёта клиента. Где-то по его уникальному идентификатору. Где-то (тут начинается боль) через хранимую процедуру, которая вычисляет сквозной идентификатор на основе этой и соседней таблицы. И так далее.
Обычная ситуация, что разработчик первой версии системы уже десять лет как умер или уехал, а системы ядра, запущенные в старом гипервизоре внутри нового гипервизора (чтобы обеспечить совместимость) ещё в проде.
То есть прежде чем всё это обезличить, сначала надо разобраться в базе данных. Читать полностью »
Простой rpm репозиторий используя Inotify и webdav
2020-03-02 в 7:28, admin, рубрики: createrepo, devops, inotify, rpm, sonatype nexus, webdav, yum, системное администрирование, хранение данныхВ этом посте рассмотрим хранилище rpm артефактов c помощью простого скрипта с inotify + createrepo. Заливка артефактов осуществляется через webdav используя apache httpd. Почему apache httpd будет написано ближе к концу поста.
Итак, решение должно отвечать cледующим требованиям для организации только RPM хранилища:
-
Бесплатное
-
Доступность пакета в репозитории через несколько секунд после загрузки в хранилище артефактов.
-
Простое в установке и обслуживании
-
Возможность сделать высокую доступность (high availability)
Анатомия накопителей: жёсткие диски
2020-02-27 в 4:44, admin, рубрики: hdd, жесткие диски, жесткий диск, Компьютерное железо, Накопители, накопители данных, Научно-популярное, нжмд, хранение данных, хранилища данных
Он магнитный. Он электрический. Он фотонный. Нет, это не новое супергеройское трио из вселенной Marvel. Речь идёт о хранении наших драгоценных цифровых данных. Нам нужно где-то их хранить, надёжно и стабильно, чтобы мы могли иметь к ним доступ и изменять за мгновение ока. Забудьте о Железном человеке и Торе — мы говорим о жёстких дисках!
Итак, давайте погрузимся в изучении анатомии устройств, которые мы сегодня используем для хранения миллиардов битов данных.
You spin me right round, baby
Механический накопитель на жёстких дисках (hard disk drive, HDD) был стандартом систем хранения для компьютеров по всему миру в течение более 30 лет, но лежащие в его основе технологии намного старше.
Первый коммерческий HDD компания IBM выпустила в 1956 году, его ёмкость составляла аж 3,75 МБ. И в целом, за все эти годы общая структура накопителя не сильно изменилась. В нём по-прежнему есть диски, которые используют для хранения данных намагниченность, и есть устройства для чтения/записи этих данных. Изменился же, и очень сильно, объём данных, который можно на них хранить.
В 1987 году можно было купить HDD на 20 МБ примерно за 350 долларов; сегодня за такие же деньги можно купить 14 ТБ: в 700 000 раз больший объём.
Мы рассмотрим устройство не совсем такого размера, но тоже достойное по современным меркам: 3,5-дюймовый HDD Seagate Barracuda 3 TB, в частности, модель ST3000DM001, печально известную своим высоким процентом сбоев и вызванных этим юридических процессов. Изучаемый нами накопитель уже мёртв, поэтому это будет больше похоже на аутопсию, чем на урок анатомии.
Читать полностью »
Самые популярные структуры данных
2020-02-26 в 11:06, admin, рубрики: Анализ и проектирование систем, Программирование, структуры данных, хранение данныхЧто такое структура данных?
Проще говоря, структура данных — это контейнер, в котором хранятся данные в определенной компоновке (формате, или способе организации их в памяти). Эта «компоновка» позволяет структуре данных быть эффективной в одних операциях и неэффективной в других. Ваша цель — понять структуры данных, чтобы вы могли выбрать структуру данных, наиболее оптимальную для рассматриваемой проблемы.
Зачем нам нужны структуры данных?
Поскольку структуры данных используются для хранения данных в организованном виде, и поскольку данные являются наиболее важным элементом компьютерной науки, истинная ценность структур данных очевидна.
Независимо от того, какую проблему вы решаете, вам так или иначе приходится иметь дело с данными — будь то зарплата сотрудника, цены на акции, список покупок или даже простой телефонный справочник.
Исходя из разных сценариев, данные должны храниться в определенном формате. У нас есть несколько структур данных, которые покрывают потребность хранить данные в разных форматах.
Введение в SSD. Часть 3. Форм-факторная
2020-02-13 в 14:13, admin, рубрики: ssd, Блог компании Selectel, Компьютерное железо, Накопители, форм-фактор, хранение данных
В прошлых частях цикла «Введение в SSD» мы рассказали про историю появления дисков и интерфейсов взаимодействия с накопителями. Третья часть познакомит читателя с современными форм-факторами дисков.
Читать полностью »
Backblaze — статистика жестких дисков за 2019
2020-02-12 в 13:24, admin, рубрики: cloud, harddrive, hdd, storage, Накопители, резервное копирование, хранение данных, хранилища данных
На 31 декабря 2019 г. у нас 124 956 работающих жестких дисков. Из них 2 229 загрузочных и 122 658 с данными. В данном обзоре мы рассмотрим статистику по отказам среди жестких дисков с данными. Также рассмотрим 12 и 14 TB версии дисков и новые 16 TB, которые мы активно используем с начала четвертого квартала 2019 года.
Статистика за 2019 год
На конец 2019 года мы мониторили 122 658 жестких дисков использующихся, для хранения данных. Мы убрали из расчета диски, которые использовались для тестирования и диски, у которых нет наработки ~5 000 диско-дней (на модель), в течение четвертого квартала. Таким образом, мы собрали данные на основе 122 507 жестких дисков. Таблица ниже отображает нашу статистику:
Скорость и надёжность выше, а цена ниже. Новые твердотельные накопители Kingston KC2000
2020-02-11 в 11:00, admin, рубрики: KC2000, ssd-накопители, Блог компании Kingston Technology, высокая производительность, высокая производительнось, Компьютерное железо, Накопители, накопитель, хранение данныхНа выставке CES 2020, которая прошла в минувшем январе, компания Kingston продемонстрировала новые твердотельные накопители формата M.2, получившие имя KC2000. Данные SSD ориентированы на энтузиастов с особыми требованиями к дисковой подсистеме, а также на использование в высокопроизводительных рабочих станциях и вычислительных платформах (HPC). При всём этом, ценники на всю линейку KC2000 остаются на доступном уровне. В чём же секрет успеха?
DCImanager 6 — новая панель управления серверами и оборудованием дата-центра. Первое знакомство и сравнение с «пятёркой»
2020-02-10 в 6:11, admin, рубрики: dcimanager, ISPsystem, Серверное администрирование, системное администрирование, управление дата-центром, хранение данных
28 января мы закончили тестирование и выпустили стабильную версию DCImanager 6 — новой панели управления серверами и оборудованием дата-центра. Предыдущее поколение работало почти 10 лет, поэтому обновление получилось значительным. В этой статье сравним две версии и расскажем об изменениях.
Наверняка среди читателей окажутся те, кто ничего не слышал о продукте, поэтому коротко поясним. DCImanager управляет серверами, коммутаторами, физическими и виртуальными сетями, стойками и локациями. Панель автоматизирует продажу серверов, следит за состоянием оборудования и сообщает о проблемах. Его используют владельцы инфраструктуры и хостинг-провайдеры.
Причин для обновления продукта было много, но если выделить главную, то это архитектурные ограничения. С обзора изменений в архитектуре и начнём, а дальше расскажем о других важных обновлениях.
Материала получилось много, и если вы не настроены читать, приглашаем посмотреть. Можно запустить демо (нужна почта, на которую отправим доступ) или триальную версию. Всё это — на странице продукта.