Рубрика «хранение данных» - 46

Каким требованиям должно удовлетворять хранилище метаданных для облачного сервиса? Да не самого обычного, а для enterprise с поддержкой географически распределенных датацентров и Active-Active. Очевидно, система должна хорошо масштабироваться, быть отказоустойчивой и хотелось бы, чтобы было возможно реализовать настраиваемую консистентность операций.

Под все эти требования подходит только Cassandra, а ничто другое не подходит. Надо заметить, Cassandra действительно классная, но работа с ней напоминает американские горки.
Cassandra для хранения метаданных: успехи и провалы - 1

В докладе на Highload++ 2017 Андрей Смирнов (smira) решил, что о хорошем говорить неинтересно, зато подробно рассказал, про каждую проблему, с которой пришлось столкнуться: про потерю и порчу данных, про зомби и потерю производительности. Эти истории и вправду напоминают катание на горках, но на все проблемы находится решение, за которым добро пожаловать под кат.

О спикере: Андрей Смирнов работает в компании Virtustream, реализующей облачное хранилище для enterprise. Идея состоит в том, что условно Amazon делает облако для всех, а Virtustream делает специфические вещи, которые необходимы большой компании.

Читать полностью »

Предполагается, что в результате этого метода мы сохраняем последовательность, в которой диски выводятся командой ceph osd tree. Если они там по порядку, то это удобнее читается и считается, при необходимости.

Лирическое отступление по теме. Официальный метод замены диска в ceph предполагает удаление всех логических сущностей, связанных с этим диском из кластера с дальнейшим их пере-созднием. В результате чего свеже-созданный osd (при некотором стечении обстоятельств) может сменить свой номер (номер в имени сущности, это который osd.Цифра) и местоположение в crush-мапе и естественно будет выводиться в другом мечте в команде ceph osd tree и других. Сменится его порядковый номер.

Идея этого метода заключается в том, что никакие логические сущности мы менять не будем, а просто подсунем новый диск на «старое» место в кластере. Для этого на этом новом диске надо (вос)создать правильные структуры данных: всяческие id, симлинки, ключики.
Читать полностью »

Проектирование программной платформы защищённого NAS - 1

Допустим, аппаратная часть NAS собрана и на неё установлена ОС, например, как показано здесь. И сейчас у вас есть работающий сервер с Debian, который загружается, подключен в сеть, и вы имеете к нему полный физический доступ.

Теперь надо спроектировать среду, позволяющую легко и безопасно добавлять, удалять прикладные сервисы, а также управлять их работой.

Читать полностью »

В конце весны в ЕС вступил в силу регламент GDPR. А месяц назад в США подписали законопроект, обязывающий компании сообщать клиентам и властям об «утечках» данных не позже чем через месяц с момента возникновения инцидента.

В этом году новые законопроекты, связанные с ПД, также появились и в Беларуси. Сперва в апреле этого года парламентарии приняли поправки к закону о СМИ, обязывающие пользователей проходить идентификацию, прежде чем оставлять комментарии на форумах. А теперь власти представили проект закона «О персональных данных».

Под катом рассказываем о его сути и реакции сообщества.

В Беларуси представлен законопроект о защите персональных данных — что у него «внутри» - 1Читать полностью »

С учетом роста данных в наше время все чаще говорится о программно-определяемых и распределенных хранилищах данных, причем немало внимания традиционно уделяется открытой платформе Сeph. Сегодня мы хотим рассказать о тех выводах, к которым мы пришли в процессе реализации проекта по хранению данных для одного крупного российского ведомства.
Читать полностью »

Место, где начинался российский интернет - 1

С недавних пор компания RUVDS предлагает своим клиентам виртуальные серверы (VPS/VDS), размещенные в дата-центре на базе одного из крупнейших узлов связи — ММТС-9. Мы заключили договор на размещение серверного и телекоммуникационного оборудования на площадке ММТС-9 (М9) «Ростелекома» — хороший повод, чтобы немного рассказать вам об этой легендарной площадке, история которой неразрывно связана с историей российского интернета. В настоящее время на ней базируется уже порядка 200 VPS, развёрнутых клиентами RUVDS для решения самых разных задач.
Читать полностью »

Гластер в России мало у кого есть, и любой опыт интересен. У нас он большой и промышленный и, судя по дискуссии в прошлом посте, востребованный. Я рассказывал о самом начале опыта переноса бекапов с Enterprise хранилища на Glusterfs.

Это недостаточно хардкорно. Мы не остановились и решили собрать что-то более серьёзное. Поэтому здесь речь пойдёт о таких вещах, как erasure coding, шардинг, ребалансировка и её троттлинг, нагрузочное тестирование и так далее.

Glusterfs + erasure coding: когда надо много, дешево и надежно - 1

  • Больше теории волюмы/сабволюмы
  • hot spare
  • heal / heal full / rebalance
  • Выводы после ребута 3 нод (никогда так не делайте)
  • Как влияет на нагрузку сабволюма запись с разной скоростью от разных ВМ и shard on/off
  • rebalance после вылета диска
  • fast rebalance

Читать полностью »

— А у нас есть какой-нибудь снимок за январь, ближе к февралю?
— Сейчас посмотрим… Да, есть! Сейчас откроем.

Бывает так, что есть среднее время жизни тестовой базы, есть согласованное всеми заинтересованными время жизни снэпшотов, но какая-то из сред слишком долго «засиживается» на своём снимке, который никак не удаляется… а потом он оказывается полезен коллегам. И минус на минус даёт плюс.

Обычно для любых систем, в которых может что-то происходить, требуется формировать бэкапы. А если она ещё и развивается и дорабатывается, то где-то также разворачивать среды разработки и тестирования. Причём для бэкапов и сред тестирования, которые работают, по сути, с теми же данными, нужно немало места. А ещё эти среды надо как-то приводить к актуальному состоянию. И всё это требует аппаратных и временных ресурсов.

В нашем случае, эти потребности покрыли Oracle ZFS Storage Appliance и серверы Oracle / Sun, которые фактически слились в одну экосистему с Exadata, появившейся незадолго до них.
Читать полностью »

Появляется всё больше решений, которые уходят от традиционного подхода унифицированных хранилищ. Это специализированные хранилища, которые заточены под задачи определённого направления бизнеса. Ранее я уже рассказывал о системе Infinidat InfiniBox F2230. Сегодня в центре моего обзора SolidFire.

SolidFire — СХД для тех, who **cking hate storage - 1

«Who f*cking hate storage» @ Дэйв Хитс, основатель компании NetApp
Читать полностью »

Не так давно мы уже писали о преимуществах размещения виртуальных серверов в зарубежных ЦОД и побуждающих к этому причинах. Сегодня речь пойдет о британской площадке компании RUVDS — дата-центре Equinix LD8 в Лондоне.

Дата-центр за рубежом: Equinix LD8 - 1

ЦОД Equinix LD8 полностью отвечает требованиям TIER III (99,98%). Вся инфраструктура дата-центра зарезервирована по схеме N+1. Кроме соответствующего сертификата Uptime Institute этот ЦОД обладает сертификатом PCI-DSS, который необходим для размещения платежных сервисов, а также сертификатами информационной безопасности ISO 27001, управления энергосистемами ISO 50001, стандарта качества ISO 9000, стандарта экологического управления ISO 1400 и промышленного управления OHSAS 18001.

Это не первая, но очень важная зарубежная площадка RUVDS. Почему? Об этом – ниже.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js