Рубрика «хранение данных» - 48

Рассказывать, какие есть кэши, что такое Result Cache, как он сделан в Oracle и в других базах данных не очень интересно и довольно шаблонно. Но все приобретает совершенно другие краски, когда речь идет о конкретных примерах. Александр Токарев (shtock) построил свой доклад на Highload++ 2017 исходя из кейсов. И именно опираясь на кейсы, рассказал, когда может быть удобен самодельный кэш, в чем боль server-side Result Cache и как заменить его клиентским, и вообще вывел ряд полезных советов по настройке Result Cache в Oracle.

О спикере: Александр Токарев работает в компании DataArt и занимается вопросами, связанными с базами данных как в части построения систем «с нуля», так и оптимизации имеющихся.

Начнем с нескольких риторических вопросов. Вы работали с Oracle Result Cache? Вы верите, что Oracle — это база данных, удобная на все случаи? По опыту Александра большинство людей на последний вопрос отвечает отрицательно, на сто суровых прагматиков приходится один мечтатель. Но благодаря его вере двигается прогресс.

Кстати, у Oracle уже 14 баз данных — пока 14 — что будет в будущем, неизвестно.

Как уже говорилось, все проблемы и решения будут проиллюстрированы конкретным кейсами. Это будет два кейса из проектов DataArt, и один сторонний пример.
Читать полностью »

Как экономить на охлаждении серверных мощностей? Не понаслышке знает мировой гигант компания Microsoft. Еще в конце лета 2015 года компания погрузила под воду экспериментальный прототип нового подводного дата центра. Так родился прототип ЦОД под кодовым названием Leona Philpot соответственно проекту Natick. Серверы были помещены во внутрь небольшого контейнера габаритами 3 на 2 метра, а управление велось в удаленном режиме. 105 дней мини ЦОД пребывал под водой, после поднятия на сушу был проведен анализ испытания. Что сказать, эксперимент оказался достаточно успешным, сбоев в работе оборудования не наблюдалось, к тому же была достигнута высокая энергоэффективность за счет системы охлаждения. Компания приняла решение и далее активно развивать концепцию погружения дата центров под воду. Появилась идея окунуть серверную ферму в подводное царство «более» глубже и в «более» холодную воду. Следует напомнить, что изначально прототип был погружен на 10 метров в километре от тихоокеанского побережья США.

Продолжая покорять дно морское. Microsoft и его проект подводного ЦОД Natick 2 - 1
Читать полностью »

Биометрические персональные данные россиян - 1

В свете скорого вступления в действие закона о биометрической идентификации клиентов банков хотелось бы вернуться немного назад и вспомнить, а чем собственно являются биометрические персональные данные. Что по этому поводу нам говорит Роскомнадзор и как нам быть, если придется с ними работать.

Согласно Федеральному закону от 27.07.2006 N 152-ФЗ «О персональных данных», ст. 11:

«Сведения, которые характеризуют физиологические и биологические особенности человека, на основании которых можно установить его личность (биометрические персональные данные) и которые используются оператором для установления личности субъекта персональных данных, могут обрабатываться только при наличии согласия в письменной форме субъекта персональных данных, за исключением случаев, предусмотренных частью 2 настоящей статьи.»

Для детей у Роскомнадзора есть упрощенное объяснение:

Биометрические персональные данные представляют собой сведения о наших биологических особенностях. Эти данные уникальны, принадлежат только одному человеку и никогда не повторяются.

Биометрические данные заложены в нас от рождения самой природой, они никем не присваиваются, это просто закодированная информация о человеке, которую люди научились считывать. К таким данным относятся:

отпечаток пальца, рисунок радужной оболочки глаза, код ДНК, слепок голоса и пр.

О стандартах

Читать полностью »

В предыдущем нашем посте мы поделились своими измерениями производительности гипервизора после установки патчей против уязвимостей Meltdown и Spectre. Сегодня же пришло время поговорить о производительности хранилища данных.
Читать полностью »

Работа с Veeam Availability Console: настройка управляемого резервного копирования Managed Backup Services - 1

Недавно мы запустили новый сервис управления политиками резервного копирования клиентов — Veeam Managed Backup. В его основе используется портал Veeam Availability Console. О функциональных возможностях портала Veeam уже рассказывал. Кратко напомню основные:

  1. Для клиента – мониторинг заданий и инфраструктуры РК, получение информации по биллингу;
  2. Для провайдера – управление резервным копированием клиентов: конфигурация, мониторинг и обслуживание.

В своей статье я хочу рассказать о том, как работать в портале и настраивать Managed Backup для виртуальных сред. Но сначала кратко о том, чем хорош сервис Veeam Managed Backup. Он позволяет передать на аутсорсинг весь процесс резервного копирования, даже если ресурсы находятся на площадке клиента. В сервисе используется модель лицензирования за ВМ с включенной услугой Veeam Cloud Connect.

Что это означает для клиента? Во-первых – возможность получить дополнительную копию бэкапа своей ВМ в облаке сервис-провайдера без переплаты за лицензии Veeam Cloud Connect. Оплачивается только место на СХД под резервные копии (Cloud Connect Backup) или репликацию (Cloud Connect Replication).  Во-вторых – оплата по факту использования лицензий, то есть гибкость в затратах по сравнению с лицензией типа Perpetual License.

Но вернемся к порталу Veeam Cloud Connect: первый шаг к настройке управляемого резервного копирования — создание учетной записи клиента.
Читать полностью »

Зачем мониторить системы хранения данных? - 1
Кто-то скоро упадёт

Потому что СХД хранит святая святых — данные. Если данные стали недоступны, очень скоро запахнет жареным. Или если вдруг место закончилось — тоже неприятный сюрприз. Поэтому мониторинг должен быть обязательно, и он должен покрывать СХД.

Есть два основных подхода к мониторингу хранилок. Либо использовать универсальную систему мониторинга наподобие Nagios, Icinga, которая будет собирать инфу по протоколу SNMP, либо купить узкоспециализированный софт от производителей самих СХД. Само собой, второй вариант обеспечивает более глубокий анализ состояния железа, показывает специфические вещи наподобие состояния кэша, iops, hit rate, загрузку контроллеров и т. д. Именно такой вариант и выбирали чаще всего наши заказчики, у которых в строю стоят крупные и дорогостоящие массивы.

Но к слову сказать, не всё так гладко с коммерческим ПО для мониторинга. В подробностях я расскажу дальше. Это будет, так сказать, опыт из первых рук. В своё время я почти 2 года допиливал одну такую систему за много тысяч зелёных бумажек от именитого вендора. И расковырял её так, что даже поддержка вендора со мной стала советоваться. Но одни проблемы софта сменялись другими, равно как одни индусы из поддержки сменялись новыми индусами — и тогда-то мне и пришла мысль, а не поступить ли вообще радикально… В общем, с этого всё и началось.
Читать полностью »

image

В QEMU есть несколько способов подключить блочное устройство для виртуальной машины. Изначально это было реализованно следующим способом:

 -hda /dev/sda1

Таким образом виртуальные диски подключались в давние дни виртуализации. Его можно использовать и сегодня, если мы просто хотим протестировать некоторые liveCD. К сожалению, он имеет свои недостаткиЧитать полностью »

Sheepdog - 1

Sheepdog — масштабируемая система, которая предоставляет виртуальным машинам распределенные блочные устройства. Его развитие началось в 2009 году разработчиками из японских компаний Nippon Telegraph и Telephone Corporation. Sheepdog — это приложение с открытым исходным кодом под лицензией GPL2. Последняя версия 0.9.3, выпущенная в ноябре 2015 года станет наследиком версии 1.0, пригодной для коммерческого испрользования1. (уже стала — прим.пер.)

Чисто ради интереса, первая версия (0.1.0), была выпущена разработчиками в августе 2010 года — и в то же время поддержка sheepdog была включена в основную ветку разработки QEMU. Первые испытания над sheepdog я провел в ноябре 2011 года2 и результаты были неплохими для операций ввода-вывода. Однако тогда еще система Sheepdog имела проблемы с восстановлением упавшей ноды. Вероятно эта проблема вскоре была устранена, так как разработка приложения довольно живая, но на тот момент я использовал другое решение.
Читать полностью »

Нельзя сказать, что в этой статье вас ждут отборные потроха баз данных, но скорее рассказ про базы данных от самого начала, плюс небольшое углубление в некоторые подробности, которые Илье Космодемьянскому (@hydrobiont) кажутся важными. И есть все основания полагать, что так оно и есть.

Эта статья родилась не от хорошей жизни. Часто даже не то что начинающие разработчики, но и вполне продвинутые, не знают каких-то базовых вещей — может быть, давно учились в университете и с тех пор забыли, или им не приходилось углубляться в теорию, поскольку и так работалось нормально.

Тем не менее, теоретические знания иногда полезно освежить. Этим мы, в том числе, и займемся.

Как устроены базы данных - 1

О спикере: Илья Космодемьянский CEO и консультант в компании Data Egret, специалист по базам данных PostgreSQL, Oracle, DB2. А кроме того, отвечает за продвижение Postgres-технологий, выступает на конференциях и рассказывает людям, как с ними работать.

Ниже материал по докладу Ильи на РИТ++ 2017, который не был связан с какой-то конкретной базой данных, но охватывал многие основные аспекты.
Читать полностью »

Волшебство на грани экстрима: бесстрашная 7-ка дата центров - 1

Совсем недавно был опубликован список претендентов на звание «самый красивый дата центр» мира. Пришла очередь совместить красоту с экстримом. Вот так у ComTec появился перечень из 7 самых экстремальных серверных ферм. Будь то глубокая пещера на Южном полюсе или глубокие воды у тихоокеанского побережья США, данные надежно хранятся в экстремальных местах по всему миру.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js