Рубрика «хранение данных» - 101

Я буду каждое утро развертывать мир, как резиновую ленту на мяче для гольфа, а вечером завертывать обратно. Если очень попросишь — покажу, как это делается.

Р. Брэдбери

Введение

В статье описан Backend-as-a-Service подход к хранению и обработки данных. Рассказаны преимущества и недостатки представителя такого подхода — сервиса parse.com. Коротко представлен сервис аутентификации пользователей через соц. сети uLogin. Основное назначение — показать, как эти два сервиса могут взаимодействовать, чтобы проект не требовал регистрации пользователей по логину и паролю, но в то же время сохранилась возможность авторизации пользователей к действиям над объектами.

О BaaS и parse.com

Parse.com — один из самых популярных провайдеров backend-as-a-service (BaaS). BaaS подход позволяет не поднимать свой сервер для хранения и обработки данных приложения. Это используется в мобильных разработках и в обычном вебе. Parse.com имеет свои SDK под несколько платформ, в том числе серверных. Но я расскажу о javascript.

Возможность работать с базой данных через javascript, не поднимая свой сервер, открывает отличные возможности, например, для Single page application (SPA), которое можно хостить на Github Pages, Bitbucket и многих других бесплатных. Первый вопрос, который у меня возник, когда я услышал про работу с БД из клиентского кода — это разграничение прав доступа, так как ключи общеизвестны. Изучив документацию parse.com, я выяснил, что для этого используется авторизация пользователей. Каждый пользователь имеет свой логин и пароль. SDK имеет методы регистрации нового пользователя по логину и паролю, аутентификации по этим же данным. Можно добавить email, при этом сам parse.com умеет отправлять настраиваемые письма для верификации email.
Читать полностью »

В продолжение темы об оптимизации хоста с VMware ESXi, рассмотрим как поступать со Swap'ом в инфраструктуре живущей на СХД NetApp FAS. Хотя эта статья должна быть полезна и не только владельцам систем NetApp FAS.

Одна из важнейших возможностей виртуализации заключается в возможности более эффективно утилизировать серверное оборудование, что подразумевает Overcommit ресурсов. Если мы говорим об ОЗУ, это означает, что мы можем настроить каждой виртуальной машине больше памяти, чем есть на сервере на самом деле. А дальше мы полагаемся на ESXi, чтобы тот разрулил борьбу за ресурсы — забрал (такой процесс часто называют reclamation) не нужную память одной виртуальной машины и отдал той, которая в ней действительно нуждается. В тот момент когда не хватает памяти, начинается процесс свапинга памяти.

Начнём с того, что есть два типа свапинга которые могут происходить на ESXi хосте. Их очень часто путают, по-этому давайте условно будем называть их Тип 1 и Тип 2.

NetApp FAS и VMware ESXi: Swap - 1
Расположение данных VMware ESXi по-умолчанию
Читать полностью »

Вопросы про индексы, которые вам не надо будет задавать - 1

После ответов на 14 вопросов об индексах, которые вы стеснялись задать, у меня возникло гораздо больше комментариев, уточнений и исправлений. Скомпилировать из всего этого статью выглядело затеей с минимумом пользы. И это заставило меня призадумался, а почему вообще мы должны «стесняться задавать» подобные вопросы? Стыдно не знать? А есть ли способ разобраться, не вгоняя себя в краску? Есть. Причем он избавит от многочисленных неточностей, которыми изобилуют многие «ответы». Вы будете чувствовать буквально каждый байт вашей базы кончиками своих пальцев.

Для этого, я предлагаю «поднять капот» у SQL Server и окунуться в сладостный мир шестнадцатеричных дампов. Может статься, что внутри все гораздо проще, чем вам казалось.

Читать полностью »

Летом 2014 года Microsoft выпустила фичу к Azure, которая называется StorSimple, и о ней 2 раза вкратце писали на хабре тут и тут. Я прошляпил это обновление, как, наверно, и большинство из нас, и сейчас попробую наверстать упущенное.

Основная идея сервиса — расширить локальное StorSimple хранилище своей компании за счет Azure. У вас на площадке стоит хранилище, и вы к нему подключаете Azure. Частота доступа к различным хранящимся данным неоднородна, есть те, к которым обращаются часто, есть те, к которые можно годами не трогать, но хранить их по различным причинам надо.

image

К тем данным, которые вы используете часто, доступ будет на локальные SSD диски, к менее востребованным — на HDD диски и к очень редко используемым — в Azure. При этом ваше хранилище само ведет статистику доступа и переносит данные в azure для долговременного хранения.
Читать полностью »

На более чем 23-х метрах под землей в городе Ленекса, штат Канзас, находится дата-центр компании Cavern Technologies. Этот провайдер из числа тех компаний, которые предлагают своим клиентам беспрецедентный уровень безопасности. Совсем недавно Cavern Technologies вдвое расширил площадь своего подземного ЦОДа, расположенного в 15 минутах езды от деловой части Канзас-Сити. Колокейшн провайдер предоставил под эксплуатацию еще около 6 тыс. м2. Пещера, которая с 2007 года переоборудована в подземный дата-центр, предлагает своим клиентам от маленьких помещений для частного пользования, до больших площадей с отдельной системой безопасности и энергетической инфраструктурой.

ИТ-пещера в США - 1Читать полностью »

Индексы — это первое, что необходимо хорошо понимать в работе SQL Server, но странным образом базовые вопросы не слишком часто задаются на форумах и получают не так уж много ответов.
Роб Шелдон отвечает на эти, вызывающие смущение в профессиональных кругах, вопросы об индексах в SQL Server: одни из них мы просто стесняемся задать, а прежде чем задать другие сначала подумаем дважды.

От переводчика

Данный пост является компиляцией двух статей Роба Шелдона:

Если вы пишите запросы на языке T-SQL, но плохо понимаете откуда берутся данные, то стоит прочитать данный перевод.
Если же вы захотите знать больше, то в конце перевода я даю тройку книг с которых следует двигаться дальше.

Читать полностью »

source: http://searchsoa.techtarget.com/photostory/2240203721/Five-potential-big-data-problems-and-solutions/5/Velocity-Catch-it-Capture-fast-moving-data-and-use-it

Источник изображения

При обсуждении работы с большими данными, чаще всего затрагиваются вопросы аналитики и проблемы организации процесса вычислений. Нам с коллегами выпала возможность поработать над задачами другого рода – ускорением доступа к данным и балансированием нагрузки на систему хранения. Ниже я расскажу о том, как мы с этим справились.

Свой «рецепт» мы смастерили из уже существующих «ингредиентов»: железки и программного инструмента. Сначала я расскажу, каким образом перед нами возникла задача ускорения доступа. Затем рассмотрим железку и программный инструмент. В заключение поговорим о двух проблемах, с которыми нам пришлось столкнуться в ходе работы.
Читать полностью »

JSON, который можно комментировать - 1Не все JSON нельзя комментировать (например, Хром[иум] вполне переносит комментарии в manifest.json), но в стандарте не предусмотрены комментарии к нему. Поэтому ряд функций в NodeJS не обрабатывают комментарии в формате JS и считают их ошибкой. Точно так же, AJAX с форматом JSON принимает их за ошибку. Поэтому для конфигурационных файлов в формате JSON имеется масса неудобств при попытках их использовать как человеко-читаемые файлы. Может быть, это иногда хорошо. Если хотим прокомментировать, то будем вынуждены оформить комментарий под или над строкой как «ключ-значение».

...{...
    "some-key_comment":"my comment for key and value",
    "some-key":"some-value",
...}...

Но если комментарии не пишем, следуя суровости протоколов, ошибки возникают уже из-за другого фактора — забывания смысла параметров настроек при редактировании человеком.

...{...
    "some-key":"some-value", //какой-какой key?? Ай, комментарии - нельзя!
...}...

Придумаем JSON-подобный формат с комментариями в стиле JS, чтобы их можно было выполнять как JS, а, очистив от комментариев — читать как JSON. ("TL:DR: покажите мне код.")
Читать полностью »

Миграция с одного сервера на другой всегда была довольно не простым процессом, который непременно отягощается объемом контента и сложностью интернет проектов, что размещены на нем. А что если стоит задача перенести не сервер и даже не серверный шкаф, а целый дата-центр и чтоб без явного ущерба для его клиентов? Вот так задача. Именно ее и предстояло решить инженерам одной из крупных хостинг компаний.

Как огласили недавно представители компании Интернап (Internap) они завершили перенос своей площадки из ЦОДа, что размещался на острове Манхеттен, в пригород Нью-Йорка – Нью-Джерси. Здание дата-центра, расположено на 8-ой Авеню, четыре года назад было целиком выкуплено корпорацией Google. Перенос сетевой инфраструктуры для арендаторов стал вынужденным шагом, связанным с нежеланием руководства Google продолжать предоставление аренды своих площадей компаниям партнерам. Логика таких действий руководства Google весьма очевидна, ведь размещенное в самом сердце мирового капитализма сооружение, без преуменьшения обладает целым набором уникальных опций, и является одним из самых привлекательных мест для функционирования здесь ЦОДа. Ключевой ценностью является конечно же локация, а также то огромное количество операторских сетей к которым подключено здание. Множество серьезных клиентов, разветвленная сетевая инфраструктура – это те не простые условия, в которых и пришлось осуществлять миграцию своей площадки инженерам Интернап.

Переселение ЦОДа - 1
Читать полностью »

В продолжение темы об оптимизации хоста для взаимодействия с СХД NetApp FAS, эта статья будет посвещена оптимизации производительности VMWare ESXi, предыдущие статьи были посвящены тюнингу ОС Linux и Windows в среде SAN. Компания NetApp давно тесно сотрудничает с VMware, подтверждением тому может стать тот факт, что нашумевшая технология vVOL была реализована одной из первых ещё в релизе Clustered Data ONTAP 8.2.1 (Август 2014), в то время как vSphere 6.0 ещё даже не выпущен. В связи с чем системы хранения NetApp FAS крайне популярны в этом окружении.

Натройки VMWare ESXi можно разделить на следующие части:

  • Оптимизация гипервизора
  • Оптимизация гостевой ОС (GOS)
  • Оптимальные настройки SAN (FC/FCoE и iSCSI)
  • Настройки NAS (NFS)
  • Проверка совместимости оборудования, прошивок и ПО

VMware ESXi и NetApp FAS: тюнинг - 1
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js