Рубрика «хранение данных» - 101

в 8:16, , рубрики: azure, Microsoft Azure, хранение данных

Летом 2014 года Microsoft выпустила фичу к Azure, которая называется StorSimple, и о ней 2 раза вкратце писали на хабре тут и тут. Я прошляпил это обновление, как, наверно, и большинство из нас, и сейчас попробую наверстать упущенное.

Основная идея сервиса — расширить локальное StorSimple хранилище своей компании за счет Azure. У вас на площадке стоит хранилище, и вы к нему подключаете Azure. Частота доступа к различным хранящимся данным неоднородна, есть те, к которым обращаются часто, есть те, к которые можно годами не трогать, но хранить их по различным причинам надо.

image

К тем данным, которые вы используете часто, доступ будет на локальные SSD диски, к менее востребованным — на HDD диски и к очень редко используемым — в Azure. При этом ваше хранилище само ведет статистику доступа и переносит данные в azure для долговременного хранения.
Читать полностью »

в 13:53, , рубрики: андерграунд, ит-инфраструктура, США, хостинг, хранение данных, цод

На более чем 23-х метрах под землей в городе Ленекса, штат Канзас, находится дата-центр компании Cavern Technologies. Этот провайдер из числа тех компаний, которые предлагают своим клиентам беспрецедентный уровень безопасности. Совсем недавно Cavern Technologies вдвое расширил площадь своего подземного ЦОДа, расположенного в 15 минутах езды от деловой части Канзас-Сити. Колокейшн провайдер предоставил под эксплуатацию еще около 6 тыс. м2. Пещера, которая с 2007 года переоборудована в подземный дата-центр, предлагает своим клиентам от маленьких помещений для частного пользования, до больших площадей с отдельной системой безопасности и энергетической инфраструктурой.

ИТ-пещера в США - 1Читать полностью »

в 11:48, , рубрики: dummies, index, sql, sql server, базы данных, индекс, новичкам, Программирование, разработка, хранение данных

Индексы — это первое, что необходимо хорошо понимать в работе SQL Server, но странным образом базовые вопросы не слишком часто задаются на форумах и получают не так уж много ответов.
Роб Шелдон отвечает на эти, вызывающие смущение в профессиональных кругах, вопросы об индексах в SQL Server: одни из них мы просто стесняемся задать, а прежде чем задать другие сначала подумаем дважды.

От переводчика

Данный пост является компиляцией двух статей Роба Шелдона:

Если вы пишите запросы на языке T-SQL, но плохо понимаете откуда берутся данные, то стоит прочитать данный перевод.
Если же вы захотите знать больше, то в конце перевода я даю тройку книг с которых следует двигаться дальше.

Читать полностью »

в 6:51, , рубрики: big data, BigData, EMC, Hadoop, high performance, Isilon, Блог компании EMC², высокая производительность, производительность, разработка, системы хранения данных, СХД, хранение данных
source: http://searchsoa.techtarget.com/photostory/2240203721/Five-potential-big-data-problems-and-solutions/5/Velocity-Catch-it-Capture-fast-moving-data-and-use-it

Источник изображения

При обсуждении работы с большими данными, чаще всего затрагиваются вопросы аналитики и проблемы организации процесса вычислений. Нам с коллегами выпала возможность поработать над задачами другого рода – ускорением доступа к данным и балансированием нагрузки на систему хранения. Ниже я расскажу о том, как мы с этим справились.

Свой «рецепт» мы смастерили из уже существующих «ингредиентов»: железки и программного инструмента. Сначала я расскажу, каким образом перед нами возникла задача ускорения доступа. Затем рассмотрим железку и программный инструмент. В заключение поговорим о двух проблемах, с которыми нам пришлось столкнуться в ходе работы.
Читать полностью »

в 8:03, , рубрики: config files, javascript, json, jsonComm, node.js, Проектирование и рефакторинг, Регулярные выражения, хранение данных

JSON, который можно комментировать - 1Не все JSON нельзя комментировать (например, Хром[иум] вполне переносит комментарии в manifest.json), но в стандарте не предусмотрены комментарии к нему. Поэтому ряд функций в NodeJS не обрабатывают комментарии в формате JS и считают их ошибкой. Точно так же, AJAX с форматом JSON принимает их за ошибку. Поэтому для конфигурационных файлов в формате JSON имеется масса неудобств при попытках их использовать как человеко-читаемые файлы. Может быть, это иногда хорошо. Если хотим прокомментировать, то будем вынуждены оформить комментарий под или над строкой как «ключ-значение».

...{...
    "some-key_comment":"my comment for key and value",
    "some-key":"some-value",
...}...

Но если комментарии не пишем, следуя суровости протоколов, ошибки возникают уже из-за другого фактора — забывания смысла параметров настроек при редактировании человеком.

...{...
    "some-key":"some-value", //какой-какой key?? Ай, комментарии - нельзя!
...}...

Придумаем JSON-подобный формат с комментариями в стиле JS, чтобы их можно было выполнять как JS, а, очистив от комментариев — читать как JSON. ("TL:DR: покажите мне код.")
Читать полностью »

в 13:02, , рубрики: Outbrain, дата-центр, ит-инфраструктура, резервное копирование, серверы, Сетевые технологии, трафик, хостинг, хранение данных

Миграция с одного сервера на другой всегда была довольно не простым процессом, который непременно отягощается объемом контента и сложностью интернет проектов, что размещены на нем. А что если стоит задача перенести не сервер и даже не серверный шкаф, а целый дата-центр и чтоб без явного ущерба для его клиентов? Вот так задача. Именно ее и предстояло решить инженерам одной из крупных хостинг компаний.

Как огласили недавно представители компании Интернап (Internap) они завершили перенос своей площадки из ЦОДа, что размещался на острове Манхеттен, в пригород Нью-Йорка – Нью-Джерси. Здание дата-центра, расположено на 8-ой Авеню, четыре года назад было целиком выкуплено корпорацией Google. Перенос сетевой инфраструктуры для арендаторов стал вынужденным шагом, связанным с нежеланием руководства Google продолжать предоставление аренды своих площадей компаниям партнерам. Логика таких действий руководства Google весьма очевидна, ведь размещенное в самом сердце мирового капитализма сооружение, без преуменьшения обладает целым набором уникальных опций, и является одним из самых привлекательных мест для функционирования здесь ЦОДа. Ключевой ценностью является конечно же локация, а также то огромное количество операторских сетей к которым подключено здание. Множество серьезных клиентов, разветвленная сетевая инфраструктура – это те не простые условия, в которых и пришлось осуществлять миграцию своей площадки инженерам Интернап.

Переселение ЦОДа - 1
Читать полностью »

в 7:47, , рубрики: alua, cDOT, disk misalignment, ESXi, esxi 4, FCoE, fiberchannel, gos, HBA, high availability, iscsi, jumbo frames, linux, loadbalancing, misalignment, mpio, NAS, NetApp, NetApp FAS, nfs, RDM, SAN, Solaris, tuning, vaai, vasa, vcenter, vmfs, VMware, VMWare ESXi, wafl, windows, виртуализация, высокая производительность, системное администрирование, хранение данных

В продолжение темы об оптимизации хоста для взаимодействия с СХД NetApp FAS, эта статья будет посвещена оптимизации производительности VMWare ESXi, предыдущие статьи были посвящены тюнингу ОС Linux и Windows в среде SAN. Компания NetApp давно тесно сотрудничает с VMware, подтверждением тому может стать тот факт, что нашумевшая технология vVOL была реализована одной из первых ещё в релизе Clustered Data ONTAP 8.2.1 (Август 2014), в то время как vSphere 6.0 ещё даже не выпущен. В связи с чем системы хранения NetApp FAS крайне популярны в этом окружении.

Натройки VMWare ESXi можно разделить на следующие части:

  • Оптимизация гипервизора
  • Оптимизация гостевой ОС (GOS)
  • Оптимальные настройки SAN (FC/FCoE и iSCSI)
  • Настройки NAS (NFS)
  • Проверка совместимости оборудования, прошивок и ПО

VMware ESXi и NetApp FAS: тюнинг - 1
Читать полностью »

в 6:02, , рубрики: raid, Блог компании КРОК, ит-инфраструктура, ОС, русская ОС, русская работающая ОС, Серверное администрирование, система хранения данных, системное администрирование, скачать без SMS, СХД, хранение данных

Как разработчики сидели в Петербурге и тихо ели грибы, а потом написали ОС для систем хранения данных - 1

В конце 2008 года на тогда ещё небольшую петербуржскую компанию вышел один западный медиахолдинг примерно так:
— Это вы там упоролись по хардкору и приспособили SSE-инструкции для реализации кода Рида-Соломона?
— Да, только мы не…
— Да мне пофиг. Хотите заказ?

Проблема была в том, что видеомонтаж требовал адовой производительности, и тогда использовались RAID-5 массивы. Чем больше дисков в RAID-5 — тем выше была вероятность отказа прямо во время монтажа (для 12 дисков — 6%, а для 36 дисков — уже 17-18%). Дроп диска при монтаже недопустим: даже если диск падает в хайэндовой СХД, скорость резко деградирует. Медиахолдигу надоело с криком биться головой о стену каждый раз, и поэтому кто-то посоветовал им сумрачного русского гения.

Много позже, когда наши соотечественники подросли, возникла вторая интересная задача — Silent Data Corruption. Это такой тип ошибок хранения, когда на блине одновременно меняется и бит в основных данных, и контрольный бит. Если речь о видео или фотографии — в целом, никто даже не заметит. А если речь про медицинские данные, то это становится диагностической проблемой. Так появился специальный продукт под этот рынок.

Ниже — история того, что они делали, немного математики и результат — ОС для highload-СХД. Серьёзно, первая русская ОС, доведённая до ума и выпущенная. Хоть и для СХД. Читать полностью »

в 6:12, , рубрики: Excel, postgresql, sql, Администрирование баз данных, базы данных, Блог компании Кристалл Сервис, системное администрирование, СУБД, хранение данных

Экспорт данных из PostgreSQL в Excel - 1

Приветствую всех.
При автоматизации небольших магазинов для хранения данных часто используют PostgreSQL. И часто возникает потребность экспортировать эти данные в Excel. В этой статье я расскажу вам как я решал эту задачу. Естественно, матерые специалисты вряд ли откроют для себя что-то новое. Однако, материал будет интересен тем кто «плавает» в этой теме.
Читать полностью »

в 10:38, , рубрики: NAS, высокая производительность, обработка изображений, хранение данных

Эта статья — развитие идеи создания 10G сети для обработки изображений.

Заказчик — небольшая фотостудия, активно снимающаяся всевозможные eventы — свадьбы, встречи, корпоративные праздники и т.д.
После дня съемки одним-двумя фотографами надо быстро отсортировать до нескольких тысяч фотографий, сделать предварительную выборку лучших, быстро их обработать и представить заказчику первую версию выборки фотоснимков.
Иногда к этому добавляется видео съемка мероприятия.
Позже часто требуется более тонкая обработка фото и видео материалов, верстка фотоальбомов и фотокниг, подготовка коротких фильмов.
Со стороны компьютерной системы нужна высокая емкость (в год студия производит порядка 10 терабайт фото-видео материалов) и высокая скорость доступа к имеющейся фото и видео библиотеке с 3-4 компьютеров. В основном это компьютеры производства Apple.
Через год примерно 90-95% фото-видео контента стирается, оставшиеся 5-10% сохраняются на несколько лет.

Учитывая пожелания по суммарному объему хранимых данных, было предложено использовать сетевое хранилище NAS с емкостью не менее 6 дисков. В результате было выбрано 8 дисковое хранилище, но на начальном этапе в него было установлено 6 дисков по 3ТБ.
Потребность в быстром доступе к сетевым ресурсам с компьютеров Apple реализовали двумя способами:
проводной доступ через конвертер Thunderbolt — 10G Ethernet.
беспроводной доступ для ноутбуков был реализован на стандарте WiFi AC.

Сетевым хранилищем была выбрана модель QNAP TS-870Pro. С оборудованием этой компании я работаю уже немало лет, и опыт пока имею только положительный.

TS-870Pro

Читать полностью »

1...1020...100101102...107
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js