Рубрика «хранилища данных» - 31

в 11:13, , рубрики: docker, docker-compose, linux, mediaserver, plex, torrent, Ubuntu, хранение данных, хранилища данных

Добрый день Хабр. На написание этой статьи меня сподвигло закрытие довольно известных в UA-IX ресурсов ex.ua и fs.to. Поскольку доблестные правоохранители не озаботились предоставлением какой-либо достойной альтернативы, было принято решение взять процесс в свои руки, к тому же давно хотелось организовать домашнее хранилище/файлопомойку не зависящее от внешних провайдеров. В процессе реализации было перепробовано довольно много разных систем, но в итоге все выстроилось именно так, а не иначе. Мнение субъективное, реализация доступная. Сама статья рассчитана на новичков которым необходимо просто работающее решение, или на тех кто задумался о своем медиасервере, но еще не определился с реализацией.

Итак решение принято, начнем.
Читать полностью »

в 8:53, , рубрики: ceph, linux, proxmox, zfs, виртуализация, ит-инфраструктура, Серверное администрирование, хранилища данных

В своей работе (системный администратор) приходится всегда искать вещи и знания, уникальные для своего региона. Одной из таких вещей в нашей конторе является ProxMox, поставленный на файловой системе ZFS, позволяющей использовать неплохой raid массив без использования железных контроллеров. Однажды, думая, чем можно еще удивить и порадовать клиентов, мы решили всё это водрузить на распределенную файловую систему Ceph. Не знаю уж, насколько было такое решение адекватным, но я решил воплотить желание в жизнь. И тут понеслась… Я перелопатил горы статей и форумов, но так и не нашел одного адекватного мануала, описывающего в подробностях что и как делать, поэтому, справившись со всем, родилась эта статья, кому интересно, добро пожаловать под кат.

image

Читать полностью »

в 14:50, , рубрики: BigData, Vertica, Администрирование баз данных, хранилища данных

Типовой сценарий работы «just in time» хранилища данных выглядит так: десятки (ETL) сессий почти непрерывно захватывают с источников данные и вставляют их в хранилище. Параллельно множество других (ELT) сессий отслеживают поступление данных, заполняют консолидированный слой и ведут расчет агрегатов и витрин. Одновременно с этим, на поступающих первичных и рассчитанных данных, выполняют запросы пользователи, BI и другие системы. Вся эта каша должна ладно вариться в рамках сервера хранилищ данных, без тормозов и затыков, какими бы не были пиковые нагрузки.

В HPE Vertica для планирования работы сервера под нагрузками разработан специальный механизм, под названием «ресурсные пулы». Идея его в том, что каждый пользователь сервера работает в рамках выделенного ресурсного пула, который регулирует приоритетность доступа к ресурсам кластера, ограничивает конкурентность выполнения запросов и описывает правила резервирования и работы с памятью сервера.

По умолчанию после установки сервера Vertica на созданной базе данных это выглядит примерно так:

Боремся с нагрузками в HPE Vertica - 1

Читать полностью »

в 8:28, , рубрики: Блог компании ИТ-ГРАД, ит-инфраструктура, системное администрирование, хранение данных, хранилища данных

Hyperwall НАСА — это видеостена, состоящая из огромного массива мониторов и способная отображать множество изображений в высоком качестве одновременно. Эта установка нужна агентству для визуализации феноменов, идей и изменений, происходящих в мире и имеющих отношение к астрофизике, гелиофизике и планетоведению. Для этого используются данные, получаемые НАСА с телескопов и спутников.

Вычислительная ферма НАСА располагается в Исследовательском центре Эймса. Там ведутся работы над проектом HECC, который позволяет ученым и инженерам проводить симуляции, моделирование и аналитические работы в крупных масштабах для расчетов всех миссий Космического агентства.

Система Hyperwall от НАСА теперь использует СХД vFlash - 1Читать полностью »

в 9:04, , рубрики: SAFEDATA, Блог компании SAFEDATA, История ИТ, Облачные вычисления, резервное копирование, серверы, хранение данных, хранилища данных

Наше время часто называют информационным веком. Однако информация была критически важна для рода человеческого на протяжении всего его существования. Человек никогда не был самым быстрым, самым сильным и выносливым животным. Своим положением в пищевой цепи мы обязаны двум вещам: социальности и способности передавать информацию более чем через одно поколение.

Обработка и хранение данных: от древности до ЦОДов - 1


То, как информация хранилась и распространялась сквозь века, продолжает оставаться буквально вопросом жизни и смерти: от выживания племени и сохранения рецептов традиционной медицины до выживания вида и обработки сложных климатических моделей.
Читать полностью »

в 15:31, , рубрики: devops, elastic, elasticsearch, monitoring, troubleshooting, Блог компании okmeter.io, Серверная оптимизация, Серверное администрирование, системное администрирование, хранилища данных

Мониторинг Elasticsearch через боль и страдания - 1

Мы наконец допинали функционал мониторинга elasticsearch до публичного релиза. Суммарно мы переделывали его три раза, так как результат нас не устраивал и не показывал проблемы, которые мы огребали на нашем кластере ES.

Под катом история про наш production кластер, наши проблемы и наш новый мониторинг ES.

Читать полностью »

в 5:28, , рубрики: freenas 10; обзор софта, ит-инфраструктура, хранилища данных, метки:

Доброго времени суток! Чуть больше года назад была анонсирована ALPHA версия популярной Open Source операционной системы для хранения данных FreeNAS.

На сегодняшний день вышеупомянутый продукт коллективного труда дорос аж до BETA2 и уже неспешно-стремительно движется к своему релизу. Если вам интересно, что же там «напридумывали» разработчики — добро пожаловать под кат.

FreeNAS 10 — новое лицо старого хранилища - 1
Читать полностью »

в 12:43, , рубрики: 1сloud, http, HTTPS, SSL, TLS, Администрирование доменных имен, Блог компании 1cloud.ru, хостинг, хранение данных, хранилища данных

Мы в 1cloud предоставляем услуги аренды виртуальной инфраструктуры и совсем недавно начали поставлять SSL-сертификаты от Сomodo, Geotrust, Rapidssl, Symantec и Thawte. Добавление такой возможности сподвигло нас к беглому анализу публикаций, которые затрагивали те или иные аспекты работы с SSL и выходили на Хабре за последние пару лет.

Мы обнаружили значительный объем переводных материалов и постов в корпоративных блогах, но и без руководств не обошлось. Именно на практической составляющей мы и решили сделать ставку в нашей подборке из полезных материалов.

«Ультимативный» SSL-дайджест: Лучшие практические материалы на Хабре и не только - 1Читать полностью »

в 14:22, , рубрики: 3par, Demartek, HPE, MSA, sql server, Администрирование баз данных, Блог компании Hewlett Packard Enterprise, ит-инфраструктура, хранение данных, хранилища данных

Отчет Demartek показывает, что система HPE MSA 2042 с твердотельными накопителями и интеллектуальным программным обеспечением может с минимальными затратами повысить эффективность SQL Server.

Повышение производительности SQL Server с помощью системы хранения начального уровня MSA 2042 - 1


Читать полностью »

в 15:21, , рубрики: 100G, 40G, backpack, ит-инфраструктура, маршрутизатор, маршрутизация, свитч, Сетевые технологии, сети, Стандарты связи, хранение данных, хранилища данных, метки:

Facebook представила Backpack — второе поколение модульных маршрутизаторов для дата-центров - 1

Вектор развития веба последнего десятилетия ставит перед инженерами все более и более сложные задачи. С повышением скорости доступа к сети Интернет наиболее популярным контентом становится видео и, по оценке специалистов Facebook, уже в 2020 году 75% трафика будет приходиться именно на этот тип контента. Плюс, как мы знаем, объём данных растёт в геометрической прогрессии и даже самое современное оборудование уже далеко не всегда эффективно справляется со своими задачами.

Чуть раньше с проблемой загруженности столкнулась компания Google со своим сервисом YouTube, но для Facebook ситуация немного иная: растет популярность видеозвонков, а также на пороге стоят ВР-технологии, развитию которых социальная сеть придает не последнее значение.

Компания Facebook давно вышла за рамки одной лишь социальной сети и активно вкладывается в прочие проекты. Кроме различных сервисов в активе компании Марка Цукенберга есть разработки и в сфере передачи данных. Одним из итогов проводимой работы стал Backpack — второе поколение модульных маршрутизаторов, обеспечивающих пропускную способность в 100G, о чем сообщается в dev-блоге компании.
Читать полностью »

1...1020...303132...37
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js