Добрый день, хаброжители. Прошло много времени с выпуска 4 версии книги по PostgreSQL — успела выйти версия 9.5 и 9.6 этой замечательной базы данных. Материалов по практическому использованию этой БД также накопилось немало, поэтому я решил выпустить обновление по книге. Итак, встречайте:«Работа с PostgreSQL: настройка и масштабирование», 5-е издание.
Рубрика «хранилища данных» - 29
Работа с PostgreSQL: настройка и масштабирование. 5-е издание
2017-03-20 в 9:03, admin, рубрики: devops, postgresql, sql, Администрирование баз данных, базы данных, книга, книга на гитхабе, книга на русском, масштабирование, настройка, хранение данных, хранилища данныхОптимизация OSD Ceph на SSD- NVMe
2017-03-15 в 12:59, admin, рубрики: ceph, crush, NVMe, OSD, proxmox ve, SAN, ssd, децентрализованные сети, Облачные вычисления, хранилища данных, метки: OSDЧтобы полностью использовать полосу пропускания SAS/SATA SSD или NVMe, они должны расщепляться примерно между 5 (для SAS SSD).
Для включения такой возможности вам необходимо удалить OSD, созданные на этих SSD при установке, разделить каждый SSD на пять разделов и создать на них OSD.
Рассмотрим случай с 4мя хостами, каждый из которых имеет 6 дисков Intel s3610 1.6ТБ SSD. Последовательность действий такова:
Читать полностью »
«Меньше некуда»: ученые из IBM сохранили информацию в атоме
2017-03-09 в 12:18, admin, рубрики: vas experts, Блог компании VAS Experts, память, хранение данных, хранилища данныхДля сохранения одного бита информации на жестком диске требуется порядка 100 тыс. атомов. 8 марта ученые из IBM Research представили результаты своего исследования, в котором показали, что можно сохранить такое же количество информации всего в одном атоме. Распространение этой технологии позволит записать музыкальный каталог Apple из 26 миллионов песен на запоминающее устройство размером с небольшую монетку.
«Умные города», или Smart Cities = Happy Citizens
2017-03-09 в 7:46, admin, рубрики: smart city, инфраструктура, Облачные вычисления, Сетевые технологии, системное администрирование, технология, хранилища данных
– Вот ты говорил, город – сила, а здесь слабые все…
– Город – это злая сила. Сильные приезжают, становятся слабыми, город забирает силу… Вот и ты пропал!
к/ф «Брат»
Мы с вами живем в удивительное время. Время, когда претворяется в жизнь то, о чем говорили фантасты прошлых десятилетий.
Для нас уже нет ничего необычного в «умном телефоне», «умном пылесосе», «умном автомобиле», «умном доме»: смартфоны и роботы-пылесосы уже стали неотъемлемой частью нашей повседневной жизни, все популярнее становятся системы автоматизации жилых зданий, активно ведется разработка беспилотных автомобилей.
Процесс «smart-изации» всего и вся нас окружающего подобно снежному кому набирает и набирает скорость, увеличиваясь в объеме. И с высокой долей уверенности можно заявить, что следующим звеном этой цепочки станет «умный город», ведь практически все большие агломерации так или иначе задумываются об автоматизации процессов управления городским хозяйством. Читать полностью »
Quadstor — виртуальный SAN для бюджетников
2017-03-02 в 15:07, admin, рубрики: linux, quadstor, SAN, storage, VSAN, хранилища данных, метки: quadstorЕще примерно год назад я наткнулся на статью «50 инструментов для автоматизации облачной ифраструктуры» в котором описывались инструменты для работы с виртуализацией и в нем промелькнул инструмент под названием Quadstor. И недавно, наконец-то дошли руки до этого замечательного софта, и теперь хочу немного о нем рассказать, что это такое и с чем его едят!
Quadstor — это виртуализация хранилищ которая работает на основе iSCSI. quadstor.com
И так, что он умеет:
- Поддержка виртуальных дисков по Fibre Channel, iSCSI или локально.
- Тонкие диски (Thin Provisioning)
- Дедубликация данных
- Высокая доступность (High Availability)
- Поддержка VAAI (Hardware Acceleration)
- Поддержка кластеров Windows server 2012, Hyper-V, VMware
- Поддержка ZFS
- И самое основное — он бесплатный (ну а поддержка за деньги).
- Размер виртуального диска до 64Тб.
Zabbix 3.X: мониторинг контролеров Adaptec в Windows Server (Hyper-V Core)
2017-03-02 в 5:58, admin, рубрики: Cерверное администрирование, системное администрирование, хранение данных, хранилища данных, метки: Cерверное администрирование, Системное администрирование, Хранение данных, Хранилища данныхДоброго времени суток, читатель! Сегодня займемся укрощением своих кривых ручонок и попробуем настроить мониторинг контролеров Adaptec на Hyper-V (core 2012r2) хостах при помощи Zabbix 3.2, PowerShell и консольной утилиты Adaptec RAID Controller Command Line Utility предназначенной для мониторинга и управления контролерами Adaptec.
Читать полностью »
Google запустила бета-версию Cloud Spanner — СУБД поколения NewSQL
2017-02-15 в 10:01, admin, рубрики: Cloud Spanner, Google Spanner, NewSQL, nosql, sql, TrueTime API, Администрирование баз данных, Облачные вычисления, СУБД, хранилища данных, метки: Cloud Spanner, Google Spanner
Google открыла для всех бета-версию сервиса Cloud Spanner, глобально распределённой высокомасштабируемой мультиверсионной NewSQL БД с поддержкой распределённых транзакций.
Несколько лет Google использовала этот сервис исключительно для внутренних нужд. На нём работают ключевые системы Google, в том числе AdWords и Google Play. Spanner — эволюционное развитие NoSQL-предшественника Google Bigtable. Сам же c Spanner относят к семейству NewSQL-решений, то есть оно сочетает в себе преимущества реляционных и нереляционных СУБД. Это ACID-транзакции и SQL-синтаксис традиционных СУБД без ущерба для горизонтального масштабирования и высокой доступности, присущих NoSQL.
Исходя из опыта работы системы внутри компании, Google предлагает клиентам аптайм 99,9999% (шесть девяток, то есть максимум 31,5 секунды простоя в год), клиентские библиотеки с поддержкой Java, Go, Python, Node.js и др.
Читать полностью »
Гиперконвергентные устройства VxRail
2017-02-10 в 9:06, admin, рубрики: DellEMC, vblock, VCE Vision, VMAX, VMware, VMware vCenter, VxRack, VxRack Flex, vxrail, Блог компании Dell EMC, Серверное администрирование, Сетевые технологии, хранилища данныхПо данным исследования ESG, 70% компаний из сегмента ИТ в ближайшие пару лет планируют выделить средства на гиперконвергентные системы. И это не случайно. Гибкие и масштабируемые гиперконвергентные инфраструктуры позволяют развернуть частное облако и воспользоваться преимуществами облачных сервисов.
В феврале 2016 года появилась система VxRail — инфраструктурное решение для сред VMware, в котором объединены средства виртуализации, вычислительные ресурсы, хранилище и система защиты данных. Компактное шасси VxRail высотой 2U содержит четыре сервера (то есть четыре узла) и 24 накопителя HDD или SSD. В ее состав также входит программно-определяемое хранилище данных Virtual SAN.
Читать полностью »
Let’s Encrypt и Express. Каждому серверу – по зелёному замку́
2017-02-06 в 13:34, admin, рубрики: express, HTTPS, node.js, SSL, Блог компании RUVDS.com, хостинг, хранение данных, хранилища данныхHTTPS становится всё более сильным трендом современного интернета. И это хорошо, особенно, когда клиенты, взаимодействуя с серверами, обмениваются с ними конфиденциальными данными. Для того, чтобы пользоваться HTTPS, нужен SSL-сертификат, который применяется для проверки подлинности сервера. Проект Let’s Encrypt значительно упростил процесс получения SSL-сертификатов. До его появления всё было гораздо сложнее.
Let’s Encrypt использует Certbot от Electronic Frontier Foundation для автоматизации процесса получения SSL-сертификата. Поддерживаются разные типы веб-серверов (Apache, nginx, и другие), которые работают на Unix-подобных ОС. Если ваш сервер соответствует системным требованиям Let’s Encrypt, это значит, что вы сможете получить сертификат в практически полностью автоматическом режиме. К сожалению, связку Node.js/Express.js Let’s Encrypt не поддерживает. То есть, в данном случае автоматически получить сертификат от Certbot не получится. Однако, не всё потеряно. Используя Let’s Encrypt и Certbot, сертификат не так уж и сложно получить вручную.
Читать полностью »
Восхождение дата-инженера
2017-02-02 в 11:30, admin, рубрики: data, SaaS, Администрирование баз данных, бд, Блог компании Inoventica Services, дата-инженер, инструментарий, инструменты, обработка данных, перевод, разработка, Сетевые технологии, СУБД, хранение данных, хранилища данных
Я присоединился к команде Facebook в 2011 году в качестве инженера бизнес-аналитика. К моменту, когда я покинул команду в 2013 году я уже был дата-инженером.
Меня не продвигали или назначали на эту новую позицию. Фактически, Facebook пришла к выводу, что выполняемая нами работа является классической бизнес-аналитикой. Роль, которую в итоге мы для себя создали, была полностью новой дисциплиной, а я и моя команда находились на острие этой трансформации. Мы разрабатывали новые подходы, способы решения задач и инструменты. При этом, чаще всего, мы игнорировали традиционные методы. Мы были пионерами. Мы были дата-инженерами!
Дата-инжиниринг?
Наука о данных как самостоятельная дисциплина переживает период отроческого самоутверждения и определения себя. В тоже время дата-инжиниринг можно было назвать ее «младшим братом», который тоже проходил через нечто подобное. Дата-инжиниринг принимал от своего «старшего родственника» сигналы, искал свое место и собственную идентичность. Как и ученые, занимающиеся обработкой данных, дата-инженеры тоже пишут код. Он является высокоаналитическим, с большой долей визуализации.
Но в отличие от ученых, работающих с данными и вдохновленными более зрелым прародителем сферы — программированием — дата-инженеры создают собственные инструменты, инфраструктуру, фреймворки и сервисы. На самом деле, мы намного ближе к программированию, чем к науке о данных.
Читать полностью »