Рубрика «хранилища данных» - 28

2017 год стал значимым событием для PG Day — мы преобразовали наше мероприятие в крупнейшую конференцию, посвященную базам данных.

Мы не изменяем своим традициям и готовим насыщенную и интересную программу, посвященную Посгресу. Тем не менее, общение с коллегами и обратная связь от участников дают однозначно понять, что огромное количество специалистов занимается эксплуатацией нескольких систем для хранения данных, вынужденно или же по собственному решению. Мы не хотим лишать коллег возможности пообщаться друг с другом, обменяться опытом и найти способы решить свои проблемы. Именно поэтому, в 2017 году PG Day делится на 5 параллельных потоков по различным направлениям: PostgreSQL, MySQL, Oracle, MS SQL Server, NoSQL решения и другие бесплатные и коммерческие СУБД.

Не смотря на то, что радикальные изменения в структуре ПГ Дня начались только в этом году, интерес к нашему мероприятию от колег по цеху стал появляться уже значительно раньше. На одном из прошлых PG Day Андрей Рынкевич представил интереснейший доклад От Oracle к PostgreSQL – путь длиною в 4 года, основанный на опыте миграции в компании Phorm, расшифровку которого мы рады представить читателям Хабра.
Читать полностью »

Давно меня посетила идея организовать маленькое сетевое хранилище дома. Для чего? В первую очередь для фото, и еще нескольких файлов которые не хотелось бы потерять. Ну раз уж пошла такая пляска то и организация человеческой медиатеки.

Смотрел я на модели именитых брендов, такие как дели Synology и QNAP, даже чуть не взял QNAP TS-469 Pro, но жаба таки сделала свое дело.

Начал я бороздить просторы интернета в поисках публикаций с вариантами постройки хранилищ своими ручками, это и интересно и мне тогда показалось что дешевле Читать полностью »

Хотите сохранить ценные данные на века и защитить их от всевозможных угроз, включая хакерские атаки и ядерную войну? Если так — вам определённо понравится Всемирный арктический архив (Arctic World Archive).

Вечная мерзлота, угольная шахта и piqlFilm: новый подход к хранению и защите данных - 1

Читать полностью »

image

В команде эксплуатации подумали, что наш опыт с Microsoft SQL в нагруженной среде больше нельзя скрывать, и потому родилась эта статья. В ней я расскажу о нюансах работы с этой СУБД из практики.

Microsoft SQL Server давно нашел свое место в семействе продуктов Яндекс.Денег и успешно решает задачу сбора разрозненной информации обо всех операциях из множества отдельных сервисов. Без такой сборки воедино нельзя было бы отследить платеж, собрать статистику или решить проблему.

Все сказанное далее будет полезно администраторам крупных БД – тем, кто заботится о быстрой и точной работе аналитики Microsoft SQL Server 2012-2014.

Если информация окажется вам полезной и интересной — обязательно дайте знать в комментариях, чтобы автор не расслаблялся.Читать полностью »

Мы продолжаем публиковать серию переводов Gulcin Yildirim, разработчика компании 2ndQuadrant, об отказоустойчивости PostgreSQL и сегодня предлагаем вашему вниманию второй пост из серии.

Gulcin приедет на PG Day'17 и лично ответит на вопросы участников, а также расскажет более подробно не только о репликации в PG, но и об автоматизации апгрейдов Постгреса в облаке и не только. Готовьте свои вопросы!

Эволюция отказоустойчивости в PostgreSQL: фаза репликации - 1

PostgreSQL — это потрясающий проект, который развивается с удивительной скоростью. В этой серии статей мы сфокусируемся на эволюции возможностей отказоустойчивости в PostgreSQL на протяжении всех его версий. Это вторая статья серии, в которой мы поговорим о репликации и её значении для отказоустойчивости и надежности Постгреса.
Читать полностью »

Не скоро строится забор, тем более – красивый ЦОД. Как мы строим ЦОД «Авантаж». Часть 1 - 1

Этим постом начнем свой рассказ о том, как мы ведем строительство с чистого поля нового дата-центра «Авантаж», который станет одной из крупнейших коммерческих площадок московского региона. Участок проведения работ расположен восточнее города Лыткарино (Московская область, г. Лыткарино) в 9 км от Москвы. ЦОД разместится на территории в 3 га, на которой уже сейчас возведен комплекс зданий и сооружений общей площадью 1,08 га. Внимание, впереди много фото. Прошу под кат.

Читать полностью »

Весна вступает в свои полноправные права, планета крутится, люди трудятся. А Яндекс, в очередной раз обновив мобильное приложение Яндекс.Диска, объявил об акции.

Увеличиваем объём Яндекс.Диска на 32 Гб навсегда за автозагрузку фото с телефона - 1
Читать полностью »

Не так давно компания Intel выпустила на рынок SSD-накопители Xpoint M.2, продукт, который мог бы стать отличным, если бы технология не была испорчена недостаточным сроком службы.

Intel официально называет эти устройства Optane Memory, они идут в двух PCIe3 2x M.2 форм-факторах 16 и 32 ГБ, оба они рассчитаны на запись 100 Гбайт в день, что примерно равно 3DWPD для 32 ГБ модели и 6DWPD для 16 ГБ. Модель 16 ГБ будет стоить $44, 32 ГБ будет стоить $77, причем обе цены намного ниже ожидаемого.

«Избегайте Xpoint M.2, как чумы»: критический анализ Intel Optane Memory - 1

Intel утверждает, что использование этих дисков заставит ваш компьютер просто летать – и при этом в пресс-релизе устройства нет даже простого рейтинга скорости. Все их сравнения были сделаны с HDD, для которых неизвестна скорость чтения и записи и условия нагрузочного тестирования.

И даже те странные, возможно, сфабрикованные данные, которые прессе все-таки были выданы, стали известны лишь несколько дней спустя, что абсолютно неприемлемо и неэтично. В силу того, что все эти тесты были сделаны в сравнении с HDD, Intel бесспорно пытается ввести в заблуждение прессу и технические сайты, и это не случайно.

Читать полностью »

В этой статье используется MathJax для рендеринга математических формул. Нужно включить JavaScript, чтобы MathJax заработал.

Многие распределённые системы хранения (в том числе Cassandra, Riak, HDFS, MongoDB, Kafka, …) используют репликацию для сохранности данных. Их обычно разворачивают в конфигурации «просто пачка дисков» (Just a bunch of disks, JBOD) — вот так, без всякого RAID для обработки сбоев. Если один из дисков в ноде отказывает, то данные этого диска просто теряются. Чтобы предотвратить безвозвратную потерю данных, СУБД хранит копию (реплику) данных где-то на дисках в другой ноде.

Самым распространённым фактором репликации является 3 — это значит, что база данных хранит три копии каждого фрагмента данных на разных дисках, подключенных к трём разным компьютерам. Объяснение этому примерно такое: диски выходят из строя редко. Если диск вышел из строя, то есть время заменить его, и в это время у вас ещё две копии, с которых можно восстановить данные на новый диск. Риск выхода из строя второго диска, пока вы восстанавливаете первый, достаточно низок, а вероятность смерти всех трёх дисков одновременно настолько мала, что более вероятно погибнуть от попадания астероида.
Читать полностью »

В продолжении статьи «Quadstor — виртуальный SAN для бюджетников» как и обещал, сравнительные тесты скорости VSAN Quadstor HA и VSAN Starwind HA. А так же тест надежности Quadstor HA с имитацией отключения одного из нодов HA.

Производительность.

Для проверки сравнительных тестов скорости VSAN Quadstor и Starwind, были созданы 5 виртуальных машин на основе одного железного хоста с VMware ESXi 6.5.
Виртуальные машины по тех. характеристикам полностью одинаковы (братья близнецы) (2хCPU, RAM-3Gb, 2x1Gb LAN,).
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js