Делаем удобный доступ к архивам (и создаем эти архивы) сетевых шар, для клиентов работающих под Windows.
Читать полностью »
Рубрика «хранение данных» - 75
Бэкап сетевой шары (samba) в Linux по мотивам Windows Server Backup
2016-12-25 в 12:26, admin, рубрики: archive, backup, samba, Серверное администрирование, системное администрирование, хранение данныхРазвертывание тестового кластера VMware Virtual SAN 6.2
2016-12-22 в 20:04, admin, рубрики: ESXi, HCI, SDS, storage, VMware, VSAN, vSphere, виртуализация, системное администрирование, СХД, хранение данныхВведение
Передо мной была поставлена задача — развернуть кластер VMware Virtual SAN 6.2 для тестирования производительности, анализа возможностей, особенностей и принципов работы гиперконвергентной программной СХД от VMware.
Кроме того, созданный тестовый стенд должен стать платформой для разработки и апробирования методики тестирования распределенных СХД, в т.ч. для гиперконвергентных инфрастуктур (HCI).
Результатов тестирования и описания его методики в данной статье не будет, вероятно этому будет посвящена отдельная публикация.
Данная статья будет полезна специалистам, которые впервые сталкиваются с развертыванием кластера VMware Virtual SAN 6.2. Я постарался указать подводные камни, на которые можно напороться при поднятии кластера, что позволит значительно сократить время и нервы на их обход.
Читать полностью »
Как работает стриминг Netflix
2016-12-16 в 14:34, admin, рубрики: Hollow, netflix, Администрирование баз данных, Большие данные, кэширование, Сетевые технологии, хранение данных«Если вы можете кэшировать всё очень эффективным способом, то вы часто можете изменить правила игры»
Мы, разработчики программного обеспечения, часто сталкиваемся с проблемами, требующими распространения некоторого набора данных, который не соответствует названию «большие данные». Примерами проблем такого типа являются следующие:
- Метаданные продукта в интернет-магазине
- Метаданные документа в поисковой машине
- Метаданные фильмов и ТВ-шоу
Сталкиваясь с этим, мы обычно выбираем один из двух путей:
- Хранение этих данных в каком-то централизованном хранилище (например, реляционная СУБД, информационный склад NoSQL или кластер memcached) для удалённого доступа пользователей
- Сериализация (например, как json, XML и т.д.) и распространение среди потребителей, которые будут хранить локальную копию
Применение каждого из этих подходов имеет свои проблемы. Централизация данных может позволить вашему набору данных неограниченно расти, однако:
Читать полностью »
Система Hyperwall от НАСА теперь использует СХД vFlash
2016-12-15 в 8:28, admin, рубрики: Блог компании ИТ-ГРАД, ит-инфраструктура, системное администрирование, хранение данных, хранилища данныхHyperwall НАСА — это видеостена, состоящая из огромного массива мониторов и способная отображать множество изображений в высоком качестве одновременно. Эта установка нужна агентству для визуализации феноменов, идей и изменений, происходящих в мире и имеющих отношение к астрофизике, гелиофизике и планетоведению. Для этого используются данные, получаемые НАСА с телескопов и спутников.
Вычислительная ферма НАСА располагается в Исследовательском центре Эймса. Там ведутся работы над проектом HECC, который позволяет ученым и инженерам проводить симуляции, моделирование и аналитические работы в крупных масштабах для расчетов всех миссий Космического агентства.
Использование Github в качестве хранилища пользовательских данных
2016-12-15 в 5:20, admin, рубрики: angular, api, Git, github, markdown, open source, rest, yii, книги, ненормальное программирование, открытые данные, Программирование, Системы управления версиями, хранение данных
Выбирая сервис для хранения моих данных, важной составляющей является то, как долго такой сервис будет жить. От него нужно, чтобы я смог хотя бы прочитать сохраненные данные даже если энтузиазм авторов проекта закончится вместе с деньгами для оплаты хостинга и базы данных. С таким подходом для своего проекта я искал сервисы баз данных, которые могли бы хранить пользовательские данные бесплатно. Многообещающим проектом был Parse.com, о котором я уже писал ранее в статье «Сайт без бекенда». Но в январе 2016 мы узнали, что Parse.com проживет только один год и будет закрыт. В связи с этим я решил перевести хранение данных пользователей в git-репозиторий, который опубликован на Github.
Обработка и хранение данных: от древности до ЦОДов
2016-12-14 в 9:04, admin, рубрики: SAFEDATA, Блог компании SAFEDATA, История ИТ, Облачные вычисления, резервное копирование, серверы, хранение данных, хранилища данныхНаше время часто называют информационным веком. Однако информация была критически важна для рода человеческого на протяжении всего его существования. Человек никогда не был самым быстрым, самым сильным и выносливым животным. Своим положением в пищевой цепи мы обязаны двум вещам: социальности и способности передавать информацию более чем через одно поколение.
То, как информация хранилась и распространялась сквозь века, продолжает оставаться буквально вопросом жизни и смерти: от выживания племени и сохранения рецептов традиционной медицины до выживания вида и обработки сложных климатических моделей.
Читать полностью »
Автоматизированное восстановление баз данных MS SQL из бэкапов
2016-12-08 в 15:12, admin, рубрики: backup, MS Sql Server, mssql, Администрирование баз данных, Блог компании СофтЛаб, Серверное администрирование, хранение данных
В этой статье я хотел бы рассказать о том, как с помощью утилиты Quick Maintenance & Backup for MS SQL настроить автоматическое восстановление баз данных из бэкапов на тестовом экземпляре SQL Server в сети. При этом создавать бэкапы будет штатный План обслуживания. Потребность в автоматизированном восстановлении может возникнуть в следующих случаях:
- Если требуется регулярно актуализировать базы данных на тестовых серверах.
- Если требуется периодически проверять через восстановление созданные бэкапы: полный, разностный и журналы транзакций.
В сети можно найти примеры скриптов позволяющие в той или иной мере автоматизировать эти задачи. Но большинство решений требуют хорошего понимания T-SQL, предметной области и скорее всего потребуют изменения ваших Планов обслуживания. Я покажу как это сделать за 15-20 минут с помощью утилиты Quick Maintenance & Backup for MS SQL (QMB). Мы задействуем механизм XML планов восстановления — это XML файл с последовательностью бэкапов, который умеет создавать утилита. По информации в XML файле программа получит последовательность бэкапов, сформирует T-SQL скрипт для восстановления и запустит его на выполнение. Подробнее об этой возможности можно почитать здесь.
Читать полностью »
«Пьяная» база данных: как на 1 базе мы сделали 7 тестовых площадок, причём у каждой — свой собственный инкремент и дифф
2016-12-06 в 7:05, admin, рубрики: Delphix, Администрирование баз данных, база данных, Блог компании КРОК, инфраструктура, ит-инфраструктура, программно-определяемая СХД, системное администрирование, СУБД, СХД, тестовые стенды, хранение данныхПредставьте себе компанию «Ингосстрах» с продуктивной базой 30 Тб. Она лежит на большой такой железной хранилке, её обслуживает очень-очень тяжёлый сервер. Всё красиво. Теперь представьте, что вы написали фичу или кусок функционала, и вам нужно протестировать её на боевой базе. Кусочек базы отщипнуть нельзя по ряду причин.
Что вы сделаете? Ну, традиционный путь — взять ещё одну хранилку на 30–35 Тб (но подешевле раз в пять, помедленнее, попроще, без резервирования) и отреплицировать базу на неё. А затем работать с копией. Хороший план?
Нет. Дело в том, что когда у вас несколько команд разработки (а в нашем случае их количество выросло от 4 до 10), нужно, соответственно, от 4 до 10 тестовых площадок. Или даже больше. Покупать такое железом просто нереально, поэтому нужно решение, которое позволит один раз реплицировать боевую базу, а затем «показывать» её каждому серверу как отдельную тестовую, но храня все изменения тестовой площадки. Вот так:
Расскажу, как на одном узле с физической базой мы развернули 7 тестовых площадок, изолированных друг от друга. Читать полностью »
Релиз СУБД InterSystems Caché 2016.2
2016-12-01 в 14:08, admin, рубрики: cache, dbms, intersystems, release, Администрирование баз данных, Блог компании InterSystems, релиз, СУБД, субд Caché, хранение данных
Всем привет! Состоялся очередной выпуск новой версии Caché под номером 2016.2. Изменений не так много, но все они важные. Как всегда, вначале публикуем ссылку на полный список изменений (на английском языке).
Итак.
Под капотом у новой поделки Dell + EMC — флешового хранилища по цене дискового
2016-11-29 в 7:22, admin, рубрики: EMC, flash, ssd, storage, unity, VNX, Блог компании КРОК, ит-инфраструктура, Серверное администрирование, системное администрирование, СХД, хранение данных, хранилище, хрррСразу скажу главное — заявление про «цену дисковой» касается только специальных акционных цен на Unity, которые EMC дало нам как официальному партнеру в России под промо новой модели СХД. Акция касается не всех, детали в почту. Обычные же цены — просто крепкий хороший midrange под свою специфику.
Итак, поехали. EMC уже много лет неравнодушна к флешам, но в прошлом году конкретно заморочилась, решив, что будущее за ним. И выпустило рабочую и не очень дорогую штуку. Это почти что обычный мидрейндж с SSD-дисками (нюансы чуть позже). Никаких «втыкаем лом, а она продолжает работать», но зато внушительная производительность под базы данных и виртуалки плюс разные мелкие фишки.
Вот яркий пример оптимизации — раньше тут был отдельный ИБП-модуль в своём кожухе, и он менялся «на горячую». А теперь — Li-ion батарея с полиэтиленовой защитой от протечки внутри контроллера.
А ещё они наступили многим вендорам на любимую мозоль и сделали цену поддержки одинаковой на всё время. А то, знаете ли, многие большие вендоры любят ставить такую цену на 4-й и 5-й год, что проще заменить железо на новое. Ну и да, у этих ребят выход из строя диска по износу считается гарантийным случаем, не в пример некоторым любителем звездочек и мелкого шрифта в гарантийной политике.
Всё, теперь пошли втыкать в неё лом и тестировать. Забегая вперёд скажу, что с 9 дисков сняли 80 тысяч иопсов. Читать полностью »