При наличии работоспособного NAS с докером, установка Gitlab не представляет особых сложностей.
Рубрика «хранилища данных» - 15
GitLab в NAS
2018-12-30 в 9:06, admin, рубрики: data, data storage, diy или сделай сам, Git, git repositories, gitlab, NAS, protected git storage, repos, SAN, storage, storage system, контроль версий, репозитории, Системы управления версиями, хранилища данных(5-2) Способа перенести большую SQL таблицу
2018-12-29 в 13:09, admin, рубрики: highload, Microsoft SQL Server, sql, sql server, хранилища данныхВведение
Всем привет! Это моя первая статья и пишу я ее от лица младшего инженера-разработчика на языке C#. Так что здесь не будет каких-то подробных сведений о SQL, лишь практические сведения и размышления по решению довольно не очевидной задачи, с которой мне пришлось столкнуться, для таких же новичков, как и я сам.
Сначала я опишу формулировку своей задачи в качестве примера, в котором возникает реальная необходимость переноса большой таблицы.
Итак, представим, что у вас есть web-сервис и SQL (MS-SQL) база данных с таблицей html-писем, которые ваш сервис рассылает пользователям. Письма хранятся за некоторое количество лет и удалить их нельзя, так как они нужны для сбора статистики и аналитики. Однако, с каждым годом количество писем растет, база разрастается, а места на SQL-сервере все меньше (в нашем случае еще одним фактором было восстановление базы на тестовую площадку, т.к. его время пропорционально росло) и с этим нужно что-то делать. Благо, в нашем случае есть свободный сервер с кучей свободного места (в реальности его может не быть и конечно это временное решение, но это выходит за рамки статьи). Так возникла задача по переносу большой таблицы (и говоря «большой», я имею в виду реально большую таблицу, все что я видел, пока искал похожие решения, было в районе 60-100Гб, в нашем случае таблица весила более 300 Гб).
Мы рассмотрим несколько способов решения этой задачи, но не все они будут относится к переносу вида сервер – сервер. Иногда может возникнуть необходимость переноса таблицы между базами в рамках одного сервера. Также, некоторые способы чисто теоретические, я не проверял их все на практике, однако они наверняка должны сработать.
Читать полностью »
FreeBSD планирует перейти на ZFSonLinux
2018-12-28 в 11:31, admin, рубрики: Delphix, OpenZFS, storage, zfs, zfsonlinux, Настройка Linux, Серверное администрирование, хранение данных, хранилища данныхНа прошлой неделе один из разработчиков FreeBSD Matt Macy выдвинул предложение об использовании реализации ZFS от проекта ZFSonLinux. Таким образом все требуемые изменения для FreeBSD будут сразу интегрированы в кодовую базу ZFSonLinux. Предложением это не завершилось, уже создан форк, в котором производятся требуемые доработки, а также получено одобрение core разработчиков ZFSonLinux на включение доработок для FreeBSD в единую кодовую базу.
Положительная ли это новость? Конечно же да! Суть в концентрации всех причастных к проекту OpenZFS разработчиков в одном месте, в одной кодовой базе.
Крипто-взлом — новый тип атак на ЦОД
2018-12-19 в 13:21, admin, рубрики: cryptojacking, mining, антивирусная защита, Блог компании Cloud4Y, ИБ, информационная безопасность, крипто-взлом, хранилища данных, цодСерверы, захваченные хакерами для майнинга крипто-валюты, могут генерировать многотысячные счета за оплату облачного хостинга и потребленную электроэнергию.
В феврале 2018 года известный производитель электромобилей Тесла подвергся крипто-взлому (cryptojacking). Неправильная настройка среды Amazon Web Services позволила хакерам проникнуть внутрь нее. Однако вместо установки обычных программ-вымогателей, вирусов или банальной кражи данных хакеры установили специализированное ПО, которое в фоновом режиме занялось майнингом крипто-валюты.
Такой тип атаки достаточно трудно обнаружить. В этом случае нет утечки или потери данных, все аккаунты остаются доступны их владельцам, и никто из них не подозревает о том, что кто-то посторонний заходил в систему. При этом ПО для майнинга работает в фоновом режиме, зарабатывая деньги для преступников, которые не вкладывают в этот процесс ни одной копейки.
Читать полностью »
Чтение на выходные: материалы про работу с ПД, обзоры железа в ЦОД и «кухня» IaaS-провайдера
2018-12-15 в 18:01, admin, рубрики: 1cloud, архитектура по, Блог компании 1cloud.ru, дайджест, Законодательство в IT, ИБ, хранение данных, хранилища данных, цодСегодня мы собрали 17 статей о безопасности персональных данных (ПД), новых технологиях в дата-центрах и «внутренней кухне» 1cloud. Из этих материалов вы узнаете, зачем дата-центру GPS-файрвол, как работать с ПД в публичном облаке и как охлаждать серверы горячей водой.
Надежная стратегия миграции в облако в 2019 году: 7 советов
2018-12-13 в 8:45, admin, рубрики: AWS, cloud, Migration, software development, безопасность данных, Блог компании Plarium, информационная безопасность, облако, облачное хранилище, Программирование, хостинг, хранение данных, хранилища данныхПеред вами перевод статьи Manjunath M, которая была опубликована на Bits and Pieces. Мы предлагаем прочитать ее тем, кто уже преодолел этап подготовки к миграции и приступает к следующему шагу.
Обычно компании рассматривают разные способы переноса приложений в облачное хранилище во время оценки и планирования портфеля — на второй стадии миграции. Задумываются также над тем, какие приложения будет легче перенести и что повлечет за собой их миграция. Именно на этом этапе разработчик понимает, насколько сложны и взаимозависимы компоненты его среды разработки. С его точки зрения, многое может пойти не так.
Где хранить данные: экскурсия в дата-центр IXcellerate
2018-12-11 в 8:02, admin, рубрики: IXcellerate, Блог компании ГК ЛАНИТ, Ланит, онланта, хостинг, хранение данных, хранилища данных, цодЧасто приходится слышать, что хранить данные и выводить свои системы на ИТ-аутсорсинг – это опасно и ненадёжно. Якобы данные могут быть недоступны из-за технических проблем у провайдера, дата-центр может стать объектом хакерской атаки, да и просто спокойнее, когда всё ИТ-оборудование и все данные компании рядом, «под боком», а не хранятся и обслуживаются «на стороне».
Предлагаю посмотреть, как устроен дата-центр IXcellerate, в котором мы храним свои данные и данные клиентов. Мы – это сервис-провайдер «Онланта». Наше облако OnCloud.ru создано на базе нескольких, географически распределённых дата-центров. ЦОД IXcellerate как раз и является одним из них.
Перевезти дата-центр за 14 400 секунд
2018-12-10 в 9:00, admin, рубрики: Interxion, ruvds, Блог компании RUVDS.com, СХД, хостинг, хранение данных, хранилища данных, цодВсем знакома пословица «Один переезд равен двум пожарам». Смысл этой народной мудрости в том, что процесс переезда сопряжен со стрессами, суетой, переживаниями и, конечно, беготней, которые бывают и при пожаре, а подчас и с утратами ценного имущества. К тому же, когда собираешься в спешке, пакуешь вещи для перевозки бессистемно, то велика вероятность что-то потерять, разбить, забыть.
Реализация SSD кэширования в СХД QSAN XCubeSAN
2018-12-10 в 7:35, admin, рубрики: QSAN, SAN, Блог компании Skilline, виртуализация, системы хранения данных, СХД, хранение данных, хранилища данныхТехнологии повышения производительности, основанные на использовании SSD и широко применяемые в СХД, уже давно изобретены. Прежде всего – это применение SSD в качестве пространства хранения, что на 100% эффективно, но дорого. Поэтому в ход идут технологии тиринга и кэширования, где SSD используются только для наиболее востребованных («горячих») данных. Тиринг хорош для сценариев долговременного (дни-недели) использования «горячих» данных. А кэширование, наоборот, для краткосрочного (минуты-часы) использования. Оба этих варианта реализованы в СХД QSAN XCubeSAN. В данной статье мы рассмотрим реализацию второго алгоритма – SSD кэширования.
Splunk глазами новичка: как мы делали систему инвентаризации хранилищ
2018-11-27 в 7:33, admin, рубрики: splunk, Блог компании Инфосистемы Джет, дашборд, инвентаризация хранилищ, Серверное администрирование, СХД, хранение данных, хранилища данных
Недавно заказчик попросил нас реализовать систему учета дисковых мощностей. Стояла задача объединить информацию с более семидесяти дисковых массивов разных вендоров, от свичей SAN и ESX-хостов VMware. Затем данные нужно было систематизировать, проанализировать и иметь возможность выводить на дашборд и различные отчеты, например, о свободном и занятом объеме дискового пространства во всех или отдельно взятых массивах.
Мы решили реализовать проект с помощью системы анализа операционной деятельности — Splunk.
Читать полностью »