Рубрика «архивирование»

Как уничтожить вашу ОС с помощью TAR - 1


Это короткая история о том, насколько опасной может оказаться обычная распаковка tar, и что можно сделать для минимизации или избежания связанных с ней рисков.

▍ Ошибка

Недавно я экспериментировал с установкой Void Linux через chroot методом XBPS. Для подготовки базовой системы Void Linux на моём хосте с Fedora Linux требовался XBPS Package Manager. Одним из вариантов было скачать архив статически собранных инструментов из официального репозитория. Я выбрал https://repo-default.voidlinux.org/static/xbps-static-latest.x86_64-musl.tar.xzЧитать полностью »

Хранение фотографий на DVD-дисках в 2K19-м (в 2190-м? в 2238-м?) - 1

Первая цифровая фотокамера у меня появилась 14 назад. Тогда же возникла и проблема хранения фотографий. К счастью, в то время она решалась быстро и однозначно — записать на диск, и точка. Внешние HDD, да и внутренние тоже, тогда стоили дорого. SSD-дисков, по-моему, вообще не было, а если и были, то наверняка они стоили еще на порядок дороже. Хранить отснятое прямо на картах памяти и покупать каждый раз новую карточку — расточительное безумие. В общем, в домашних условиях какой-то разумной альтернативы DVD-дискам просто не существовало. К тому же, на дисках выходило множество игр, и DVD привод в обязательном порядке присутствовал в компьютере. У меня был сразу пишущий дисковод.

В какой-то момент, а это было года 2-3 назад, я пришел к другу с записанным на DVD-RW-диск для него автосимулятором и обнаружил, что в его новом компьютере вообще отсутствует устройство для чтения дисков. Я был немного шокирован. Друг посмеялся: прийти с диском — это все равно, что приехать на автогонки на лошади с телегой. И тогда я понял, что эпоха CD-DVD уходит. Пришлось потом для переноса данных купить себе большую флэшку.
Читать полностью »

Архивируй это: как устроено архивирование файловой системы с помощью Commvault - 1
Раньше было больше распространено так называемое долгосрочное архивирование, когда файлы, которые нужно было хранить по закону несколько лет, сбрасывались на ленты, кассеты при необходимости увозили в специальное хранилище. По праздникам, например, по случаю аудита, кассеты приезжали в офис, и с них доставались нужные файлы. С доступностью дисковых хранилищ появилась возможность организовывать архивирование не только для суперважных бухгалтерских или юридических документов, но и для простых смертных файлов, которые вроде как и удалять нельзя (вдруг пригодятся), но и место на быстрой хранилке под них тратить не хочется.
Такое архивирование обычно работает следующим образом: прописываются специальные правила архивирования (дата последнего открытия, редактирования, создания), и все файлы, которые попадают под эти правила, автоматически перемещаются с продуктивного хранилища в архив на более медленных дисках.

Сегодня как раз хочу рассказать про такой вариант архивирования на примере решения Commvault.Читать полностью »

Хочу рассказать о том, как мы захотели сделать собственный бекап баз данных для Microsoft SQL Server, и что из этого получилось.

Проблема

Мы в компании используем Microsoft SQL Server, и вполне ожидаемо, что нам надо делать бекапы баз данных для него, что мы успешно делаем. Делается это следующим образом:

  • Первый скрипт делает бекапы нужных баз данных
  • Второй скрипт проходит по папкам с бекапами и архивирует их в 7zip
  • Третий скрипт уносит эти бекапы на внешнее хранилище

Вроде всё логично на мой взгляд, но есть некая странность во всём этом. Так как некоторое время на сервере находятся файлы, которые активно занимают место, а потом данные файлы удаляются за ненадобностью. Хотелось всё это оптимизировать. Кроме того, у нас в комании есть продукт, одной из задач которого является синхронизация базы данных, и ему подобный код, оптимизирующий задачу, тоже очень пригодился бы.

Читать полностью »

Возникла у меня как-то задача обработать файл с логами. В принципе, задача банальная, я для этого использую Perl и в Linux и в Windows. Но дело в том, что всё это происходит на Mac, файл находится в архиве и он большой. Распакованным, он занимает около 20 ГБ.
Какое будет обычное решение?
Читать полностью »

Выбор носителей и мест хранения для архивирования и бэкапа фотоархивов
Любой цифровой фотограф неоднократно встречался с ситуацией, когда флэшка со свежими снимками уже вставлена в слот компьютера или ридера, а места на рабочем диске нет. Это неприятно. Ещё неприятнее, когда два-три часа убито на переписывание предыдущих снимков на оптические диски, а потом выясняется задним числом, что часть файлов на них безнадёжно испорчена. С точки зрения фотографа (и самого искусства фотографии), каждый снимок уникален; потеря его эквивалентна потере мгновения чьей-то жизни, причём для фотографа эти мгновения могут сложиться в весьма чувствительное время: ведь снимок надо сделать, сохранить, обработать, распечатать, показать… Я уже не говорю о чисто материальных потерях, от коллекционных до финансовых, которыми гибель любого снимка чревата для коммерческого фотографа.
Читать полностью »

Какая часть веба заархивирована

Машина времени Internet Archive — самый большой и известный архив, который сохраняет веб-страницы с 1995 года. Кроме него существует с десяток других сервисов, которые тоже архивируют веб: это индексы поисковых систем и узкоспециализированные архивы вроде Archive-It, UK Web Archive, Web Cite, ArchiefWeb, Diigo и др. Интересно узнать, как много веб-страниц попадает в эти архивы, относительно общего числа документов в интернете?

Известно, что база Internet Archive за 2011 год содержит более 2,7 миллиарда URI, многие из них в нескольких копиях, сделанный в разные моменты времени. Например, главную страницу Хабра «сфотографировали» уже 518 раз, начиная с 3 июля 2006 года.

Известно также и то, что база ссылок Google пять лет назад перешагнула отметку в триллион уникальных URL, хотя многие документы там дублируются. Компания Google не в силах проанализировать все URL, так что компания решила считать количество документов в интернете бесконечным.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js