Рубрика «файловая система» - 2

Основы ZFS: система хранения и производительность - 1

Этой весной мы уже обсудили некоторые вводные темы, например, как проверить скорость ваших дисков и что такое RAID. Во второй из них мы даже пообещали продолжить изучение производительности различных многодисковых топологий в ZFS. Это файловая система следующего поколения, которая сейчас внедряется повсюду: от Apple до Ubuntu.
Читать полностью »

Привет! Меня зовут Денис Копырин, и сегодня я хочу рассказать о том, как мы решали проблему бэкапа по требованию на macOS. На самом деле интересная задача, с которой я столкнулся в институте, выросла в итоге в большой проект по работе с файловой системой в macOS и стала частью системы Acronis Active Protection. Все подробности – под катом.

image
Читать полностью »

Доброго времени суток, читатели.  Я работаю в компании Veeam Software и являюсь одним из разработчиков нашего решения для бэкапа линукс систем. По роду занятий мне довелось столкнуться с BTRFS. Совсем недавно она перешла из статуса «еще не пригодно» в статус «стабильна». И пока её первые пользователи в сети обсуждали проблемные места и вопросы стабильности, мы в Veeam тыкали её палочкой и пытались бэкапить. Получалось, мягко говоря, не очень — слишком уж она другая, не похожая на традиционные файловые системы. Пришлось изучить немало аспектов и собрать множество граблей, прежде чем научились с ней работать. В процессе изучения BTRFS сумела произвести на меня впечатление как в хорошем смысле, так и не очень. Уверен, она не оставит равнодушным ни одного айтишника из мира линукс: одни будут плеваться, другие восхвалять.

Если вы слышали об этой файловой системе, но не знаете, зачем она, интересуетесь подробностями или ищете, с чего начать знакомство с ней — приглашаю под кат.
Читать полностью »

Гластер в России мало у кого есть, и любой опыт интересен. У нас он большой и промышленный и, судя по дискуссии в прошлом посте, востребованный. Я рассказывал о самом начале опыта переноса бекапов с Enterprise хранилища на Glusterfs.

Это недостаточно хардкорно. Мы не остановились и решили собрать что-то более серьёзное. Поэтому здесь речь пойдёт о таких вещах, как erasure coding, шардинг, ребалансировка и её троттлинг, нагрузочное тестирование и так далее.

Glusterfs + erasure coding: когда надо много, дешево и надежно - 1

  • Больше теории волюмы/сабволюмы
  • hot spare
  • heal / heal full / rebalance
  • Выводы после ребута 3 нод (никогда так не делайте)
  • Как влияет на нагрузку сабволюма запись с разной скоростью от разных ВМ и shard on/off
  • rebalance после вылета диска
  • fast rebalance

Читать полностью »

Как мы ломали Glusterfs - 1

История началась год назад, когда к нам пришёл наш друг, коллега и большой эксперт по энтерпрайз стораджам со словами: «Парни, у меня тут завалялась шикарная хранилка со всеми модными фичами. 90Tb». Особой необходимости мы в ней не видели, но, естественно, отказываться не стали. Настроили туда пару бекапов и на какое-то время благополучно забыли.

Периодически возникали задачи типа переброса больших файлов между хостами, сборка WAL для реплик Postgre и т. д. Постепенно мы начали перекладывать в этот холодильник всё разбросанное добро, так или иначе связанное с нашим проектом. Настроили ротейт, оповещения об успешных и не очень попытках выполнения бекапа. За год эта хранилка стала одним из важных элементов нашей инфраструктуры в группе эксплуатации.

Всё было хорошо, пока к нам опять не пришёл наш эксперт и не сказал, что свой подарок он хочет забрать. И вернуть его надо срочно.

Выбор был небольшой — распихивать всё опять куда попало либо собирать свой собственный холодильник из блэкджека и палок. К этому моменту мы уже были наученные, насмотрелись на множество не совсем отказоустойчивых систем, и отказоустойчивость стала нашим вторым я.

Из множества вариантов наш взгляд особенно зацепил Глустер, Гластер. Всё равно, как называть. Лишь бы результат был. Поэтому мы начали над ним измываться.
Читать полностью »

Совместный доступ с RAIDIX и Apple Xsan. Яблочный спас для видеомонтажеров - 1

Эффективное хранение файлов большого размера в различных отраслях становится непростой задачей. Так, в медиаиндустрии используются колоссальные объемы контента. Учитывая, что цифровое видео формата 2K или 4K требует в 4 раза больше свободной емкости, чем файлы стандартного высокого разрешения, художественный фильм средней продолжительности может занимать от 2 (в формате Full HD) до 15 (в 8К) терабайт данных.

Специалисты студии оперируют файлами терабайтных размеров и осуществляют видеомонтаж, цветокоррекцию и окончательную обработку материала с помощью ресурсоемких профессиональных приложений.
Читать полностью »

macOS High Sierra показывает пароль к зашифрованному тому вместо подсказки - 1

Чуть больше недели назад Apple выпустила обновление macOS High Sierra с новой файловой системой APFS. Прошло всего пару дней — и в системе обнаружили неприятный баг, который можно назвать потенциальной уязвимостью.

Дело в том, что при создании в дисковой утилите (Disk Utility) зашифрованного контейнера APFS с указанием пароля и парольной подсказки, если отмонитровать этот контейнер, а затем примонтировать снова — то macOS High Sierra вместо парольной подсказки показывает пароль!
Читать полностью »

Привет!

Вот и настал тот момент, когда одна картинка лучше тысячи слов.

image

Теперь в ночных сборках ReactOS можно установить и даже запустить хромоподобные браузеры.
Стоит отметить, что пока требуется использовать следующие ключи запуска:

--allow-no-sandbox-job —disable-preconnect —disable-translate —disable-accelerated-video —disable-gpu —disable-plugins —no-sandbox

При этом, вероятно, не все они жизненно необходимы, и от некоторых уже можно избавится, Напишите нам об итогах своих экспериментов.
Читать полностью »

Pandemic: инструмент ЦРУ для скрытой подмены файлов - 1WikiLeaks продолжает тянуть жилы из ЦРУ, понемножку публикуя порции документов о хакерских инструментах, которые используются американцами для шпионажа. Разведчики вынуждены один за другим выводить эти инструменты из оборота, потому что теперь они рассекречены.

1 июня 2017 года WikiLeaks обнародовала документацию на программу Pandemic — это минифильтр файловой системы под Windows, который распространяет вредоносные файлы. Программа Pandemic подменяет содержимое файлов во время их копирования по SMB. Вместо оригинального содержимого получателю приходит произвольный файл с тем же названием (это может быть троянизированная версия оригинальной программы — на GT ранее публиковался список программ, для которых ЦРУ выпустила троянизированные версии, это VLC Player Portable, IrfanView, Chrome Portable, Opera Portable, Firefox Portable, Kaspersky TDSS Killer Portable, Notepad++, Skype, 7-Zip Portable, Portable Linux CMD Prompt, 2048 и многие другие). Таким образом осуществляется быстрое распространение вирусного кода по локальной сети.

Чтобы замаскировать свои действия, оригинальный файл на сервере остаётся неизменным, но получатель при копировании этого файла получает уже версию с трояном. Очень эффективное и простое оружие. Оно особенно подходит для установки на файл-серверы, откуда осуществляется массовое копирование файлов. Представьте, что все файлы на сервере чисты, проверены антивирусом и не содержат ничего подозрительного. Но при их копировании вы получаете версию с трояном.
Читать полностью »

Разработчикам часто приходится иметь дело с файлами, представляющими из себя
древовидную структуру: XML, JSON, YAML, всякого рода языки разметки вроде
Markdown или Org-mode. Облегчая в общем и целом нашу жизнь, такие файлы имеют
склонность к бесконтрольному росту, в какой-то момент из решения превращаясь в
проблему.

Стандартное решение этой проблемы — разбиение на меньшие файлы. Это, конечно,
работает, но не всегда удобно.

Но существует и альтернатива, о которой — ниже.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js