Рубрика «файловая система» - 2

в 8:46, , рубрики: dispersed volume, Erasure Coding, glusterfs, Блог компании Облачные сервисы КРОК, виртуализация, гластер, глюстер, Серверное администрирование, файловая система, хранение данных

Гластер в России мало у кого есть, и любой опыт интересен. У нас он большой и промышленный и, судя по дискуссии в прошлом посте, востребованный. Я рассказывал о самом начале опыта переноса бекапов с Enterprise хранилища на Glusterfs.

Это недостаточно хардкорно. Мы не остановились и решили собрать что-то более серьёзное. Поэтому здесь речь пойдёт о таких вещах, как erasure coding, шардинг, ребалансировка и её троттлинг, нагрузочное тестирование и так далее.

Glusterfs + erasure coding: когда надо много, дешево и надежно - 1

  • Больше теории волюмы/сабволюмы
  • hot spare
  • heal / heal full / rebalance
  • Выводы после ребута 3 нод (никогда так не делайте)
  • Как влияет на нагрузку сабволюма запись с разной скоростью от разных ВМ и shard on/off
  • rebalance после вылета диска
  • fast rebalance

Читать полностью »

в 6:58, , рубрики: glusterfs, Блог компании Облачный блог КРОК, виртуализация, гластер, глюстер, Серверное администрирование, файловая система, хранение данных

Как мы ломали Glusterfs - 1

История началась год назад, когда к нам пришёл наш друг, коллега и большой эксперт по энтерпрайз стораджам со словами: «Парни, у меня тут завалялась шикарная хранилка со всеми модными фичами. 90Tb». Особой необходимости мы в ней не видели, но, естественно, отказываться не стали. Настроили туда пару бекапов и на какое-то время благополучно забыли.

Периодически возникали задачи типа переброса больших файлов между хостами, сборка WAL для реплик Postgre и т. д. Постепенно мы начали перекладывать в этот холодильник всё разбросанное добро, так или иначе связанное с нашим проектом. Настроили ротейт, оповещения об успешных и не очень попытках выполнения бекапа. За год эта хранилка стала одним из важных элементов нашей инфраструктуры в группе эксплуатации.

Всё было хорошо, пока к нам опять не пришёл наш эксперт и не сказал, что свой подарок он хочет забрать. И вернуть его надо срочно.

Выбор был небольшой — распихивать всё опять куда попало либо собирать свой собственный холодильник из блэкджека и палок. К этому моменту мы уже были наученные, насмотрелись на множество не совсем отказоустойчивых систем, и отказоустойчивость стала нашим вторым я.

Из множества вариантов наш взгляд особенно зацепил Глустер, Гластер. Всё равно, как называть. Лишь бы результат был. Поэтому мы начали над ним измываться.
Читать полностью »

в 14:12, , рубрики: 2k, 4k, post-production, xsan, Блог компании RAIDIX, высокая производительность, Серверное администрирование, СХД, файловая система, хранение данных

Совместный доступ с RAIDIX и Apple Xsan. Яблочный спас для видеомонтажеров - 1

Эффективное хранение файлов большого размера в различных отраслях становится непростой задачей. Так, в медиаиндустрии используются колоссальные объемы контента. Учитывая, что цифровое видео формата 2K или 4K требует в 4 раза больше свободной емкости, чем файлы стандартного высокого разрешения, художественный фильм средней продолжительности может занимать от 2 (в формате Full HD) до 15 (в 8К) терабайт данных.

Специалисты студии оперируют файлами терабайтных размеров и осуществляют видеомонтаж, цветокоррекцию и окончательную обработку материала с помощью ресурсоемких профессиональных приложений.
Читать полностью »

в 11:14, , рубрики: APFS, CVE-2017-7149, CVE-2017-7150, macOS High Sierra, информационная безопасность, операционные системы, пароль, Софт, файловая система, шифрование

macOS High Sierra показывает пароль к зашифрованному тому вместо подсказки - 1

Чуть больше недели назад Apple выпустила обновление macOS High Sierra с новой файловой системой APFS. Прошло всего пару дней — и в системе обнаружили неприятный баг, который можно назвать потенциальной уязвимостью.

Дело в том, что при создании в дисковой утилите (Disk Utility) зашифрованного контейнера APFS с указанием пароля и парольной подсказки, если отмонитровать этот контейнер, а затем примонтировать снова — то macOS High Sierra вместо парольной подсказки показывает пароль!
Читать полностью »

в 12:51, , рубрики: chromium, open source, reactos, UDF, Блог компании Фонд ReactOS, реверс-инжиниринг, файловая система, ШГ

Привет!

Вот и настал тот момент, когда одна картинка лучше тысячи слов.

image

Теперь в ночных сборках ReactOS можно установить и даже запустить хромоподобные браузеры.
Стоит отметить, что пока требуется использовать следующие ключи запуска:

--allow-no-sandbox-job —disable-preconnect —disable-translate —disable-accelerated-video —disable-gpu —disable-plugins —no-sandbox

При этом, вероятно, не все они жизненно необходимы, и от некоторых уже можно избавится, Напишите нам об итогах своих экспериментов.
Читать полностью »

в 15:20, , рубрики: Pandemic, Vault 7, WikiLeaks, windows, Year Zero, информационная безопасность, минифильтр, Софт, файловая система, ЦРУ

Pandemic: инструмент ЦРУ для скрытой подмены файлов - 1WikiLeaks продолжает тянуть жилы из ЦРУ, понемножку публикуя порции документов о хакерских инструментах, которые используются американцами для шпионажа. Разведчики вынуждены один за другим выводить эти инструменты из оборота, потому что теперь они рассекречены.

1 июня 2017 года WikiLeaks обнародовала документацию на программу Pandemic — это минифильтр файловой системы под Windows, который распространяет вредоносные файлы. Программа Pandemic подменяет содержимое файлов во время их копирования по SMB. Вместо оригинального содержимого получателю приходит произвольный файл с тем же названием (это может быть троянизированная версия оригинальной программы — на GT ранее публиковался список программ, для которых ЦРУ выпустила троянизированные версии, это VLC Player Portable, IrfanView, Chrome Portable, Opera Portable, Firefox Portable, Kaspersky TDSS Killer Portable, Notepad++, Skype, 7-Zip Portable, Portable Linux CMD Prompt, 2048 и многие другие). Таким образом осуществляется быстрое распространение вирусного кода по локальной сети.

Чтобы замаскировать свои действия, оригинальный файл на сервере остаётся неизменным, но получатель при копировании этого файла получает уже версию с трояном. Очень эффективное и простое оружие. Оно особенно подходит для установки на файл-серверы, откуда осуществляется массовое копирование файлов. Представьте, что все файлы на сервере чисты, проверены антивирусом и не содержат ничего подозрительного. Но при их копировании вы получаете версию с трояном.
Читать полностью »

в 14:13, , рубрики: emacs, fuse, org-mode, python, Разработка под Linux, файловая система

Разработчикам часто приходится иметь дело с файлами, представляющими из себя
древовидную структуру: XML, JSON, YAML, всякого рода языки разметки вроде
Markdown или Org-mode. Облегчая в общем и целом нашу жизнь, такие файлы имеют
склонность к бесконтрольному росту, в какой-то момент из решения превращаясь в
проблему.

Стандартное решение этой проблемы — разбиение на меньшие файлы. Это, конечно,
работает, но не всегда удобно.

Но существует и альтернатива, о которой — ниже.

Читать полностью »

в 12:07, , рубрики: best practice, best practices, docker, file system, file systems, filesystem, filesystems, image, images, space, виртуализация, Настройка Linux, образ, образы, Разработка под Linux, системное администрирование, файловая система, файловые системы

Предлагаю вашему вниманию перевод статьи What are Docker none:none images? из блога Project Atomic.

Последние несколько дней я потратил на упражнения с образами Docker <none>:<none>. Чтобы объяснить, что они собой представляют, и что могут натворить, я пишу этот пост, в котором ставлю вопросы:

  1. Что собой представляют образы Docker <none>:<none> ?
  2. Что собой представляют обособленные (dangling) образы ?
  3. Почему я вижу кучу образов <none>:<none>, когда делаю docker images -a ?
  4. В чем разница между docker images и docker images -a ?

Прежде чем я начну отвечать на вопросы, запомните, что есть два вида образов <none>:<none>: хорошие и плохие.Читать полностью »

в 9:21, , рубрики: APFS, apple, Apple File System, MacOS, MacZFX, open source, OpenZFS, OS X, zfs, атомарность, информационная безопасность, операционные системы, файловая система, метки:

64-битные иноды, атомарные транзакции, метки времени в наносекундах, клонирование директорий, встроенное шифрование

На вчерашней презентации WWDC 2016 компания Apple показала новые версии операционных систем macOS (Sierra) 10.12, iOS 10, tvOS 10, watchOS 3, приложение для обучения детей программированию Swift Playgrounds и новые эмодзи.

Казалось бы, ничего интересного. Однако, Apple всё-таки выкатила кое-что фундаментальное. Самая значительная разработка из всего упомянутого на презентации — это файловая система нового поколения Apple File System (APFS) в операционной системе macOS (Sierra) 10.12.

На сайте для разработчиков вскоре после презентации опубликована документация с основными характеристиками и описанием файловой системы, которая повторяет отдельные функции мощной свободной файловой системы ZFS.
Читать полностью »

в 10:08, , рубрики: Copy Hooks, DropBox, fuse, Kernel Authorization, Блог компании Rootwelt, бэкдор, информационная безопасность, системное программирование, файловая система, хранилища данных, ядро

Dropbox объяснил, почему внедряется в ядро операционной системы - 1

Ровно месяц назад Dropbox анонсировал Dropbox Infinite — «революционно новый способ доступа к вашим файлам», как писала компания в корпоративном блоге. В демонстрационном видео показали, что десктопный клиент Dropbox предоставляет прямой доступ к облачному хранилищу файлов на уровне файловой системы, без необходимости запускать браузер. Локальный диск «увеличивается» на размер облачного хранилища, файлы доступны напрямую. Облачное хранилище может быть больше по размеру, чем локальный диск. Сейчас компания раскрыла технические подробности, как работает эта функция.

Сразу после первого анонса эксперты высказали опасения, что Project Infinite откроет доступ в систему посторонним, если они найдут уязвимости в клиенте Dropbox. Собственное расширение ядра от Dropbox станет тогда своеобразным бэкдором в системе.
Читать полностью »

123...4
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js