Метка «zfs»

в 18:46, , рубрики: linux, open source, oracle, zfs, файловая система, метки: , , ,

OpenZFS: по настоящему открытый преемник ZFSСегодня организация OpenZFS объявила об официальном запуске одноимённого проекта OpenZFS. Он должен гарантировать светлое будущее для файловой системы ZFS, которая сейчас находится в руках Oracle.

ZFS (Zettabyte File System) — 128-битная файловая система, созданная в Sun Microsystems в 2004 году. Она объединяет концепции файловой системы, менеджера логических дисков и физических носителей, новаторскую структуру данных на дисках, легковесные файловые системы, а также простое управление томами хранения данных. ZFS не без оснований называют самой продвинутой в мире файловой системой.

Проект OpenZFS создан для продвижения файловой системы на различных операционных системах, для организации более эффективного сотрудничества разработчиков, улучшения документации, проведения конференций, встреч и онлайнового общения. Сразу же создан и почтовый список рассылки.
Читать полностью »

в 2:37, , рубрики: illumos, open source, vdev, zfs, метки: , ,

В первой части я описал как организованы данные на vdev в ZFS. Вторая часть описывает как работает алгоритм выбора собственно места, куда запись будет идти в данный момент.

Здесь я немного усложню задачу — в первой части был описан только один vdev; здесь их у нас будет несколько, поскольку алгоритм должен выбрать и vdev, куда мы будем писать блок данных, и metaslab внутри vdev'a. В продакшн системе может быть несколько десятков vdev, и правильно распределить данные по ним критично — перебалансировать их мы уже не сможем без копирования всех данных. Цель правильного алгоритма — распараллелить данные так, чтобы на каждом девайсе их было примерно одинаковое количество, выровнять неравномерное заполнение, но и не перегрузить один из девайсов (это будет тормозить запись на весь пул).

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          c1t6d0    ONLINE       0     0     0
          c1t5d0    ONLINE       0     0     0

Для начала, важное замечание: ZFS рассчитан на то, что все девайсы в пуле имеют одинаковый размер. Иначе, например если добавить 2Тб диск в пул из 1Тб дисков, на 2Тб диске в результате окажется в два раза больше данных, и он начнёт влиять на суммарный IOPs системы — алгоритм аллокатора учитывает процент заполнения, а не количество данных в байтах.

На данный момент в ZFS есть четыре алгоритма аллокатора. Переменная zfs_metaslab_ops содержит поинтер на структуру space_map_ops_t, в которой есть поинтеры на семь функций, которые использует каждый конкретный алгоритм. Например, в Illumos используется алгоритм metaslab_df, и соответствующий стракт с поинтерами на функции выглядит вот так: Читать полностью »

в 2:28, , рубрики: illumos, vdev, zfs, метки: , ,

Vdev, или Virtual Device — это базовая единица, на которой строится массив данных ZFS (zpool). Для работы ZFS необходим как минимум один vdev — виртуальное устройство, которое позволяет случайный доступ к информации на уровне блоков.

Обычно, в качестве таких блоков используются целые диски или iScsi/FC LUNы (raw-disk vdev), но можно также использовать разделы дисков или файлы. Целые диски предпочтительнее, так как для них ZFS использует onboard write cache, в результате чего производительность записи может значительно улучшиться. Я пока не буду объяснять разницу между logical vdev и leaf vdev — это топик для отдельной статьи про то как работает RaidzN и zfs mirror.

src.illumos.org/source/xref/illumos-gate/usr/src/uts/common/fs/zfs/vdev_disk.c#314

if (vd->vdev_wholedisk == 1) 
{
	int wce = 1;
	/*
	 * If we own the whole disk, try to enable disk write caching.
	 * We ignore errors because it's OK if we can't do it.
	 */
	(void) ldi_ioctl(dvd->vd_lh, DKIOCSETWCE, (intptr_t)&wce, FKIOCTL, kcred, NULL);
}

В описании структуры виртуального устройства можно посмотреть какие параметры используются для чего, но я не собираюсь давать объяснение каждому — цель статьи — описание собственно того как ZFS хранит и пишет данные.

Каждый vdev разделен на логические разделы (metaslab), Читать полностью »

в 10:44, , рубрики: raid10, zfs, системное администрирование, метки: ,

Добрый день!

Подскажите, пожалуйста, есть ли у кого-то данные тестирования скорости работы zfs в конфигурации RAID10 в сравнении с RAID-z + SSD в качестве ZIL? В сервер можно установить максимум 4 диска, нужно придумать максимально компромиссный между скоростью и надежностью вариант. Будет два типа серверов: на SATA — максимальный объем, на SAS — скорость + объем (везде — максимум 4 диска, напомню). Что сделать для максимальной производительность в каждом варианте: поставить все в RAID10 или таки 3 диска в RAID-z и включить четвертым SSD на 120Гб в качестве ZIL? Серверы в первую очередь будут использоваться в качестве хранилищ для контейнеров виртуальных машин.

Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js