В этой статье я опишу интересное решение на базе Nginx для случая, когда дисковая система становится узким местом при раздаче контента (например, видео).Читать полностью »
Рубрика «дисковая подсистема»
Дисковая балансировка в Nginx
2014-08-15 в 22:40, admin, рубрики: CDN, disk performance, hashing, Lua, nginx, видео, дисковая подсистема, дисковый массив, хэшированиеМеряем производительность накопителей или снова про IOPS
2013-02-08 в 5:02, admin, рубрики: disk performance, fio, hdd, IOPS, linux, performance tests, ssd, дисковая подсистема, Серверная оптимизация, системное администрирование, метки: disk performance, fio, hdd, IOPS, performance tests, ssd, бенчмаркинг, дисковая подсистемаНавеяно постом уважаемого amarao о том, как надо измерять производительность дисков.
Цель:
Протестировать производительность имеющихся в наличии средств хранения информации и убедиться в верности выбранной методики, а также понять разницу в производительности между разными видами накопителей, а также enterprise-level и consumer-level жёсткими дисками.
Оборудование:
- SD-карта Sandisk Class 10 UHS 1 Extreme Pro 8 GB (до 95 Мбайт/с чтение, до 90 Мбайт/с запись)
- SD-карта Team Class 10 32 GB (до 20 Мбайт/с)
- SD-карта Transcend 2GB без класса скорости
- SATA-диск consumer-level Hitachi Deskstar HDS723020BLA642 2 ТБ 7200 об/мин, 64 Мбайт
- SATA-диск enterprise-level Western Digital RE3 WD2502ABYS-23B7A0 250 GB 7200 об/мин 16 Мбайт
- SATA-диск consumer-level Seagate Barracuda 7200.11 ST3320613AS 320 GB 7200 об/мин 16 Mбайт
- CD-ROM
- RAM-диск /dev/ram в Linux
Методика тестирования:
Методика полностью описана в посте. Есть правда несколько не совсем понятных моментов:
Мы подбираем такую глубину параллельности операций, чтобы latency оставалось в разумных пределах.
Задача подобрать такой iodepth, чтобы avg.latency была меньше 10мс.
Так как в тестировании используется не СХД и не диски SAS, а различные накопители SATA, то параллельность нам измерять нету смысла.
Очищать диск перед каждым тестированием (dd if=/dev/zero of=/dev/sdz bs=2M oflag=direct) очень времязатратно, поэтому будет это делать перед тестированием один раз на каждый накопитель.
Тестировать весь диск полностью очень времязатратно, поэтому будем использовать тестирование в течении 30 секунд.
Итак, сформулируем методику тестирования для нашего случая:
Получить значение IOPS, выдаваемое накопителем при произвольном чтении и записи блоками по 4 Кбайт и задержке avg.latency не более 10 мс за время теста в 30 секунд. Также для полноты картины измерим скорость линейной записи.Читать полностью »
Как правильно мерять производительность диска
2012-10-11 в 10:10, admin, рубрики: disk performance, fio, hdd, IOPS, linux, NAS, performance tests, SAN, ssd, дисковая подсистема, Серверная оптимизация, системное администрирование, СХД, метки: disk performance, fio, hdd, IOPS, NAS, performance tests, SAN, ssd, бенчмаркинг, дисковая подсистема, СХДabstract: разница между текущей производительностью и производительностью теоретической; latency и IOPS, понятие независимости дисковой нагрузки; подготовка тестирования; типовые параметры тестирования; практическое copypaste howto.
Предупреждение: много букв, долго читать.
Лирика
Очень частой проблемой, является попытка понять «насколько быстрый сервер?» Среди всех тестов наиболее жалко выглядят попытки оценить производительность дисковой подсистемы. Вот ужасы, которые я видел в своей жизни:
- научная публикация, в которой скорость кластерной FS оценивали с помощью dd (и включенным файловым кешем, то есть без опции direct)
- использование bonnie++
- использование iozone
- использование пачки cp с измерениема времени выполнения
- использование iometer с dynamo на 64-битных системах
Это всё совершенно ошибочные методы. Дальше я разберу более тонкие ошибки измерения, но в отношении этих тестов могу сказать только одно — выкиньте и не используйте.