Инструмент анализа скорости PHP функций

В последнее время обращал внимание на материалы о производительности и замерах скорости функций PHP. После анализа ряда материалов был сделан следующий вывод. Сравнений довольно много, но все замеры проводятся с разными входными условиями, вывод результатов тестирования у каждого решения свой, не говоря уже о том, если появится желание проверить тесты в своей среде, то придется копипастить куски кода.

Поэтому возникла идея написать собственный механизм простого тестирования скорости различных операций. Задумка показалась интересной, поэтому начало было положено!

Цели

Начать следовало с постановки целей будущего инструмента. Проект хотелось видеть как универсальный инструмент для тестирования скорости чего угодно. Но поразмыслив над деталями и ошибками прошлого, решено было начать с малого.

Итак, требовалось получить инструмент, который:

• сравнивает скорость выполнения различных функций
• имеет возможность использования заранее подготовленных тестов
• выводит в читаемом виде результат
• имеет возможность создания собственных тестов и вариантов представления результатов
• может быть легко использован на других платформах

Механизм замеров

Для замера времени выполнения функции было решено воспользоваться подобным, методом

protected function getTime($time = false)
{
    return $time === false? microtime(true) : microtime(true) - $time;
}

Принцип действия прост, если происходит вызов без параметров, то возвращаем текущее состоянии времени, если же вызов происходит с параметром времени, тогда возвращается разница между текущим и переданным временем.

Но там где расчет времени, там же и потребляемый объем памяти, поэтому в последствии был добавлен аналогичный метод измерения потребляемой памяти.

protected function getMemory($memory = false)
{
    return $memory === false? memory_get_usage() : memory_get_usage() - $memory;
}

Механизм аналогичен механике замера времени, только в данном случае происходит передача значения выделенной памяти скрипту.

Как известно, некоторые функции ведут себя по разному в зависимости от входного набора данных, поэтому в каждом тесте определен массив входных данных для функций тестирования. Для получения наиболее точных результатов, тестирование функций проводится на каждом наборе несколько раз. Помимо прочего, тестирование проводится в разной последовательности.

В ходе экспериментов, было замечено, что объем свободной памяти перед началом каждого теста разный, хоть для большинства проводимый испытаний это было незначительным, но для порядка хотелось бы иметь условия одинаковые для всех испытаний либо близкие к таковым. Поэтому хранение результатов было решено хранить в локальном хранилище SQLite, а перед началом испытаний делать один проверочный тест для заполнения переменных данными.

Для того, чтобы иметь возможность создания собственных вариантов представления результатов и собственных вариантов теста, создано 2 модели абстракции. Модель тестов (Test), содержит всю информацию о тесте, включая функции тестирования. Модель представления данных (DataViwer) содержит методы преобразования результатов тестирования в читаемый вид. Для удобного вывода представлений был задействован шаблонизатор Twig и подключена библиотека стилей bootstrap, также создан вьювер с графиком HighCharts.

В итоге общий механизм работы такой. Берутся необходимые для сравнения функции и запускаются на выполнение с разными наборами данных и в разной последовательности. При этом происходит замер времени каждого выполнения и запись результата в хранилище. За данный этап отвечает модель теста (Test). После всех замеров происходит передача результатов в представление данных (DataViwer), где происходит обработка и вывод информации.

Реализация тестирования

Класс теста

Простой пример реализации класса теста, на примере тестирования скорости выполнения операции пред инкрементирования и пост инкрементирования.

class IncPrefVsPos extends TestAbstract 
{
    public $name = 'Speedy ++i vs i++';
    public $valueTest = [100, 1000, 2000, 3000];
    public $qntTest = 5;
    public $viewers = [TestCore::VIEWER_TLIST, TestCore::VIEWER_TGROUP, TestCore::VIEWER_TAVG, TestCore::VIEWER_GBUBLE];
    public $functions = ['postIncrement' => 'testPost', 'prefIncrement' => 'testPref'];
    protected $strategy = [['testPost', 'testPref'], ['testPref', 'testPost']];

    public function testPref($size)
    {
        $testCounter = 0;
        for($i=0;$i<$size;$i++) {
            ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
            ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
            ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
            ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
        }
    }

    public function testPost($size)
    {
        $testCounter = 0;
        for($i=0;$i<$size;$i++) {
            $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
            $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
            $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
            $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
        }
    }
}

Класс должен наследовать абстрактный класс TestAbstract, в котором заложена основная механика работы с потоками данных.

$name — задает название теста, которое может быть использовано при выводе в DataViewer.

$valueTest — объем выборки тестирования, массив значений, с каждым из которых будет выполнена функция для тестирования. Таким образом каждая тестируемая функция должна обязательно принимать один параметр. Будет он являться числом, строкой или массивом не важно, все зависит от конкретного случая. В нашем примере, достаточно чисел, которые будут обозначать объем проводимых операций с инкрементом.

$qntTest — говорит о том, какое количество раз будет протестирован каждый объем выборки.

$viewers — массив представлений данных, который будет сформирован при рендере отчета. На самом деле это набор полных имен классов наследующих абстрактный класс ViewrAbstract. Заранее подготовленные вьюверы вынесены в константы класса TestCore.

$functions — массив названий функций которые будут использоваться в тестировании. Ключами массива являются названия, которые будут отображены в результатах.

$strategy — массив стратегий тестирования, каждая стратегия должна быть представлена массивом с последовательностью имен функций. В примере указано 2 стратегии — прямой последовательности и в обратной.

Непосредственно сами функции, которые как говорилось выше, должны принимать одно значение. В нашем примере, мы считаем это за количество выполняемых операций серии инкрементирования.

В итоге получим, серию тестов где каждая стратегия тестирования будет протестирована по 5 раз с каждым объемом выборки ([100, 1000, 2000, 3000]).

Класс представления данных

Сейчас давайте подробнее рассмотрим простой класс представления данных.

class TableList extends ViewerAbstract
{
    public $view = 'tableList.php';

    public function generateData($data){
        return $data;
    }

    public function run($data)
    {
        $data = $this->generateData($data);
        return App::render('/viewer/'.$this->view, compact('data'));
    }

    public static function model($class = __CLASS__) {
        return parent::model($class);
    }
}

Класс реализует абстрактный класс ViewerAbstract.

$view — содержит имя представления, которое поумолчанию должно лежать в папке /views/viewers

function generateData($data) — метод обработки массива результатов тестирования. Результат будет передан поумолчанию в параметр data в указанное представление.

function run($data) — необязательный для реализации метод, но если необходимо изменить путь к представлению данных, то именно он должен быть переопределен.

public static function model($class = __CLASS__) — метод поддержки статического обращения к методам

Варианты использования

Чтобы воспользоваться функционалом тестирования, создано 2 основных метода.

Метод запуска теста

function test($test, $params = [], $onlyData = false)

$test — полное имя запускаемого теста. Могут быть задействованы как свои варианты тестов либо заранее подготовленные.

$params — массив параметров для запуска теста. Данным параметром можно точечно изменить параметры тестирования.

$onlyData — параметр отвечающий за вывод набора результатов либо отрендеренное представление.

Метод сравнения функций

Метод сравнения пользовательских функций без создания дополнительных классов

function compare($func = [], $params = [], $onlyData = false)

$func — массив анонимных функций, где ключи массива являются названиями функций в результатах тестирования.

$params — массив параметров тестирования, аналогичен параметрам метода test.

$onlyData — также аналогичен параметру метода test, и отвечает за вариант вывода результатов.

Примеры работы

Самый простой и быстрый вариант использования — это воспользоваться заранее подготовленным тестом. Все подготовленные тесты вынесены в константы класса Speedy.

print Speedy::test(Speedy::PHP_SOF_VS_COUNT);

Для сравнения пользовательских функций, необходимо создать анонимные функции и вызвать метод Speedy::compare

$pref =  function($size)
{
    $testCounter = 0;
    for($i=0;$i<$size;$i++) {
        ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
        ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
        ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
        ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter; ++$testCounter;
    }
};

$post = function($size)
{
    $testCounter = 0;
    for($i=0;$i<$size;$i++) {
        $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
        $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
        $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
        $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++; $testCounter++;
    }
};
print speedySpeedy::compare(['pref' => $pref, 'post' => $post]);

Результаты тестирования

Результаты тестирования на данный момент могут быть выведены 4мя представлениями.

VIEWER_TLIST

Представление в табличной форме списка всех произведенных замеров времени. По сути это вывод всех записей из хранилища, без каких-либо преобразований. В наборе данных содержится информация о имени тестируемой функции, затраченном времени, объему выборки, используемому объему памяти, номер партии в которой выполнялся тест и комментарий. В комментарии указывается в рамках какой стратегии был выполнен тест данной функции.

VIEWER_TGROUP

Представление в табличной форме в виде сгруппированных данных по партии тестирования (по номеру прохода по стратегии), т.е. в одной строке окажутся результаты тестирования функций которые проводились в рамках одной стратегии и в рамках одного прохода теста.

В столбцах таблицы будут отображены данные о размере выборки, времени выполнения, проценту скорости от худшего результата, затраченной памяти, комментария и названия функции, которая стала победителем по времени среди текущего прохода. Отдельно хотелось бы пояснить столбец процента. Данное значение высчитывается как процент, на сколько по времени функция опередила выполнение самой медленной функции. Если значение не установлено, значит эта функция по времени выполнения является аутсайдером в проходе.

VIEWER_TAVG

Представление в табличной форме в виде усредненных показателей по размеру выборки, т.е. в одной строке окажутся средние показатели тестирования функций по одной выборке.

В столбцах представлена информация по количеству побед функции в выборке, средний процент времени побед, имя функции-победителя. Функции-победитель — определяется количеством побед в выборке.

VIEWER_GBUBLE

Представление в графической форме в виде набора точек, каждая из которых соответствует значению времени и объему выборки. Данное представление реализовано при помощи графиков HighCharts.

Пример вывода результатов в графическом виде

Результат тестирования операторов инкрементирования.

Итоги

Подытожить хотелось бы тем, что поставленные цели были достигнуты. Но конечно же еще есть над чем поработать. В планах работа над обработкой исключений, добавление возможности смены в настройках набора столбцов а также возможность задавать собственные имена столбцам, увеличение количества тестов. Также хотелось бы добавить возможность удобного тестирования скорости работы с базами данных.

Исходный код проекта можно смотреть здесь

P.S.: Данный проект разрабатывается в рамках личного интереса к данной теме и не претендует на место лучшего в своем роде. Буду рад, если кому-то понравится и будет полезен данный труд. Конструктивная критика и советы приветствуются.

Автор: IIISpikerIII

Источник