Эта статья, еще одна попытка переосмысления метапрограммирования, которые я периодически предпринимаю. Идея каждый раз уточняется, но в этот раз удалось подобрать достаточно простых и понятных примеров, которые одновременно очень компактны и иллюстративны, имеют реальное полезное применение и не тянут за собой библиотек и зависимостей. В момент публикации я буду докладывать эту тему на ОдессаJS, поэтому, статью можно использовать, как место для вопросов и комментариев к докладу. Формат статьи дает возможность более полно изложить материал, чем в докладе, слушатели которого, не освобождаются от прочтения.
Популярное понимание метапрограммирования обычно очень размытое, и чаще всего, заканчивается такими вариантами:
- Шаблоны и макросы, используемые при компиляции
- Программа, которая изменяет саму себя
- Программа, генерирующая другую программу
Предлагаю следующее определение:
Метапрограммирование — это парадигма программирования, построенная на программном изменении структуры и поведения программ.
И дальше мы разберем как это работает, зачем это нужно и какие преимущества и недостатки мы получаем в итоге.
Что такое моделирование?
Понятие метапрограммирования тесно связано с моделированием, потому, что сам метод подразумевает повышение уровня абстракции моделей за счет вынесения метаданных из модели. В результате чего мы получаем метамодель и метаданные. Во время раннего или позднего связывания (при компиляции, трансляции или работе программы) мы из метамодели и метаданных опять получаем модель автоматическим программным способом. Созданная модель может меняться многократно, без изменения программного кода метамодели, а часто, даже без остановки программы.
Удивительно, но человек способен успешно решать задачи, сложность которых превышает возможности его памяти и , при помощи построения моделей и абстракций. Точность этих моделей определяет их пользу для принятия решений и выработки управляющих воздействий. Модель всегда не точна и отображает только малую часть реальности, одну или несколько ее сторон или аспектов. Однако, в ограниченных условиях использования, модель может быть неотличимой от реального объекта предметной области. Есть физические, математические, имитационные и другие виды моделей, но нас будут интересовать, в первую очередь, информационные модели данных и модели программной логики. Парадигмы программирования, это и есть модели программной логики, например, императивное, декларативное, функциональное, событийное. Нашей же задачей, как программистов, можем обозначить не написание кода, а, в первую очередь, построение моделей и абстракций. Таким образом, метапрограммирование позволяет нам поднять уровень абстракции в моделях, что делает их универсальнее, а нашу работу значительно интереснее.
Что такое метапрограммирование?
Метапрограммирование — это не что-то новое, вы всегда его использовали, если имеете опыт практического программирования на любом языке и в любой прикладной сфере применения. Все парадигмы программирования, по крайней мере, для ЭВМ фоннеймановской архитектуры, так или иначе наследуют основные принципы моделирования от этой архитектуры. Самый важный принцип архитектуры фон Неймана, это смешивание данных и команд, определяющих логику обработки данных, в одной универсальной памяти. То есть, отсутствие принципиальной разницы между программой и данными. Это дает множество последствий, во-первых, машине нужно различать где команда, а где число и какая его разрядность и тип, где адрес, а где массив, где строка, а где длина этой строки, в какой кодировке она представлена и т.д., вплоть до сложных конструкций, как объекты и области видимости. Все это определяется метаданными, без метаданных вообще ничего не происходит в языках программирования для фоннеймановской архитектуры. Во-вторых, программа получает доступ к памяти, в которой хранится она сама, другие программы, их исходный код, и может обрабатывать код как данные, что позволяет делать трансляцию и интерпретацию, автоматизированное тестирование и оптимизацию, интроспекцию и отладку, динамическое связывание и многое другое.
Определения:
Метаданные — это данные, о данных. Например тип переменной, это метаданные переменной, а названия и типы параметров функции, это метаданные этой функции.
Интроспекция — механизм, позволяющий программе во время работы получать метаданные о структурах памяти, включая метаданные о переменных и функциях, типах и объектах, классах и прототипах.
Динамическое связывание (или позднее связывание) — это обращение к функции через идентификатор, который превращается в адрес вызова только на этапе исполнения.
Метамодель — модель высокого уровня абстрактности, из которой вынесены метаданные, и которая динамически порождает конкретную модель при получении метаданных.
Метапрограммирование — это парадигма программирования, построенная на программном изменении структуры и поведения программ.
Итак, нельзя начать применять метапрограммирование с сегодняшнего дня, но можно осознать, проанализировать и применять инструмент осознанно. Это парадоксально, но многие стремятся разделить данные и логику, используя фоннеймановскую архитектуру. Между тем, их следует не разделять, а правильным способом объединить. Есть и другие архитектуры, например, аналоговые решатели, цифровые сигнальные процессоры (DSP), программируемые логические интегральные схемы (ПЛИС), и другие. В этих архитектурах, вычисления производятся не императивно, то есть, не последовательностью операций обработки, заданной алгоритмом, а параллельно работающими цифровыми или аналоговыми элементами, в реальном времени реализующими множество математических и логических операций и имеющими уже готовый ответ в любой момент. Это аналоги реактивного и функционального программирования. В ПЛИС коммутация схем происходит при перепрограммировании, а в DSP императивная логика управляет мелкой перекоммутацией схем в реальном времени. Метапрограммирование возможно и для систем с неимперативной или гибридной логикой, например, я не вижу причины, чтобы одна ПЛИС не могла перепрограммировать другую.
Теперь рассмотрим обобщенную модель, показанную на схеме программного модуля. Каждый модуль обязательно имеет внешний интерфейс и программную логику. А такие компоненты, как конфигурация, состояние и постоянная память, могут как отсутствовать, так и играть основную роль. Модуль получает запросы от других модулей, через интерфейс и отвечают на них, обмениваясь данными в определенных протоколах. Модуль посылает запросы к интерфейсам других модулей из любого места своей программной логики, поэтому входящие связи объединены интерфейсом, а исходящие рассеяны по телу модуля. Модули входят в состав более крупных модулей и сами строятся из нескольких или многих подмодулей. Обобщенная модель подходит для модулей любого масштаба, начиная от функций и объектов, до процессов, серверов, кластеров и крупных информационных систем. При взаимодействии модулей, запросы и ответы — это данные, но они обязательно содержат метаданные, которые влияют на то, как модуль будет обрабатывать данные или как он указывает другому модулю обрабатывать данные.
Обычно, набор метаданных ограничивается тем, что протокол обязательно требует для считывания структуры передаваемых данных. В двоичных форматах метаданных меньше, чем в синтаксических форматах, применяемых для сериализации данных (как, например, JSON и MIME). Информация о структуре двоичных форматов, по большей части находится у принимающего модуля в виде struct (структур для C, C++, C# и др. языках) или «зашита» в логику интерпретирующего модуля другим способом. Разделить, где заканчивается обработка данных с использованием метаданных и начинается метапрограммирование, достаточно сложно. Условно, можно определить такой критерий: когда метаданные не просто описывают структуры, а повышают абстракцию программного кода в модуле, интерпретирующем данные и метаданные, вот тут начинается метапрограммирование. Другими словами, когда происходит переход от модели, к метамодели. Основным признаком такого перехода, является расширение универсальности модуля, а не расширение универсальности протокола или формата данных. На схеме справа показано, как из данных выделяются метаданные и заходят в модуль, меняя его поведение при обработке данных. Таким образом, абстрактная метамодель, содержащаяся в модуле на этапе исполнения превращается в конкретную модель.
Прежде чем приступить к рассмотрению техник и приемов метапрограммирования, я бы хотел привести одну цитату, которую всегда привожу, если речь заходит о метапрограммировании. Она наталкивает на мысль, что метапрограммирование, это отражение такого фундаментального закона, на котором основаны вообще все кибернетические системы. То есть системы «живые», в которых происходит управление, коррекция поведения и параметров деятельности при помощи регулирования с обратной связью. Это позволяет системам воспроизводить свое состояние и структуру в разных условиях и с разными модификациями, сохраняя существенное и варьируя поведение, в том числе и порождая производные системы для этого.
«Вот что я имею в виду под производящим произведением или, как я называл его в прошлый раз, «opera operans». В философии существует различение между «natura naturata» и «natura naturans» – порожденная природа и порождающая природа. По аналогии можно было бы образовать – «cultura culturata» и «cultura culturans». Скажем, роман «В поисках утраченного времени» строится не как произведение, а как «cultura culturans» или «opera operans». Это и есть то, что у греков называлось Логосом.»
// Мераб Мамардашвили «Лекции по античной философии»
Как работает метапрограммирование?
Исходя из определения, нужно разобрать следующие три вопроса:
- Когда происходят изменения?
- Что именно изменяется?
- При помощи чего происходят изменения?
Когда происходят изменения: метапрограммирование времени разработки, это, например, когда IDE анализирует ваш код, как данные, помогая его модифицировать, подсказывая имена объектов и функций, их типы и даже генерирует шаблоны или автоматически строит блоки кода из схем или визуальных средств моделирования, например, в визуальных редакторах интерфейсов пользователя, баз данных и других CAD/CAM средств автоматизированной разработки. Примеры изменений времени компиляции: трансляторы, в том числе для создания типизированных алгоритмов из нетипизированных и для генерации кода из языка с более высоким уровнем абстракции в язык, исполняемый в конкретной среде, вплоть до ОС и аппаратной платформы. Но нас больше интересует изменение поведения программ во время их работы, это мы и рассмотрим подробнее ниже.
Итак, предлагаю следующую классификацию метапрограммирования по времени изменений поведения и структуры:
- во время разработки (Design time)
- во время компиляции (Compile time)
- во время работы приложения (Run time)
- во время выполнения задачи (Just-in-Time)
- между задачами (Lazy)
- по времени (Timer)
- по внешнему вызову (Pull)
- по событию (Push)
Производить интерпретацию и связывание Just-in-Time, не самый лучший способ, но иногда он единственный возможный, если метаданные приходят одновременно с данными. Но метаданные, все же, меняются реже, чем происходят запросы, поэтому модель можно строить заранее и кешировать ее в ожидании запросов и данных. Обновлять модель при конкретных вызовах, для минимизации обращений или можно периодически опрашивать источник хранения метаданных, на предмет их изменения. Лучше всего, конечно иметь канал уведомлений от источника, чтобы он инициировал обновление по принципу выталкивания (push).
Что именно изменяется?
- типы данных и структуры данных;
- идентификаторы (имена классов, типов, переменных, как внутри модуля, так и имена, по которым модуль обращается к другим модулям);
- вызовы (имена функций и методов, динамическое связывание, в том числе с использованием паттерна stub/skeleton при котором, в одном модуле строится stub, представляющий объект, класс или функцию, находящуюся в адресном пространстве удаленного модуля, таким образом, чтобы все обращения к stub были идентичны удаленным обращениям);
- параметры алгоритмов обработки данных или параметры моделей, которые могут варьироваться;
- подстановка выражений, формул и логических выражений, регулярных выражений и т.д.;
- динамически интерпретируется сам код (метаданные обычно декларативные, но это не обязательно, они могут быть императивными или могут содержать фрагменты императивного кода);
- сериализация/десериализация данных, объектов и классов, а так же маршалинг с коррекцией кода при передаче из одного модуля в другой (обычно коррекцией адресов, но могут быть другие коррекции).
При помощи чего происходят изменения?
- Парсинг и трансляция синтаксических структур (с разбором строковыми операциями или регулярными выражениями).
- Доступ к идентификаторам по имени или индексу (в том числе к параметрам объектов, ассоциативным массивам и т.д.).
- Полная интроспекция (см. определение выше, если понятие непривычное).
- Индивидуация объектов первого класса (основной способ):
- функций, через замыкания;
- объектов, через динамическое создание и примеси;
- всеми мыслимыми и немыслимыми средствами, которые предоставляет язык программирования.
Для чего нам нужно метапрограммирование?
Теперь мы можем выделить основные задачи и случаи, когда метапрограммирование существенно упрощает реализацию или вообще делает решение возможным:
- Расширение функциональности, повышение универсальности ПО.
- Динамические предметные области, когда изменения являются штатным режимом.
- Упрощение межсистемной интеграции, это отдельная тема, но очень помогает.
Пример 1
Рассмотрим самый простой пример выделения метаданных из модели и построения метамодели (см. пример на github). Сначала определим задачу примера: есть массив строк, нужно отфильтровать их по определенным правилам: длина подходящих строк должна быть от 10 до 200 символов включительно, но исключая строки длиной от 50 до 65 символов; строка должна начинаться на «Mich» и не начинаться на «Abu»; строка должна содержать «V» и не содержать «Lev»; строка должна заканчиваться на «ov» и не должна заканчиваться на «iov». Определим данные для примера:
var names = [
"Marcus Aurelius Antoninus Augustus",
"Darth Vader",
"Victor Michailovich Glushkov",
"Gottfried Wilhelm von Leibniz",
"Mao Zedong",
"Vladimir Sergeevich Soloviov",
"Ibn Arabi",
"Lev Nikolayevich Tolstoy",
"Muammar Muhammad Abu Minyar al-Gaddafi",
"Rene Descartes",
"Fyodor Mikhailovich Dostoyevsky",
"Benedito de Espinosa"
];
Реализуем логику без метапрограммирования:
function filter(names) {
var result = [], name;
for (var i=0; i<names.length; i++) {
name = names[i];
if (
name.length>=10 && name.length<=200 &&
name.indexOf("Mich") > -1 &&
name.indexOf("V") === 0 &&
name.slice(-2) == "ov" &&
!(
name.length>=50 && name.length<=65 &&
name.indexOf("Abu") > -1 &&
name.indexOf("Lev") === 0 &&
name.slice(-3) == "iov"
)
) result.push(name);
}
return result;
}
Выделяем метаданные из модели решения задачи и формируем их в отдельную структуру:
var conditions = {
length: [10, 200],
contains: "Mich",
starts: "V",
ends: "ov",
not: {
length: [50, 65],
contains: "Abu",
starts: "Lev",
ends: "iov"
}
};
Строим метамодель:
function filter(names, conditions) {
var operations = {
length: function(s,v) { return s.length>=v[0] && s.length<=v[1] },
contains: function(s,v) { return s.indexOf(v) > -1 },
starts: function(s,v) { return s.indexOf(v) === 0 },
ends: function(s,v) { return s.slice(-v.length) == v },
not: function(s,v) { return !check(s,v) }
};
function check(s, conditions) {
var valid = true;
for (var key in conditions) valid &= operations[key](s, conditions[key]);
return valid;
}
return names.filter(function(s) { return check(s, conditions); });
}
Преимущество решения задачи при помощи метапрограммирования очевидно, мы получили универсальный фильтр строк, с конфигурируемой логикой. Если фильтрацию нужно провести не один раз, а несколько, на одной и той же конфигурации метаданных, то метамодель можно обернуть в замыкание и получить кеширование индивидуированной функции для ускорения работы.
Пример 2
Второй пример мы будем сразу писать при помощи метапрограммирования (см. пример на github), потому, что если я представлю себе его размеры в размеры в говнокоде, то мне становится страшно. Описание задачи: нужно делать HTTP GET/POST запросы с определенных URLов или загружать данные из файлов и передавать полученные или считанные данные через HTTP PUT/POST на другие URLы и/или сохранять их в файлы. Таких операций будет несколько и их нужно производить с различными интервалами времени. Задачу можно описать в виде метаданных следующим образом:
var tasks= [
{ interval:5000, get:"http://127.0.0.1/api/method1.json", expect:"OK", save:"file1.json" },
{ interval:"8s", get:"http://127.0.0.1/api/method2.json", put:"http://127.0.0.1/api/method4.json", save:"file2.json" },
{ interval:"7s", get:"http://127.0.0.1/api/method3.json", expect:"Done", post:"http://127.0.0.1/api/method5.json" },
{ interval:"4s", load:"file1.json", expect:"OK", put:"http://127.0.0.1/api/method6.json" },
{ interval:"9s", load:"file2.json", post:"http://127.0.0.1/api/method7.json", save:"file1.json" },
{ interval:"3s", load:"file1.json", save:"file3.json" },
];
Решаем задачу при помощи метапрограммирования:
function iterate(tasks) {
function closureTask(task) {
return function () {
console.dir(task);
var source;
if (task.get) source = request.get(task.get);
if (task.load) source = fs.createReadStream(task.load);
if (task.save) source.pipe(fs.createWriteStream(task.save));
if (task.post) source.pipe(request.post(task.post));
if (task.put) source.pipe(request.put(task.put));
}
};
for (var i=0; i<tasks.length; i++) setInterval(closureTask(tasks[i]), duration(tasks[i].interval));
}
Видим, что мы написали «красивые столбики» и можно произвести еще одну свертку, вынеся метаданные уже внутри метамодели. Как будет выглядеть метамодель, конфигурируемая метаданными:
function iterate(tasks) {
// Metamodel configuration metadata
//
var sources = {
get: request.get,
load: fs.createReadStream
};
var destinations = {
save: fs.createWriteStream,
post: request.post,
put: request.put
};
// Metamodel logic
//
function closureTask(task) {
return function () {
console.dir(task);
var verb, source, destination;
for (key in sources) if (task[key]) source = sources[key](task[key]);
for (key in destinations) if (task[key]) source.pipe(destinations[key](task[key]));
}
}
for (var i=0; i<tasks.length; i++) setInterval(closureTask(tasks[i]), duration(tasks[i].interval));
}
Замечу, что в примере используются замыкания для индивидуации тасков.
Пример 3
Во втором примере используется функция duration, возвращающая значение в миллисекундах, которую мы не рассмотрели. Эта функция интерпретирует значение интервала, заданное как строка в формате: "Dd <H>h <M>m <S>s", например «1d 10h 7m 13s», каждый компонент которого опциональный, например «1d 25s», если функция получает число, то она его и отдает, это нужно для удобства задания метаданных, если мы задаем интервал напрямую в миллисекундах.
// Parse duration to seconds, example: duration("1d 10h 7m 13s")
// Parse duration to seconds
// Example: duration("1d 10h 7m 13s")
//
function duration(s) {
var result = 0;
if (typeof(s) == 'string') {
var days = s.match(/(d+)s*d/),
hours = s.match(/(d+)s*h/),
minutes = s.match(/(d+)s*m/),
seconds = s.match(/(d+)s*s/);
if (days) result += parseInt(days[1])*86400;
if (hours) result += parseInt(hours[1])*3600;
if (minutes) result += parseInt(minutes[1])*60;
if (seconds) result += parseInt(seconds[1]);
result = result*1000;
} if (typeof(s) == 'number') result = s;
return result;
}
Теперь реализуем интерпретацию, конфигурируемую метаданными:
function duration(s) {
if (typeof(s) == 'number') return s;
var units = {
days: { rx:/(d+)s*d/, mul:86400 },
hours: { rx:/(d+)s*h/, mul:3600 },
minutes: { rx:/(d+)s*m/, mul:60 },
seconds: { rx:/(d+)s*s/, mul:1 }
};
var result = 0, unit, match;
if (typeof(s) == 'string') for (var key in units) {
unit = units[key];
match = s.match(unit.rx);
if (match) result += parseInt(match[1])*unit.mul;
}
return result*1000;
}
Пример 4
Теперь посмотрим на метапрограммирование с интроспекцией, примененное для интеграции модулей. Сначала определим удаленные методы на клиенте при помощи такой структуры и покажем, как использовать данные вызовы при написании прикладной логики:
var ds = wcl.AjaxDataSource({
read: { get: "examples/person/read.json" },
insert: { post: "examples/person/insert.json" },
update: { post: "examples/person/update.json" },
delete: { post: "examples/person/delete.json" },
find: { post: "examples/person/find.json" },
metadata: { post: "examples/person/metadata.json" }
});
ds.read({ id:5 }, function(err, data) {
data.phone ="+0123456789";
ds.update(data, function(err) {
console.log('Data saved');
});
});
Теперь проведем инициализацию из метаданных, получаемых из другого модуля и покажем, что прикладная логика не изменилась:
var ds = wcl.AjaxDataSource({
introspect: { post: "examples/person/introspect.json" }
});
ds.read({ id:3 }, function(err, data) {
data.phone ="+0123456789";
ds.update(data, function(err) {
console.log('Data saved');
});
});
В слудующем примере мы создадим локальный источник данных с таким же интерфейсом, как и у удаленного и покажем, что прикладная логика так же не изменилась:
var ds = wcl.MemoryDataSource({ data: [
{ id:1, name:"Person 1", phone:"+380501002011", emails:[ "person1@domain.com" ], age: 25 },
{ id:2, name:"Person 2", phone:"+380501002022", emails:[ "person2@domain.com", "person2@domain2.com" ], address: { city: "Kiev", street:"Khreschatit", building: "26" } },
{ id:3, name:"Person 3", phone:"+380501002033", emails:[ "person3@domain.com" ], tags: [ {tag:"tag1", color:"red"}, {tag:"tag2", color:"green"} ] },
]});
ds.read({ id:3 }, function(err, data) {
data.phone ="+0123456789";
ds.update(data, function(err) {
console.log('Data saved');
});
});
Выводы
Приемы метапрограммирования
- Стиль описания задачи: декларативный (метаданные), использование императивных и функциональных вставок
- Хеши (ассоциативные массивы) заранее не знаем ключ: var a = {}; a[key] = value;
- Интерпретация строк, придумываем свои синтаксисы или берем общепринятые (json, js, regexp ...)
- Примеси (mixins): заранее не знаем куда добавим function mixin(a) { a.fn=function(){… } }
- Замыкания (closures): персонализируем функции fn = (function(a) { return function() { return a*2 } })(value)
Последствия метапрограммирования
- Размер кода: чаще резко уменьшается, но иногда может немного увеличиваться
- Быстродействие: незначительно снижаться, но при грамотной реализации остается примерно тем же
- Гибкость: программный код становится более универсальным, сфера применения ПО расширяется
- Интеграция: обычно значительно упрощается и требует меньше изменений кода
- Удовольствие от работы: метапрограммировать интереснее поэтому удовольствия и мотивации больше
- Скорость разработки: разрабатывать дольше, а поддерживать значительно проще, экономится уйма времени
Ссылки по теме
- Полные исходники примеров на Github: https://github.com/tshemsedinov/metaprogramming
- Слайды к докладу: будут скоро добавлены.
Старые статьи, чтобы проследить развитие идеи
- Метапрограммирование http://habrahabr.ru/post/137446/
- Динамическая интерпретация метамоделей http://habrahabr.ru/post/154891/
- Расширенная схема динамической интерпретации http://blog.meta-systems.com.ua/2011/01/blog-post_28.html
- Применение метамодели при проектировании баз данных с несколькими абстрактными слоями: Часть 1 http://habrahabr.ru/post/119317/
- Применение метамодели при проектировании баз данных с несколькими абстрактными слоями: Часть 1 http://habrahabr.ru/post/119885/
- Интеграция информационных систем http://habrahabr.ru/post/117468/
- Введение мета-уровеня http://blog.meta-systems.com.ua/2011/01/blog-post.html
- Метамодель в задачах интеграции информационных систем http://blog.meta-systems.com.ua/2010/07/blog-post.html
- Интеграция на уровне вызовов или мета-данных? http://blog.meta-systems.com.ua/2009/10/blog-post_18.html
- Модель и метамодель http://blog.meta-systems.com.ua/2009/10/blog-post_05.html
Автор: MarcusAurelius
