Physics-based и data-driven моделирование

Data-driven модели

В этом посту поговорим про различия в двух подходах моделирования, а именно, чем отличаются физически обоснованные модели от моделей, основанных на данных. На самом деле между этими двумя понятиями есть и кое-что среднее, что становится актуальнее в решении научных задач. Но об этом позже. 

Итак, начнем с моделей, основанных на данных. Такого рода модели встречаются почти на каждом шагу. Любая задача машинного обучения, будь то регрессия (например, предсказание цен на товары), классификация (определение маркера болезни по данным об анализах пациента), рекомендация (определение более подходящего видео в вашей ленте), сегментация (определение объектов на фото или видео) и т. д. Задач машинного обучения достаточно много, но все они требуют одного - данных.

В этом классе моделей требуется собрать подходящий набор данных, обработать его (например, убрать различные аномалии или трансформировать переменные), определиться с типом задачи, выбрать модель для этого типа задачи и подать данные на вход. И, наконец, обучить модель, подбирая оптимальным образом весовые коэффициенты. 

Модели, основанные на данных, по факту являются статистическими моделями, которые наилучшим образом аппроксимируют неизвестную зависимость. Во многих задачах неизвестны закономерности между независимыми переменными и результирующим признаком или признаками. Они либо сложны для описания, либо у нас нет четкой формулы для получения ответа. Именно здесь такие статистические модели приходят на помощь.

Physics-based модели

Физически обоснованные модели — модели, которые опираются внутри себя на законы физики. Такие модели обычно записываются в виде математических уравнений и имеют достаточно строгое описание переменных и закономерностей между ними. Собственно, любая физическая теория состоит из большого числа моделей для описания тех или иных явлений. 

Рассмотрим простой пример — колебание маятника. Для описания положения маятника достаточно использовать одну обобщенную координату, а именно угол отклонения от вертикали . Не будем заниматься выводом уравнения, а сразу выпишем его

где — ускорение (производная второго порядка по времени), — ускорение свободного падения и — длина подвеса маятника. Решая данное уравнение, мы получим выражение для определения угла как функции времени.

Таким образом физически обоснованная модель дает четкое представление о поведении системы или хотя бы позволяет качественно исследовать уравнение.

Гибридные модели

Пусть тайное станет явным. Опишем еще один тип моделей, который собирает в себе лучшее из двух миров.

Гибридные модели — модели, которые используют данные и одновременно опираются на физику рассматриваемого явления. В области глубокого обучения хорошо известны PINNs — Physics-Informed Neural Networks. Не стоит путать их с physics-based моделями.

PINNs помогают решать задачи разного характера. Например, можно определить неизвестные параметры уравнения, а можно вывести неоднородность, которая отвечает за возмущение уравнения. Но они в любом случае опираются на точки данных, как и любая нейронная сеть. Только данными тут выступают сетки координат переменных (в которых вычисляются производные при помощи методов автоматического дифференцирования) или граничные точки уравнения.

Помимо PINNs хорошо известна концепция нейронных дифференциальных уравнений (NeurlaODE), а также модель Sindy.

Большое преимущество гибридных моделей состоит в том, что мы можем варьировать качество предсказания в зависимости от интерпретируемости нашей модели. Можно построить гибридную модель так, что она не будет отличима от physics-based модели, но при этом мы будем ограничены только теми свойствами и предсказаниями, которые закладывает модель. А можно собрать побольше данных и не сильно заботится о точном удовлетворении законов физики, а лишь заставить модель следовать схожему тренду. Тогда модель сможет уловить и скрытые закономерности в данных и дать нам инсайты.

Сравнение

На рисунке 1 продемонстрированы три типа моделей. В области большого количества данных располагаются data-driven модели. При этом они обладают низким уровнем интерпритируемости и не опираются на физику явления. Напротив, physics-based модели не требует данных вовсе для нахождения зависимостей. Как правило эти зависимости определяются из решения соответствующих уравнений. По середине распалагаются гибридные модели, так как они способны обработать информацию из данных и при этом воспользоваться физическими законами. Справа на рисунке представлен типичный пример data-driven модели — нейронная сеть с двумя скрытыми слоями.

Рисунок 2 демонстрирует физическую модель — уравнения Максвелла, которые описывают электромагнитное поле. Вся модель формулируется при помощи системы из четырех дифференциальных уравнений в векторной форме.

Наконец, рисунок 3 показывает различные типы гибридных моделей. Физика может быть использована как источник дополнительных переменных, либо для получения данных из симуляции, либо в роли вспомогательных элементов архитектуры нейронной сети.

Преимущества и недостатки всех подходов представлены в таблице.

Цель поста была дать краткий обзор по трем методам моделирования. Далее планирую раскрыть подробнее полезные темы из гибридного ИИ.