Как нейросети, RL и байесовскую оптимизацию стали использовать на ускорителях заряженных частиц

Ускорители заряженных частиц — уникальные машины, играющие ключевую роль в фундаментальной науке и прикладных исследованиях. Они помогают заглянуть внутрь материи, создавать новые материалы и лекарства, а также раскрывать тайны Вселенной — от бозона Хиггса до реликтового излучения.

Ускорители заряженных частиц — сложные установки, которые требуют высокой точности работы. Даже небольшое отклонение пучка, сравнимое с долей толщины человеческого волоса, может иметь значение. Чтобы справляться с такими задачами, всё чаще используют методы машинного обучения. 

В статье мы расскажем о том, как применяют методы машинного обучения на ускорителях по всему миру. Например, нейронные сети стабилизируют орбиту пучка и оптимизируют параметры ускорителей, обучение с подкреплением используется для управления пучками заряженных частиц в сложных условиях, а байесовская оптимизация помогает решать многокритериальные задачи настройки ускорителей.

Стабилизация орбиты пучка с помощью нейронных сетей на источниках синхротронного излучения

Источники синхротронного излучения (СИ) — разновидность ускорителей, которые генерируют интенсивное электромагнитное излучение, широко применяемое в науке, промышленности и медицине. Эти установки используются для решения задач в биологии, материаловедении, фармацевтике и даже электронике. Например:

• в вирусологии синхротронное излучение позволяет визуализировать мягкие ткани с высоким разрешением и без использования контрастных веществ  ЗНиСО ^[1]. 

• В промышленности, такие компании, как Rolls-Royce, используют СИ для анализа прочности лопаток авиационных двигателей Rolls-Royce ESRF ^[2].

• В материаловедении синхротронное излучение помогает изучать кристаллические структуры и дефекты в материалах.

Синхротронное излучение стало важным инструментом современной науки, благодаря которому было получено около 20 Нобелевских премий в различных областях, включая химию, физику и медицину. Например:

• По физике в 2006 году за изучение реликтового излучения. Nobel Prize in Physics 2006 ^[3]. 

• По химии в 2009 году за исследование структуры рибосомы Nobel Prize in Chemistry ^[4], в 2020 году за анализ механизма работы CRISPR-Cas9 Nobel Prize in Chemistry 2020 ^[5].

Однако работа таких установок сталкивается с серьёзными вызовами. Один из них — поддержание стабильной орбиты пучка частиц (траектории, по которой происходит движение), которая критически важна для точности экспериментов. Орбита пучка частиц в ускорителе должна поддерживаться с точностью до микрон (это в 1000 раз меньше толщины стандартного листа бумаги), но на неё влияют изменения температуры, магнитные поля, вибрации. Вот, кстати, наша статья про то, как сейсмические вибрации будут влиять на орбиту пучка в СКИФ ^[6]: Beam Stability ^[7] .

Классические подходы к стабилизации орбиты пучка в ускорителях

Для стабилизации орбиты используют датчики положения пучка (BPM) и магнитные корректоры. Основные методы:

• MICADO (CERN, 1973): минимизирует число корректоров CERN Documentation ^[8].

• Алгоритм SVD: коррекция орбиты с использованием матриц отклика APS Documentation ^[9].

Основные ограничения: необходимость регулярного пересчёта матриц, сложность учёта нелинейных эффектов и риск "насыщения" корректоров.

Применение нейронных сетей

На Шанхайском источнике синхротронного излучения (SSRF) для решения задачи стабильности орбиты пучка была успешно применена нейронная сеть SSRF feedback ^[10]. Авторы разработали и обучили нейронную сеть, которая на основе данных с 138 датчиков положения пучка (BPM) напрямую рассчитывает оптимальные параметры для 80 магнитных корректоров.  

Как обучали модель:

1. Собрали данные за 40 минут (800 «срезов» показаний положения пучка и соответствующих значений токов  магнитных корректоров). 

2. Подготовили данные: данные масштабировали, вычитая среднее и деля на стандартное отклонение. 

3. Архитектура сети: Многослойный перцептрон с тремя скрытыми слоями по 100 нейронов в каждом. Функция активации — ReLU. 

4. Обучение: Использовали стохастический градиентный спуск (SGD) и L2-регуляризацию для борьбы с переобучением. На обычном ноутбуке (!) модель натренировалась за 2 минуты и 180 эпох.

По словам авторов получились следующие преимущества:

• Ускорение процесса коррекции орбиты и повышение точности по сравнению с классическими методами, такими как SVD.

• Адаптация модели в реальном времени, что устраняет необходимость в регулярной калибровке.

Кстати, результаты можно было бы улучшить, добавив в модель зависимость от температуры для исключения суточных колебаний, собирая данные за полный цикл (24 часа, сезонность) вместо 40 минут.

“Провод” пучка по ускорителю с помощью RL

На ускорителе тяжёлых элементов применили обучение с подкреплением (RL) для автоматической коррекции орбиты  CAFe II RL ^[11]. 

Задача агента:

• Автоматическое восстановление орбиты пучка заряженных частиц за ограниченное время и минимальное количество действий.

Метод:

Использовали метод Actor-Critic с алгоритмом TD3 (Twin Delayed Deep Deterministic Policy Gradient). В этом подходе один модуль (Actor) выбирает действия, а другой (Critic) их оценивает и корректирует стратегию.

• Policy-gradient определяет, какие конкретные действия следует предпринять в текущей ситуации (например, «если пучок ушёл вверх, прижми вниз»).

• Value-gradient оценивает текущее состояние установки и долгосрочные выгоды от действий, измеряя их полезность относительно общей цели (например, чем ближе пучок к центру, тем лучше). 

Обучение проводилось в симуляции, а затем алгоритм был протестирован на реальном ускорителе. Результаты показали:

• В симуляции пучок, который отклонился на 9 мм, возвращался в исходное положение с отклонением менее 0,5 мм за 15 секунд;

• На реальной установке модель корректировала орбиту менее чем за 15 секунд, даже при неисправности одного из корректоров;

• Модель, обученная на ионах кальция, успешно корректировала орбиту для ионов марганца, протонов. 

Преимущества подхода:

• Экономия времени: обучение проводится в симуляции, а на реальной установке требуется всего несколько секунд для коррекции.

• Адаптивность: модель автоматически подстраивается под изменения температуры, вибрации и отказ оборудования.

• Универсальность: одна и та же модель успешно корректирует орбиту для разных частиц (например, кальция и марганца).

Многокритериальная байесовская оптимизация для настройки ускорителей

Онлайн-настройка ускорителей требует одновременной оптимизации нескольких параметров (например, эмиттанс ^[12], размеры пучка, разброс энергии), что требует компромиссов между несколькими целями. Традиционные методы, такие как эволюционные алгоритмы или градиентные методы, требуют значительных вычислительных ресурсов и большого числа наблюдений.

Байесовская оптимизация (БО) предоставляет эффективное решение этой проблемы. Она строит суррогатные модели целевых функций с использованием гауссовских процессов, что позволяет:

• Предсказывать значения целевых функций и уровень их неопределённости.

• Снижать число необходимых измерений за счёт использования функции выбора (acquisition function).

• Увеличивать гиперобъём Парето, что позволяет находить лучшие компромиссные решения.

Примером применения БО является работа с Argonne Wakefield Accelerator. В рамках экспериментов, описанных в статье Multiobjective Bayesian optimization for online accelerator tuning ^[13], исследователи провели настройку ускорителя с использованием многокритериальной байесовской оптимизации. Исследователи оптимизировали шесть параметров в реальном времени и результаты показали преимущества:

• эффективную работу с ограниченным количеством наблюдений;

• улучшение качества решений по сравнению с традиционными методами;

• возможность интеграции физических ограничений.

Вывод

Нейронные сети и байесовская оптимизация могут сделать управление установками точнее, быстрее и экономичнее. Будущее за автоматизированными подходами, где человек сосредоточится на креативных задачах, а алгоритмы возьмут на себя рутинную оптимизацию.

Статья написана по мотивам нашего выступления на митапе в Институте ядерной физики СО РАН ML in Physics meetup ^[14], а после мы еще решили организовать секцию  ML in Physics ^[15] на DataFest 2024  - там получилось много интересного ;)

Полезные ссылки

• Применение нейронных сетей: Статьи о применении нейронных сетей на ускорителях DELTA ^[16] (Германия) и BEPCII ^[17] (Китай).

• Методы RL: Исследования по оптимизации инжекции пучков  Injection Optimization ^[18] и управлению лазерами на свободных электронах FERMI FEL ^[19].

• Байесовская оптимизация: Примеры из CERN ^[20]  и Brookhaven National Laboratory ^[21].