Группа исследователей из Quantinuum достигла значительного прогресса в области возможного использования квантового искусственного интеллекта (ИИ), сообщив о первой реализации масштабируемой квантовой обработки естественного языка (QNLP). Их модель, названная QDisCoCirc, объединяет квантовые вычисления с искусственным интеллектом для решения текстовых задач, таких как ответы на вопросы, говорится в научной статье, опубликованной на сервере препринтов ArXiv.
Ильяс Хан, основатель и директор по продуктам Quantinuum, отметил, что, хотя команда пока не решила задачу в масштабах, это исследование является важным шагом на пути к демонстрации того, как интерпретируемость и прозрачность могут способствовать созданию более безопасного и эффективного генеративного ИИ.
«Боб работает в области квантовой обработки естественного языка (qNLP) уже более десяти лет, и последние шесть лет я с гордостью наблюдаю за этим процессом, готовясь к тому моменту, когда квантовые компьютеры смогут реально решать прикладные задачи», — отметил Хан. «Наша работа над композиционным интеллектом, опубликованная в начале лета, заложила основу для того, что означает интерпретируемость. Теперь у нас есть первая экспериментальная реализация полностью функционирующей системы, и это невероятно захватывает. Вместе с нашими исследованиями в таких областях, как химия, фармацевтика, биология, оптимизация и кибербезопасность, это поможет ускорить научные открытия в квантовом секторе в ближайшее время».
Ильяс Хан заявил: «Хотя это еще не тот момент, который можно сравнить с „ChatGPT“ для квантовых технологий, мы уже наметили путь к их реальной практической значимости в мире. Прогресс на этом пути, как мне кажется, будет связан с концепцией квантовых суперкомпьютеров».
На сегодняшний день квантовый ИИ, особенно в сочетании с квантовыми вычислениями и обработкой естественного языка (NLP), остается преимущественно теоретической областью с ограниченным числом подтвержденных исследований. По словам Хана и Боба Коэка, главного научного сотрудника Quantinuum и руководителя направления квантово-композиционного интеллекта, эта работа направлена на то, чтобы пролить свет на пересечение квантовых вычислений и NLP.
Исследование демонстрирует, как квантовые системы могут быть применены к задачам искусственного интеллекта более интерпретируемым и масштабируемым способом по сравнению с традиционными методами.
«В Quantinuum мы уже некоторое время работаем над NLP с использованием квантовых компьютеров. Мы рады, что недавно провели эксперименты, которые показывают не только возможность обучения моделей для квантовых компьютеров, но и то, как сделать эти модели интерпретируемыми для пользователей. Кроме того, наши теоретические исследования дают многообещающие указания на то, что квантовые компьютеры могут быть полезны для интерпретируемого NLP».
Эксперимент, описанный в работе, основан на применении техники композиционного обобщения. Эта методика, заимствованная из теории категорий и адаптированная для обработки естественного языка, позволяет рассматривать языковые структуры как математические объекты, которые можно комбинировать и объединять для решения задач ИИ.
Согласно Quantinuum, одной из ключевых проблем квантового машинного обучения является возможность масштабирования обучения. Для решения этой задачи они применяют подход «композиционного обобщения». Это означает, что модели обучаются на небольших примерах с использованием классических компьютеров, а затем тестируются на гораздо более крупных примерах с помощью квантовых компьютеров. Поскольку современные квантовые компьютеры уже достигли такой сложности, что их невозможно моделировать классически, масштабы и амбиции этой работы могут быстро увеличиться в ближайшем будущем.
Исследователи решили одну из главных проблем квантового машинного обучения — так называемую проблему «бесплодного плато». Она возникает, когда обучение крупных квантовых моделей становится неэффективным из-за исчезающих градиентов. Исследование Quantinuum предоставляет убедительные доказательства того, что квантовые системы не только могут решать определённые задачи более эффективно, но и обеспечивают прозрачность в принятии решений моделей ИИ, что является важной проблемой в современном ИИ.
Эти результаты были достигнуты на квантовом процессоре H1-1 с ионными ловушками от Quantinuum, который обеспечил вычислительную мощность для выполнения квантовых схем, лежащих в основе модели QDisCoCirc. Модель QDisCoCirc использует принципы композиционности, заимствованные из лингвистики и теории категорий, для разбиения сложных текстовых данных на более простые и понятные компоненты.
В своей работе исследователи подчеркивают важность квантового процессора H1-1 в проведении экспериментов: «Мы представляем экспериментальные результаты для задачи ответа на вопросы с использованием QDisCoCirc. Это первая проверенная реализация масштабируемой композиционной квантовой обработки естественного языка (QNLP). Для демонстрации композиционного обобщения на реальном устройстве, за пределами размеров экземпляров, которые были смоделированы классически, мы использовали квантовый процессор H1-1 с ионной ловушкой, обладающий передовой точностью двухкубитных гейтов».
Практические последствия
Это исследование имеет значимые практические последствия для будущего ИИ и квантовых вычислений. Одним из наиболее важных результатов является возможность использования квантового ИИ для создания интерпретируемых моделей. В современных больших языковых моделях (LLM), таких как GPT-4, процесс принятия решений часто остается в виде «черного ящика», что затрудняет исследователям понимание того, как и почему генерируются те или иные результаты. В отличие от этого, модель QDisCoCirc позволяет наблюдать внутренние квантовые состояния и взаимосвязи между словами или предложениями, что дает возможность лучше понять процесс принятия решений.
С практической точки зрения это открывает широкие возможности для применения в таких областях, как системы ответов на вопросы, где важно не только получить правильный ответ, но и понять, как машина пришла к такому выводу. Интерпретируемый подход квантового ИИ, основанный на композиционных методах, может использоваться в юриспруденции, медицине и финансовом секторе, где прозрачность и подотчетность ИИ-систем играют ключевую роль.
Кроме того, исследование показало успешное применение композиционного обобщения — способности модели обобщать данные, обученные на небольших наборах, для работы с более сложными и объемными исходными данными. Это может стать важным преимуществом перед традиционными моделями, такими как трансформеры и LSTM, которые, согласно авторам исследования и данным из технических документов, не смогли показать столь же успешное обобщение при тестировании на длинных и сложных текстах.
Производительность выше классической?
Помимо применения в задачах обработки естественного языка (NLP), исследователи также изучили, могут ли квантовые схемы превосходить классические модели, такие как GPT-4, в некоторых случаях. Результаты показали, что классические модели машинного обучения, включая модели типа GPT-4, не продемонстрировали значительных успехов при решении композиционных задач — их производительность оказалась на уровне случайного угадывания. Это указывает на то, что квантовые системы, по мере их масштабирования, могут быть уникально приспособлены для обработки более сложных форм языка. Особенно это может быть важно при работе с большими наборами данных, хотя и крупномасштабные языковые модели, такие как GPT, вероятно, будут постепенно улучшаться.
Исследование продемонстрировало, что классические модели не смогли эффективно обобщать большие текстовые экземпляры, в то время как квантовые схемы успешно справились с этой задачей, демонстрируя способность к композиционному обобщению.
Также было установлено, что квантовые модели обладают более высокой эффективностью использования ресурсов. Классические компьютеры сталкиваются с трудностями при попытке имитировать поведение квантовых систем в большом масштабе. Это указывает на то, что квантовые компьютеры станут необходимыми для решения крупных задач в области NLP в будущем.
«По мере увеличения размеров текстовых схем классическое моделирование становится непрактичным, что подчеркивает необходимость использования квантовых систем для решения этих задач».
Методы и экспериментальная установка
В рамках доказательства концепции модели QDisCoCirc исследователи разработали наборы данных с простыми задачами в формате бинарных вопросов-ответов. Эти наборы данных были предназначены для проверки того, насколько хорошо квантовые схемы справляются с базовыми лингвистическими задачами, такими как выявление связей между персонажами в тексте. Исследовательская команда использовала параметризованные квантовые схемы для создания вкраплений слов — математических представлений слов в определённом пространстве. Эти вкрапления затем использовались для построения более сложных текстовых схем, которые оценивались с помощью квантового процессора.
Коеке и Хан отмечают, что данный подход позволяет сохранять интерпретируемость модели, одновременно используя преимущества квантовой механики. Значимость этого подхода будет увеличиваться по мере роста мощности квантовых компьютеров.
«Мы рассматриваем «композиционную интерпретируемость», предложенную в статье, как решение проблем, с которыми сталкивается современный ИИ». Композиционная интерпретируемость заключается в том, чтобы придавать понятный смысл компонентам модели, например, на естественном языке, и затем понимать, как эти компоненты взаимодействуют и сочетаются друг с другом».
Ограничения и возможности
Несмотря на значительный прогресс, исследование также имеет свои ограничения. Одной из ключевых проблем, по мнению команды, является текущий масштаб квантовых процессоров. Хотя модель QDisCoCirc демонстрирует большой потенциал, исследователи отмечают, что для решения более крупных и сложных задач потребуются квантовые компьютеры с большим количеством кубитов и более высокой точностью. Они признают, что их результаты находятся на стадии доказательства концепции, но также указывают на быстрое развитие квантовых технологий. Квантовые компьютеры вступили в новую эру, которую Microsoft называет эпохой «надежных» квантовых компьютеров, а IBM — «квантовыми вычислениями в масштабе утилиты».
«Масштабирование этих вычислений до более сложных реальных задач остаётся серьёзным вызовом из-за существующих аппаратных ограничений», — пишут исследователи, добавляя, что ситуация в этой области меняется стремительно.
Кроме того, текущее исследование сосредоточено на решении бинарных вопросов — это упрощённая форма обработки естественного языка (NLP). В будущем команда планирует изучать более сложные задачи, такие как разбор целых абзацев или работа с несколькими слоями контекста. Исследователи уже сейчас ищут способы расширения модели для работы с более сложными текстовыми данными и различными типами лингвистических структур.
Автор: kr23_ka
