Иллюстрация: Precision, Control, Cognition
Ник Уолтон выложил на Github свою игру AIDungeon 2, стилизованную под классическую текстовую ролевую игру. Отличие AIDungeon 2 от других игр такого жанра в том, что игровой мир, сюжет и события генерируются нейросетью, основанной на GPT-2. По словам разработчика, потенциально AIDungeon 2 может создать бесконечное количество неповторяющихся миров.
GPT-2 — нейросеть, созданная OpenAI и опубликованная в ноябре 2019 года. В основе нейросети лежит архитектура Transformer, которая соединяет в себе свёрточную нейросеть и Attention-модуль. Задача нейросети — генерировать связный текст на основе предложенного датасета. К примеру, GPT-2 «предложили» романы Джорджа Орруэла и она создала научно-фантастическую книгу о Китае. Сначала OpenAI не хотела выпускать GPT-2, так как опасалась, что с ее помощью будут оперативно генерироваться фейковые новости и комментарии. Нейросеть содержит рекордное количество параметров обучения — всего 1,5 миллиарда.
AIDungeon 2, как становится понятно из названия, — вторая версия текстового квеста с нейросетью. В первой версии использовалась модель GPT-2 с 124 миллионами параметров. В AIDungeon сеть заранее генерировала возможные действия и их последствия, а затем предлагала варианты игроку. Во второй версии применили ту самую GPT-2 с 1,5 миллиардов параметров, дообучив ее на примерах текстовых квестов с сайта chooseyourstory.com. В итоге удалось отказаться от заранее сгенерированных игровых ситуаций — сеть создает мир по ходу продвижения игрока. Кроме того, в игру добавили систему фильтрации повторяющихся слов.
В начале игры пользователь выбирает несколько стартовых настроек (имя, класс, название королевства). Исходя из них игра генерирует стартовые позиции и завязку сюжета. В качестве примера создатель привел историю о волшебнике Золтанеиз королевства Ларион. История начиналась с того, что он приходил к руинам и, не обнаружив ничего ценного, собирался идти домой. Затем из-за камня неподалеку раздавался голос, который предлагал продолжить поиски. Игрок выбирал «узнать, кому принадлежит голос» и натыкался на белобородого старика по имени Трелик.
При генерации новых ситуаций нейросеть обращается к трем источникам: написанному вами предложению, стартовым настройкам и восьми последним действиям и их результатам. Несмотря на то, что AIDungeon 2 выдает связный текст, который не всегда можно отличить от написанного человеком, у программы все еще есть проблемы. К примеру, она ошибается при генерации диалогов, путая кто говорит ту или иную реплику.
Игра AIDungeon 2 работает прямо в браузере. Игра доступна только на английском. Также можно почитать истории, которые получились у других игроков.
Первую версию GPT специалисты из OpenAI представили в феврале 2018 года. Она была основана на архитектуре Transformer и дообучена под конкретную задачу. Позже, на базе GPT, Google создала двунаправленную сеть BERT, превзошедшую результаты OpenAI. В ответ на это была выпущена GPT-2 с 1,5 миллиардами параметров. Ее обучали на 40 гигабайтах текста. Полученная нейросеть генерировала текст с повторными упоминаниями имен действующих лиц по ходу повествования, цитатами и отсылками к связанным событиям. Но самым главным успехом OpenAI стало то, что нейросеть не нуждалась в дообучении под конкретную задачу.
Подробнее о GPT-2 читайте в статье: «GPT-2 нейросеть от OpenAI. Быстрый старт»
Хотя наиболее мощный вариант GPT-2 был готов уже в феврале 2019 года, OpenAI не стала выпускать его сразу. Как утверждали в компании, разработчиков встревожило сходство текстов нейросети и человеческих. В итоге полная версия GPT-2 появилась на GitHubтолько в ноябре этого года. Вдобавок OpenAI выпустила нейросеть-детектор сгенерированного машиной текста, но он получился недостаточно точным. Детектор правильно указывал на сгенерированный текст только в 95% случаев.
Автор: Leonid_R
