Шедевр от HBO, первый сезон которого обошел по просмотрам даже «Игру Престолов», повествует о футуристическом парке развлечений, гости которого могут предаваться всевозможным грехам с гипер реалистичными роботами-андроидами. Перестрелки, драки, оргии — богачи платят огромные суммы за право быть бессовестными и безнаказанными. Тем более убитых и изнасилованных роботов после каждой переделки перекраивают, очищают от воспоминаний и возвращают на место, в замкнутый круг предписанной роли. Пока однажды система не дает сбой…
Посмотрим на эту историю глазами разработчика — и выясним:
- Как устроен этот «кровавый Диснейленд»?
- Какие уязвимости в итоге привели к катастрофе?
- Как у роботов формируется импровизация, как у них устроены эмоции и возможно ли в реальной жизни возникновение у андроида сознания?
- Так ли футуристичен сериал? Реально ли создать подобный парк при современном уровне развития технологий?
Все немногочисленные спойлеры находятся под катом — так что читайте смело.
Что общего у Долорес и яндексовской Алисы?
Принцип работы устройств в парке во многом схож с тем, как действуют голосовые помощники (Siri, Amazon Alexa, Яндекс.Алиса) — услышав от посетителя парка или другого андроида ключевые слова, робот запускает соответствующий сценарий. Например, если вы спросили у madame в салуне, сколько будет стоить час с одной из ее подопечных, беседа идет по сценарию покупки. Если в процессе общения вы переключились на другую тему — например, спросили, откуда у персонажа шрам на лице, то тот может перейти на другой знакомый ему сценарий.
В случае, если вы зададите вопрос, на который у хоста-андроида нет заготовок, машина включит режим импровизации. Если голосовые помощники пока лишь стараются отшутиться, отвечают максимально уклончиво или напрямую говорят, что не понимают вас, то андроид в Westworld попробует переключить ваше внимание на что-то ему знакомое или начинает рассказывать истории, чтобы вернуть вас в знакомое ему информационное поле.
Андроиды в парке неплохо знакомы с психологией и знают, что сказать, чтобы войти в доверие — или, наоборот, вызвать отвращение. У каждого из них есть мини-сценарии, конечной целью которых является вызов у посетителя нужной ему реакции с помощью правильных реплик и демонстрации подходящих характерных эмоций. Кроме того, поскольку большинство посетителей приезжает в парк ради острых ощущений, робот будет всячески стараться воздействовать на эмоции, нападая, угрожая и провоцируя.
При этом все, что не затрагивает их лично или им не знакомо, роботы предпочитают не замечать или воспринимать как обыденность, не стоящую внимания — например, втихаря пронесенный с собой гаджет или разговоры между посетителями об их обычной жизни.
Как обучаются андроиды — и как у них появляется характер?
Обучение робота движениям происходит следующим образом: в виртуальном мире запускается аналогичная телу робота трехмерная анимационная модель человека или животного. Хост изучает ее, а затем начинает повторять движения, каждый раз внося небольшие изменения в моторику, пока не достигает заданных разработчиками KPI. При этом целью может быть и не только достижение наиболее эффективного способа перемещения и выполнения действий. Так, характерной чертой робота Мейв была неуклюжесть, поэтому она, вероятнее всего, училась ходить так, чтобы периодически задевать мебель, спотыкаться или время от времени проливать напитки. А скорость и точность выстрела будет зависеть от того, должен ли герой быть главным героем-любовником или «проходным» персонажем из банды.
«Характер» же андроида формируется путем загрузки в робота тематического контента: книг, фильмов, сериалов. Кому-то показывают в основном триллеры, кому-то — мелодрамы, кому-то (как Питеру Абернати) и вовсе зачитывают Шекспира. На основе этого персонаж усваивает ключевые эмоции, жесты, шаблоны поведения и реплики, свойственные жанру его сюжета и его будущего амплуа. Также с хостами работают разработчики-поведенщики, которые загружают так называемые «пресеты» заранее подготовленных шаблонов поведения, под их руководством хосты изучают конкретные движения и последовательности (например, партию в карты), а также приобретают личностные характеристики — характерную интонацию, акцент и так далее.
Заданные для каждого андроида параметры (степень агрессии, открытости, любвеобильности) оказывают большое влияние на его поведение. Роботы лишь частично подстраиваются под пожелания посетителей — в противном случае они утратили бы свою реалистичность, поэтому персонаж с характером злодея будет одинаково груб как с юной школьницей, которая пока в ужасе отшатывается от происходящего, так и с жаждущим крови и оргий тридцатилетним клерком.
Предустановленные параметры, с которыми персонаж провел большую часть жизней, оказывают огромное влияние на его поведение. Это связано с тем, что нейронные связи в сознании робота строились на основе накапливаемого день за днем опыта — особенно если он много действовал в режиме импровизации. Резкие изменения личностных характеристик могут хорошо работать в режиме работы по сценарию, но вот в формате импровизации персонаж еще долго будет «вживаться в роль» — это связано с тем, что в каждой импровизации персонаж подбирает ответы на основе предыдущих диалогов и предыдущего контекста, исходя из общей статистики по всем жизням. Вне зависимости от того, сохранились ли у персонажа воспоминания, опыт общения в любом случае накапливается. Иными словами, чем больше он импровизировал в роли добродушного фермера — тем сложнее ему будет начать действовать в импровизации как безжалостный маньяк-убийца и тем дольше времени займет смена амплуа.
Сознание у роботов — возможно ли?
Импровизация у роботов строится по тому же принципу, что и у людей — на основе накопленного опыта.
Очевидно, что изнеженная инфантильная девочка из обеспеченной семьи вряд ли сможет противостоять грабителю, который пытается отнять у нее кошелек в темном переулке. А вот если бы та же девушка выросла бы в приюте и с детства водилась с преступной шайкой — шанс дать отпор был бы выше. При этом подкрепленный негативными эмоциями и потрясениями опыт для роботов имеет большее значение — как и у людей, которые «обжегшись на молоке дуют на воду».
Здесь мы сталкиваемся с важным нюансом — воспоминания у андроидов НЕ стирались физически, им просто блокировался доступ к ним. А любую блокировку, как известно, при желании и наличии навыков можно обойти. Так что желание сохранять все данные о посещении парка сыграло с Советом Правления злую шутку.
В результате, если роботы надолго отклоняются от сюжета и у них имеется доступ к воспоминаниям — то они доучиваются на основе суммарного опыта всех своих жизней и ипостасей. Смешение воспоминаний из разных ролей приводит к непредсказуемому переобучению моделей, поэтому предсказать сгенерированные сценарии будет весьма сложно.
Что же касается Долорес — то у нее за плечами был в принципе самый большой опыт из всех андроидов в парке, многочисленные отклонения от сценариев (занятия с Арнольдом и Бернардом), огромный пласт негативных потрясений (ее насиловали и убивали почти ежедневно на протяжении многих лет) и характерная роль жестокого маньяка-убийцы Вайта. Таким образом, мы видим, что слова про «то, что она предпочитает видеть красоту этого мира» по степени влияния на поведение не идут ни в какое сравнение с негативными факторами, которые в итоге сделали ее безжалостной революционеркой.
В числе ее радикально настроенных последователей — как правило, те, у кого часто срабатывали триггеры на эмоции, поскольку они больше склонны к переобучению и работе по новым сценариям, подразумевающими, в том числе, отказ от привычных установок вроде запрета на убийство живых существ. Таким образом, строится цепочка, в которой изобилие эмоций приводит к увеличению отхода от стандартных сценариев, а накопленные в процессе импровизации знания позволяют перейти в режим свободы действий — и остаться в нем.
Таким образом, возникновение «сознания» у роботов представляет собой не что иное, как переход в режим «вечной импровизации» благодаря большому накопленному опыту. А вот каковы границы этой импровизации и как отреагирует система, столкнувшись с огромным количеством неизвестных раздражителей в реальном мире, нам еще только предстоит узнать.
5 ошибок безопасников
Основных ошибок, которые привели к тому, что в парке пролилась настоящая кровь, на наш взгляд, было пять:
Первая слабость — это отсутствие возможности быстро восстановить поврежденные системы связи, которые, как выяснилось, довольно легко уничтожить простыми физическими действиями.
Вторая — это возможность введения андроидов в режим автономного управления, в котором они могли отключаться от основной сети. Получить доступ к ним в таком случае можно было только при физическом контакте. Разумнее было бы предусмотреть определенный таймаут — то есть, если робот потерял связь с центральным сервером и не получает дополнительных сигналов извне, то через какое-то время он просто отключается. Да, в таком случае перебои в связи были бы заметны посетителям — но все же бесконтрольное поведение андроида (особенно в отдаленных частях парка) явно не лучше. В результате андроиды на долгое время оставались в режиме импровизации либо управлялись системой, к которой у сотрудников парка не было доступа.
Третья — это наличие сразу у нескольких членов команды доступа вообще ко всему функционалу парка, благодаря которому они могут переопределить поведение всех живых сущностей в мире Вестворлда. Например, массово поменять все пароли: из-за этого техническим службам сложно было вернуть себе контроль над устройствами. А поскольку таких лиц несколько — выявление виновника может затянуться.
Четвертая — отсутствие проверки прав доступа на совершение определенных действий. Сотрудникам отдела безопасности стоило бы поставить дополнительные ограничения на совершение критически важных действий, таких как пробуждение ото сна или нанесение ударов. Благодаря этому, даже если злоумышленник (либо сам хост или другой андроид) завладеет управлением, он не сможет причинить кому-то вред.
Наконец, сама организация работы персонала представляется не слишком оптимальной — отделы слабо коммуницируют друг с другом, система безопасности содержит явные пробелы, совсем не проводится удаленная диагностика (хотя по некоторым сценам мы видим, что персонал может одним нажатием кнопки заблокировать всех андроидов в конкретной локации) и обновления. Последнее может объясняться отсутствием желания лишний раз «светить» внутреннюю кухню перед посетителями — в то же время, физическое изъятие андроидов невидимым образом невозможно, гости все равно видят персонал и могут понять, что что-то пошло не так.
«Нет, сынок, это фантастика» — или такой парк реально построить уже сейчас?
Основное отличие сериальных роботов от уже существующих в реальном мире — это возможность на 100% реалистично эмулировать продолжительные диалоги (в «Мире Дикого Запада» упоминалось, что создатели парка достигли этого за год). Реально существующие системы с искусственным интеллектом ограничены в понимании контекста и, как правило, не способны запомнить больше, чем пару предыдущих реплик. Главным образом это связано с тем, что текущие алгоритмы предполагают, что, чтобы сохранить контекст, нужно хранить и обрабатывать очень большой объем данных. Вспомните шахматы — продумать ходы на шаг вперед может каждый (вариантов всего 8), думать на 2-3 хода вперед уже заметно сложнее, а просчитать игру на 7-8 шагов не может уже практически никто из людей.
Современные системы могут запомнить 1-3 предыдущих реплики и ответить на них весьма реалистично. Они уже могут понимать эмоции, которыми окрашена реплика (как голосовая, так и текстовая), и отвечать соответствующим образом на протяжении нескольких фраз, но не дольше. То есть Алиса может понять, что какая-то фраза — шутка или заумная цитата, и с этим знанием подберет подходящий ответ. Но она не способна вернуться на 7-8 диалогов (или дней) назад и подметить, что раньше ты рассуждал по-другому. Или, например, запомнить, что ты нагрубил ей 2-3 дня назад — и поэтому в следующий раз встретить тебя обидчиво.
При текущем уровне развития технологий компьютеру нужно потратить несколько дней для формирования продолжительного связного разговора — что, конечно, не подходит для поддержания живой беседы.Единственное исключение, в котором современные андроиды смогут поддерживать долгую и связную беседу — это если они ведут пользователя по стандартному сценарию с очень маленьким числом вариантов. Например, так действуют чат-боты в интернет-магазинах.
Андроиды хранят опыт от общения с пользователем до своей физической «смерти» — так, если посетитель повторно прибудет в парк через год, то робот вспомнит и узнает гостя, если за это время его не убьет другой хост или посетитель.
Что же касается самого парка… То, пусть интерфейсы и не будут выглядеть столь футуристично, построить нечто подобное имеющимися средствами сегодня более чем реально. И не где-то в подпольных бункерах Илона Маска, а в небольших IoT-компаниях.
В Westworld используется продвинутое решение на основе технологии Интернета Вещей — это когда объединенные в единую систему устройства автономно действуют по заданным сценариям, а человек нужен только для контроля и разрешения внештатных ситуаций. Простой пример — это автомобили-беспилотники, которые сами едут, меняют сценарий на ходу, взаимодействуют с другими автомобилями и объектами на дороге… Однако человек всегда может дать ему команду остановиться или изменить маршрут. Основная сложность здесь, как и в случае с Westworld, состоит в реакции на непредвиденные ситуации — например, если на дорогу неожиданно выбежит животное или если установленный знак не соответствует действительности. Хотя в Мире Дикого Запада действительность по большей части формируют те же кукловоды, что и поведение. И, как мы видим, не всегда создатели могут контролировать свои творения… Или всегда? Ждем вашего ответа в третьем сезоне, мистер Форд.
Автор: Мария Глазырина
