Нет ли у моего автомобиля галлюцинаций? Не страдает ли алгоритм, управляющей системой полицейского надзора в моём городе, паранойей? У Марвина, андроида из «Автостопом по Галактике», болели все диоды по левой стороне. Нет ли схожих ощущений у моего тостера?
Звучит это курьёзно, но только до тех пор, пока мы не поймём, что наши алгоритмы всё больше начинают походить на нас самих. Чем больше мы узнаём о нашем , тем больше мы вкладываем этих знаний в создание алгоритмических версий самих себя. Эти алгоритмы контролируют скорость робомобилей, определяют цели для автономных военных дронов, подсчитывают нашу восприимчивость к коммерческой и политической рекламе, находят нам родственные души в онлайн-сервисах и оценивают риски для страховки и кредитов. Алгоритмы становятся почти разумным фоном нашей жизни.
Самые популярные алгоритмы, используемые сегодня в работе – это алгоритмы с глубинным обучением. Они копируют архитектуру человеческого , выстраивая сложные модели информации. Они обучаются понимать окружающую действительность через её восприятие, определять то, что важно, и понимать, что из чего вытекает. Они похожи на наш , и риск возникновения у них психологических проблем растёт.
Deep Blue, алгоритм, победивший чемпиона мира по шахматам Гарри Каспарова в 1997 году, использовал метод грубой силы, перебирая по миллиону позиций в секунду и прогнозируя до 20 ходов в будущее. Все понимали, как он работает, даже если и не могли повторить. AlphaGo, алгоритм с глубинным обучением, победивший Ли Седоля в го в 2016, кардинально отличается. Он использовал нейросети для создания собственного понимания игры, считающейся самой сложной из всех настольных игр. AlphaGo обучался, наблюдая за другими, и играя с самим собой. Программисты и игроки в го сбиты с толку нестандартной манерой игры AlphaGo. Его стратегия сначала кажется необычной. И только потом мы понимаем, что он имел в виду, и то, не на все 100%.
Чтобы лучше объяснить вам, что я имею в виду под размышлениями, рассмотрим следующее. У таких программ, как Deep Blue, в коде может содержаться ошибка. Они могут упасть от переполнения памяти. Они могут оказаться парализованными из-за бесконечного цикла или просто выдать неправильный ответ. Но все эти проблемы может решить программист, имеющий доступ к исходному коду программы, при помощи которого был написан алгоритм.
Такие алгоритмы, как AlphaGo, работают совершенно по-другому. Их проблемы очень сложно увидеть, просто разглядывая программный код. Они связаны с внутренним представлением информации. Это представление – постоянно меняющееся многомерное пространство, напоминающее ландшафты сна. Решение проблем таких алгоритмов требует, ни много, ни мало – психотерапевта для алгоритмов.
Возьмём беспилотные автомобили. Робомобиль, увидевший первый знак «стоп» в реальном мире, до этого при тренировке видел уже миллионы знаков «стоп», в процессе построения мысленной репрезентации этого знака. При разных условиях освещения, при хорошей и плохой погоде, с дырками от пуль и без них – знаки «стоп» содержат в себе невероятное количество разнообразной информации. При большинстве вариантов нормальных условий робомобиль распознает знак «стоп». Но не все условия нормальны. Некоторые недавние опыты показали, что несколько чёрных наклеек, закрывающих знак «стоп», могут обмануть алгоритм, который решит, что это, на самом деле – знак ограничения скорости до 60 миль в час. Алгоритм, встретившись с чем-то, до ужаса похожим на контрастную тень дерева, начинает галлюцинировать.
А сколько способов испытать галлюцинацию есть у алгоритма? Чтобы это выяснить, нам пришлось бы задать алгоритму все возможные комбинации входных данных. Это значит, что что-то может пойти не так бесконечным количеством способов. Программистам-экспертам это уже давно известно, и они пользуются этим для создания т.н. состязательных примеров. Исследовательская группа ИИ LabSix из MIT показала, что выдавая алгоритму классификации изображений от Google специальные картинки, и используя полученные от него данные, можно определить его слабые места. А затем их можно использовать эти слабости для обмана алгоритма – чтобы, например, заставить его поверить, что рентгеновский снимок на самом деле представляет собой изображение двух щенят, играющих в траве.
Алгоритмы тоже могут совершать ошибки, поскольку они иногда воспринимают особенности окружения, которые коррелируют с итоговым результатом, хотя не имеют с ним причинно-следственной связи. В мире алгоритмов это называется переобучением. Когда это происходит в , мы называем это суеверием.
Одним из крупнейших алгоритмических провалов на текущий момент остаётся т.н. "парабола Google Flu" [предсказание эпидемий гриппа]. Google Flu использовала информацию о том, что люди ищут в Google, для предсказания мест и интенсивности вспышек гриппа. Сначала предсказания Google Flu работали неплохо, но со временем стали ухудшаться, пока, наконец, система не стала предсказывать в два раза больше случаев гриппа, чем было зарегистрировано в центрах по контролю над заболеваниями США. Google Flu, как алгоритмический шаман, просто обращала внимание не на то, что нужно.
Возможно, алгоритмические патологии поддаются исправлению. Но на практике алгоритмы часто представляют собой проприетарные чёрные ящики, обновление которых запрещается законами коммерции. В книжке "Оружие массового поражения" Кэти О’Нил от 2016 года описывается истинный парад уродов, составленный из коммерческих алгоритмов, чьи хитрые патологии портили людям жизнь. Особенно интересны алгоритмические разломы, разделяющие богатых и бедных. Бедные люди с большей вероятностью будут иметь проблемы с кредитом, жить в местах с повышенным уровнем преступности, в окружении других бедных людей с похожими проблемами. Из-за этого алгоритмы выбирают этих людей в качестве целей обманчивой рекламы, питающейся их отчаянием, предлагают им субстандартные займы, и отправляют в их районы проживания больше полицейских, увеличивая вероятность того, что полиция задержит их за совершение преступлений, которые происходят с той же частотой и в более богатых районах. Алгоритмы, используемые системой правосудия, назначают таким людям большие сроки, уменьшают их шансы на УДО, блокируют для них вакансии, увеличивают проценты по ипотеке, требуют большие взносы за страховку, и так далее.
Этот алгоритмический замкнутый круг скрыт в матрёшках, состоящих из чёрных ящиков: алгоритмы-чёрные ящики, прячущие процесс обработки в своих мыслях высших измерений, к которым у нас нет доступа, спрятаны в чёрных ящиках проприетарных прав на алгоритмы. В некоторых местах, например, в Нью-Йорке, это привело к предложениям о принятии законов, обязывающих отслеживать справедливость работы алгоритмов, используемых муниципальными службами. Но если мы даже в себе не можем обнаружить когнитивные искажения, как можно ожидать их обнаружения в наших алгоритмах?
Алгоритмы, тренируясь на человеческих данных, приобретают и наши искажения. В одном недавнем исследовании под руководством Айлин Калискан из Принстонского университета было обнаружено, что алгоритмы, тренирующиеся на новостях, очень быстро приобретают расовые и половые предубеждения. Как отметила Калискан: «Многие люди считают, что у машин нет предубеждений. Но машины тренируются на человеческих данных. А у людей предубеждения есть».
Соцсети – это змеиное гнездо человеческих предубеждений и ненависти. Алгоритмы, проводящие много времени в соцсетях, быстро становятся слепыми фанатиками. Они приобретают предубеждения против медбратьев и женщин-инженеров. Они неправильно воспринимают такие проблемы, как иммиграция и права меньшинств. Ещё немного, и алгоритмы начнут относиться к людям так же нечестно, как люди относятся друг к другу. Но алгоритмы по сути своей слишком уверены в своей непогрешимости. И пока их не натренируешь на обратное, у них не будет причин подозревать себя в некомпетентности (всё, как у людей).
У описанных мною алгоритмов психологические проблемы возникают из-за качества данных, на которых они тренируются. Но у алгоритмов могут быть схожие проблемы и из-за их внутренней структуры. Они могут забывать старую информацию, изучая новую. Представьте, что вы запомнили имя нового коллеги и внезапно забыли, где вы живёте. В крайнем случае, алгоритмы могут страдать из-за т.н. "катастрофического забывания", когда алгоритм в целом уже не может изучать и запоминать что-то новое. Теория возрастного когнитивного ухудшения основана на схожей идее: когда память становится перегруженной, как , так и компьютеру требуется больше времени, чтобы найти то, что им известно.
Когда именно дело принимает патологический оборот – это зависит от точки зрения. В результате психологические аномалии у людей часто остаются нераскрытыми. Синестетики, такие, как моя дочь, в восприятии которой написанные буквы связаны с определёнными цветами, часто не догадываются, что обладают особым даром восприятия, вплоть до подросткового возраста. Свидетельства, полученные из анализа речевых оборотов Рональда Рейгана, сейчас говорят о том, что он страдал от деменции, будучи президентом. В статье The Guardian описывается, что массовые расстрелы, происходившие в США примерно в девять из каждых десяти дней за последние пять лет, часто устраиваются т.н. «нормальными» людьми, не выдерживающими гонений и депрессии.
Во многих случаях, чтобы обнаружить проблему, требуется несколько последовательных перебоев. На постановку диагноза «шизофрения» уходит минимум месяц наблюдений за симптомами. Асоциальные расстройства личности – современный термин для психопатии и социопатии – не получится диагностировать у людей, не достигших 18-летнего возраста, да и потом их можно поставить только, если у человека наблюдались расстройства в поведении до 15 лет.
У большинства психологических расстройств не существует биомаркеров, точно так же, как в коде AlphaGo отсутствуют баги. Проблемы в нашем «оборудовании» не видно. Она в нашем «программном обеспечении». Множество вариантов нарушения работы делают каждую психологическую проблему уникальной. Мы относим их к широким категориям, вроде шизофрении или синдрома Аспергера, но большинство расстройств имеют широкий спектр, охватывающий симптомы, которые можно найти у большинства людей, в той или иной степени. В 2006 психологи Мэтью Келлер и Джоффри Миллер писали, что это – неизбежное свойство устройства .
В таком разуме, как наш, многое может пойти не так. Карл Юнг однажды предположил, что в каждом разумном человеке кроется безумец. Чем больше наши алгоритмы становятся похожими на нас, тем проще ему в них спрятаться.
Томас Хиллс — профессор психологии из Уорикского университета в Ковентри, Британия.
Автор: Вячеслав Голованов
