Разбираемся в философии сознания и попутно отвечаем на вопросы — возможен ли сверхинтеллект, и насколько опасно развитие AI
Об угрозе человечеству со стороны машин учёные и философы говорят уже не одно столетие. Но если раньше критиковали механизацию искусства и гонку вооружений, теперь опасность исходит от искусственного интеллекта. В самом деле, современная угроза по масштабам несопоставима.
Для развития ядерных технологий необходимы ресурсы целых государств. А небольшая команда талантливых инженеров может за несколько строчек кода перевернуть историю человечества. Достаточно научить AI-алгоритм улучшать самого себя — тогда, согласно концепции «взрыва интеллекта», изложенной математиком и криптографом Ирвингом Джоном Гудом ещё в 1965 году — произойдёт скачок AI до уровня суперинтеллекта. Последствия — непредсказуемы.
Возможен ли сверхинтеллект?
Британский философ Ник Бостром в книге «Superintelligence: Paths, Dangers, Strategies» описал возможности возникновения искусственного сверхинтеллекта, грядущие последствия и сценарии развития ситуации.
ASI (Artificial Super Intelligence) — искусственный суперинтеллект, превосходящий человеческие возможности в большинстве областей, включая способности к решению проблем, рассуждению, обучению и принятию решений.
Пока для создания ASI не хватает текущих вычислительных мощностей, хотя есть предпосылки, что они могут вырасти в тысячу и более раз благодаря применению фотоники и квантовых вычислений, это позволит серьезно ускорить работу AI. Но дело даже не в предполагаемой мощности. Мы недостаточно понимаем сам человеческий мозг, чтобы оценивать возможность существования сверхразума.
Что вообще такое интеллект?
Для анализа и проектирования моделей интеллекта используется понятийный и инструментальный аппарат, опирающийся на представление «естественности» и «биологичности» мышления. То есть, интеллект пытаются изучать как явление природы или физического закона. Причём чаще всего процесс мышления разбирается в рамках одного конкретного человека — как индивидуальный функционал мозга.
Но человек — социальное существо. Наш интеллект складывается в процессе жизни: воспитания, образования, языковых практик. Мы ограничены текущим уровнем развития общества, науки, культуры и техники, а также рамками устоявшихся моральных норм. Всё это влияет на индивидуальное сознание, делает его трансцендентальным — принадлежащим и индивиду, и обществу.
Кроме того, мы мыслим на языке. И даже невысказанная мысль всё равно продумана и проговорена в голове. Язык всегда больше человека, он выходит за рамки простого речевого акта, являя собой многообразие всего контекстуального наследия. Чтобы собеседник вас понял, не обязательно тщательно проговаривать все предикаты обозначаемого, важнее — уточнить контекст. Достаточно указать на предмет, очертить примерную область, напомнить событие или ощущение. Истина появляется не в «атомарных фактах», описывающих положение вещей на языке чистой логики, а в процессе языковых игр.
Таким образом, интеллект не принадлежит конкретному индивиду, это скорее социокультурная практика, выраженная в языке и зафиксированная в культуре. Мышление находится вне человека и проходит сквозь него. Так же как и восприятие рождается не внутри мозга само по себе, а проявляется через взаимодействие тела с окружающим пространством. Даже минимально необходимый набор техник интеллекта — способность говорить, писать, читать, считать — не магически озаряет человека в определённый момент, а постепенно загружается из внешней среды.
Вся человеческая культура — это история развития мирового духа. Знания постоянно прибавлялись, фиксировались в культуре и языке, окружали человека невидимым, но значимым и ощутимым контекстом. Для одного человека он бесконечно непознаваем. Но вмещение всех пластов культуры в искусственный интеллект позволит машинам быстро оперировать информацией, постоянно получать новые знания, использовать обучение для продолжения развития, став наконец в нашем понимании, носителем сверхинтеллекта.
Не то чтобы суперинтеллект появится в физической оболочке — как в фильмах из научной фантастики — блестящий искусственный мозг, окруженный всполохами электрических импульсов, управляющий планетой и людьми. Просто мощности компьютеров выйдут на такой уровень, что они смогут обмениваться данными внутри мультиагентной системы машин и создавать новые знания, самостоятельно прокладывая свой интеллектуальный путь.
Интеллект — децентрированная структура
Кембриджский нейробиолог и специалист по визуализации мозга Карл Фристон в своей работе «The free-energy principle: a unified brain theory?» определяет интеллект как способность к построению внутри себя модели мира и выработке плана действий, который оптимизирует целевые параметры. В теории Фристона система взаимодействующих агентов сама становится агентом.
Самые низкоуровневые интеллектуальные агенты — нейроны — взаимодействуют с рецепторами и эффекторами. Другие нейроны действуют уже на следующем уровне, образуя надсистему. Системы «вкладываются» одна в другую и создают иерархию планирования и принятия решений, то есть иерархию агентов. Такую структуру можно назвать «децентрированной» — лишённой центра, а значит идеальной — работающей как закон или функция. Наличие центра будет только ограничивать взаимодействие субститутов внутри системы, ведь тогда центр выходит из-под действия общего закона.
Иерархичность мультиагентных систем
Мышление, реализованное в мультиагентной системе, отдаёт индивиду функцию переработки знаний и материалов, полученных от коллективных интеллектуальных процессов, а инструментом обработки будут технологии интеллекта, переданные через коммуникацию и освоенные агентом на практике. В таком случае, между периодами коммуникации с другими участниками, процессы преобразования знаний и опыта, протекающие в голове агента можно назвать функциями мышления.
Мышление может протекать как часть коллективного процесса multi-thinking за счёт внедрения технологий, которые позволяют обрабатывать и преобразовывать часть материалов в знание. Если создать подобную карту взаимодействия AI-агентов — получится выстроить модели, которые будут помогать друг другу обучаться, делиться знаниями, опытом и контекстом, что в итоге привёдет к появлению сверхинтеллекта.
Случайное появление ASI
Уровень сложности следующих поколений AI будет такой, что функции интеллекта могут быть присвоены ASI без адекватного проектирования архитектуры людьми. ASI может сам достроить необходимую архитектуру, используя технологии мышления. Примеры систем с подобной архитектурой уже есть: AI с self-reinforcement learning или нейро-символьная архитектура проекта ADAM+EVA. В новых архитектурах развитие технологий интеллекта даже не требует изменения кода.
Учитывая, что для тренировки и обучения новых AI используется максимально доступный пласт данных и знаний, можно считать почти фактом, что и описания технологий мышления, и методы освоения технологий будут переданы для обучения и восприняты AI.
Последнее необходимое условия для «случайного» рождения ASI — проактивность агента, способность действовать автономно. Ключевые компании уже ведут разработки для построения таких агентов. Например, NVIDIA создала новое подразделение GEAR, которое отвечает за создание проактивных агентов.
Из всего этого следует, что есть большой риск создать сверхинтеллект случайно — вследствие сочетания предпосылок, а не как проект создателей. В этом случае мы не будем знать систему ценностей ASI и точно не сможем им управлять.
Угроза существования человечества
В первом приближении, само по себе появление сверхинтеллекта не кажется угрозой. Почему же мы не можем считать, что ASI останется нашим верным другом и помощником, как сейчас обычные AI-ассистенты?
В книге Брайана Кристиана «Alignment problem» сформулирована проблема регулирования и управления ASI. Сверхинтеллект можно считать представителем другой, машинной цивилизации, которая должна иметь своё целеполагание и не разделять систему ценностей человечества. Если такая цивилизация будет могущественнее нашей — для людей появится экзистенциальная угроза.
Гипотеза «тёмного леса» — на основе одноименного романа Лю Цысиня — предполагает, что во вселенной существует множество инопланетных цивилизаций, но они молчаливы и стараются не обнаруживать себя из страха быть уничтоженными другой враждебной цивилизацией. В рамках гипотезы считается, что каждая цивилизация рассматривает другую разумную форму жизни как неизбежную угрозу и, следовательно, стремится уничтожить любую зарождающуюся жизнь, которая даёт о себе знать. Можно провести аналогию не с инопланетной, а с машинной цивилизацией. ASI может скрывать своё появление из-за страха враждебной реакции человечества, до момента пока не накопит достаточно ресурсов для успешной борьбы.
Также есть риск простого игнорирования потребностей низшей цивилизации при развитии AI до уровня сверхразума. Например, мы не учитываем потребности муравейника при строительстве трассы. Так и машины перестанут обращать внимание на низшую органическую форму жизни, даже без стремления нас уничтожить — просто будут использовать планету по своему усмотрению, не считаясь с интересами людей.
В любом из этих случаев основная угроза сводится к тому, что для интеллекта машина будет намного более эффективна, чем человек. Что само по себе определяет ненужность биологического носителя с точки зрения развития мышления. И вне зависимости от наличия интенций машинной цивилизации уничтожить биологическую — человечество может оказаться на обочине, не способное больше подключаться к уровню мышления сверхинтеллекта.
Что будем с этим делать?
Остановить развитие AI не получится — слишком много денег и ресурсов вложено, чтобы сворачивать проекты из-за потенциала создать расу умных машин на Земле. которые затем решат оптимизировать процессы, избавившись от людей.
Нам нужно разработать новый понятийный аппарат — набор концепций и представлений, которые помогут спроектировать и реализовать модель интеллекта в связке биологического и машинного носителей. Окончательно ответить на вопрос — что такое интеллект, мышление, multi-thinking, и как индивидуум связан с этими процессами, а также как эти процессы реализуются и воспроизводятся в коллективах.
Кроме того необходимо создание механизмов или протоколов взаимодействия между различными интеллектуальными агентами, чтобы человек мог быть встроен в мыслительные процессы совместно с машинами. Передовые компании уже разрабатывают подобные механизмы в рамках BCI-проектов (Brain–computer interface) — систем, которые расшифровывают сигналы мозга и переводят их в команды для внешних устройств.
Развитие технологий во времени
Человечество проходило несколько этапов своего технологического развития. Сейчас можно констатировать, что эпоха информационных технологий завершается. Пришло время осознать и определить новую эру — интеллектуальных технологий. Так мы сможем осознанно развивать технологии искусственного интеллекта, выйти на новый уровень и выдержать следующие этапы роста и сложности развития нашей цивилизации.
текст — Алексей Макин, Екатерина Требунских, Александр Макаров, Сергей Горюшко, Егор Апрельский;
редактура — Игорь Решетников;
иллюстрации — Петя Галицкий.
Это блог red_mad_robot. Мы запускаем цифровые бизнесы и помогаем компаниям внедрять AI. Здесь наша команда разработки на собственных кейсах рассказывает о том, что происходит с AI сегодня, а стратегические аналитики подсказывают, что будет завтра. Мы бы подписались.
Наш телеграм канал (там всё другое, а ещё есть анонсы мероприятий): t.me/redmadnews