В нескольких романах Курта Воннегута есть вымышленная планета Тральфамадор. Ее жители живут в четырех измерениях, и видят разом все время от начала до конца. Они знают, как началась вселенная, и знают, как она погибнет: тральфамадорские ученые-испытатели запустят супердвигатель, он взорвется и все уничтожит. Но они даже не пытаются предотвратить катастрофу. В их нет и намека на то, что ход событий надо менять. Они продолжают вести прогресс к этому двигателю, потому что в их мире все, что случится, уже случилось.
Иногда мне кажется, мы мыслим также, только чуть менее осознанно. Идея, что прогресс не остановить, вселяет в нас непоколебимый оптимизм. Раз не остановить, то все идет, как идет, и впереди сплошные бесконечные успехи. Надо расслабиться и грести по течению. Даже тревожные сценарии отзываются в уголке сознания романтическим восторгом. «Машины станут умными и всех перебьют? Класс! Как в кино!» Относится к этому с серьезным пессимизмом — почти безумие.
Понятно, что реальность всегда скучнее выдумок, а алармисты и луддиты обычно умирают раньше, чем прогресс оправдывает их страхи. Но если верить некоторым футурологам, мы еще на своем веку можем стать свидетелями больших точек невозврата, к которым с радостью несемся на полной скорости.
Недавно fillpackart написал колонку об уровнях абстракций в современных языках программирования. Якобы между кодом и выполнением на железе так много автоматизированных слоев интерпретации и компиляции, что мы начинаем терять контроль над низкоуровневыми вещами.
Мы много обсуждали эту тему, и, конечно, не считаем, что все программисты дружно должны отказаться от привычных языков и перейти на молоток с паяльником. Абстракции — это здорово. Современные возможности, простота решений задач и уровень комфорта — все просто отлично. Наверное, сейчас быть разработчиком круто, как никогда.
Но мир — штука, полная парадоксов. Думать о том, что будет с индустрией через десять лет, кажется важным. А вот через 60–70–170 — как-то уже не очень. Это как будто нас не касается. Даже если доживем, нам к тому времени станут важнее атмосферное давление и звонки от внуков. Но хотя бы на секунду представьте, что будет, если постоянно увеличивать толщину абстракций и повышать комфорт программирования. Если автоматизировать, и автоматизировать, и автоматизировать.
Думаю, в этом случае потомкам наших потомков достанется в наследство «черный ящик» — технология, которая работает сама по себе, понятным только ей и нам, давно умершим создателям (оставившим какую-то старперскую нечитамую документацию), способом. Технологию не надо будет знать, ее просто надо будет обслуживать. И я уверен, что на этом ИТ-бизнес построит свою культуру, и каждый манифест будет гласить — «Не вникай в суть технологии, просто позволь ей решать задачи».
Только представьте, какими будут разговоры тогда, году в 2199. Наверное, что-то в духе: «По нашим наблюдениям, если говорить системе слово «выполни», у нее получиться на 0.8 секунд быстрее, чем если сказать «сделай». А если в конце программной речи выдержать трехсекундную паузу и потом добавить «аспарагус» — конверсия вырастет на 3%».
И если вы лучшего мнения о человечестве — посмотрите на людей, которые ставят в Фейсбуке ссылку в первом комментарии. Мы уже сегодня начинаем «рационально обоснованные» пляски с бубном у костра, стоит только популярному алгоритму хоть чуть-чуть закрыться от нас стеной.
Действительно важен вопрос не «Превратятся ли технологии в черный ящик», а «Когда это произойдет». И есть люди гораздо умнее меня, которые считают, что магия вместо науки начнется раньше, чем казалось мне.
Прошлым летом я слушал выступление Леонида Ткаченко из МТС на конференции о больших данных. Сначала он говорил о смерти телекома, потом повеселил народ предсказаниями:
Есть теория про технологическую сингулярность. Человеческий интеллект растет достаточно медленно, а искусственный — быстро. Мы прогрессируем тупым способом, случайно спариваемся, когда внешне кто-то понравился, и эволюция человека идет медленно. Мы такие же, как были полтора миллиона лет назад. прогрессирует долго, потому что все происходит случайным образом.
Когда же мы говорим про ИИ, мы его натаскиваем целенаправленно, чтобы он был все лучше и лучше. Он ни с кем не спаривается случайно, он делает то, что мы хотим. И по некоторым расчетам, искусственный интеллект догонит человеческий в 2030–40 году.
Это значит, что технологический прогресс пойдет дальше. Он не остановится. Но двигать его будет ИИ. Мы будем не в состоянии понять то, что он придумал, а он будет и дальше совершать технологические рывки.
И отдельно стоит этический вопрос — не станет ли он работать против нас? Насколько мы сможем его контролировать? Ведь он будет сильнее. Будет ли он работать нам во благо, или мы превратимся в коров.
Коровы ведь живут на Земле, их никто не истребляет. Но коровы даже не понимают, что на Земле еще живут люди, которые используют их, как хотят. Да, коров не стирают с лица Земли, но хозяева жизни сейчас, конечно, мы с вами. В какой-то момент хозяином может стать кто-то другой, такое может случиться. И этот момент — близко.
Леонид, когда это говорил, опирался на прогнозы Вернона Винджа и Реймонда Курцвейла. Виндж — писатель, и хоть термин «технологическая сингулярность» принадлежит ему, прогноз его слишком оптимистичный (пессимистичный?). Якобы мы потеряем контроль над технологическим прогрессом к 2030 году. Курцвейл — инженер, и насчитал чуть больше времени — к 2045-у.
Свои прогнозы оба строили на законе Мура о постоянном увеличении частоты процессоров. «Все кроется в возможностях железа и софта», говорил Курцвейл в 2006-ом.
В своей книге «The singularity is near» я писал, что нам нужно достичь 10 квадриллионов (1016) операций в секунду, чтобы обеспечить функциональный эквивалент всех областей — по некоторым оценкам даже меньше. Некоторые суперкомпьютеры уже на отметке в 100 триллионов (1014), и достигнут 1016 к концу этого десятилетия.
Суперкомпьютеры с одним квадриллионом операций уже в проекте, и два японских производителя планируют достичь 1016 через несколько лет. К 2020 году компьютеры с 10 квадриллионами операций будут стоить тысячу долларов.
То, что железо достигнет таких мощностей, вызывало споры, когда я писал первую книгу в 1999 году, а сейчас это вполне популярное мнение. Теперь споры ведут больше вокруг алгоритмов.
Но сейчас, в 2019 году, видно, как прогнозы Курцвейла если и не сбываются, то по крайней мере отдаляются. Во-первых алгоритмы и пути прокачивать железо пошли немного другими путями. Примерно в то же время, когда Курцвейл это писал, производители стали переходить на многоядерные архитектуры, которые несколько усложнили Муру его закон. А самый мощный на сегодня суперкомпьютер, который начали проектировать в том же 2006-ом, справляется только с двумя сотнями триллионов операций в секунду. До полноценного воссоздания там еще далеко, и еще дальше до стоимости в тысячу долларов.
Другие прогнозы Курцвейла кажутся совсем фантастическими. Например, первая попытка раскрутить VR провалилась, хотя Курцвейл рассчитывал на полноценный переезд в виртуальный мир пару лет назад. Вживленные в голову нанороботы, которые сильно увеличат наши способности, тоже существуют пока только в кино и книгах.
С другой стороны — почти на каждую технологическую неудачу сейчас отвечают «просто еще не пришло время». Оптимизм, пессимизм и ощущение неизбежности не вымести из головы никакой логикой, как будто все предсказанное уже по-тральфамадорски случилось, просто мы не можем разглядеть точную дату.
Если вопрос «когда» решится только ожиданием, то выбор «быть оптимистом или пессимистом» надо делать самим.
Во взглядах Курцвейла, кажется, нет ни капли технофобии. Он редкий оптимист и по сей день считает, что сингулярность приближается, и это не проблема, а вызов, наша индульгенция, чтобы наконец начать аугментировать органические чем-нибудь, в чем есть железяки и микропроцессоры. И за горизонтом сингулярности не потеря контроля над технологией, не сценарий, когда ИИ проснется и всех нас перебьет — а некая революция, в результате которой человек, наконец, перестанет быть чисто биологическим существом.
Ведущий шоу Origins на National Geographic Джейсон Сильва считает, что это уже случилось, просто мы не заметили, потому что случилось оно не в научно-фантастических масштабах, а как всегда бывает в реальности — постепенно и обыденно:
Курцвейл и Кевин Келли говорят, что мы продолжим аугментировать наше , отдавая все больше и больше способов обрабатывать информацию небиологическим носителям. ИИ не восстанет против нас, мы будем делать наш собственный интеллект все более искусственным.
Но мы уже выгружаем часть сознания на искусственные носители. Когда мы пишем что-то на бумаге, часть происходит как раз на этой бумаге. Часть есть в том, что мы двигаем ручкой. Часть происходит, когда ты смотришь на собственные мысли, выгруженные на бумагу и реагируешь на то, что сам написал.
Искусственная среда — уже часть мыслительного аппарата. Философы Дэвид Чалмерс и Энди Кларк высказали тезис о «расширенном сознании», согласно которому, смартфон — это уже дополнение к , и что не ограничено , что сознание на самом деле существует в петле постоянно фидбека между , инструментами и окружением. Вот почему мы говорим, что наши мысли лепят окружение, а окружение влияет на мысли. Все, что мы создаем, создает и нас тоже. Нет никакого «мы против них». Есть один большой распределенный интеллект, который состоит из биологических и небиологических частей.
Поэтому я думаю, нам нечего бояться. Это просто миллиарды шажочков, которые расширяют нашу способность творить.
Их оптимистичное отношение строится на том, что не случится ничего нового, и не над чем будет терять контроль. Что, развивая технологии, мы прокачиваем свое же сознание, и эти вещи неразрывны. Если приглядеться, в этом есть смысл. Больше всего, например, меня поражает наше внутреннее ощущение времени, полностью построенное на инструментах.
Придумав и выписав «на бумагу» часы, минуты и секунды, мы стали все измерять ими на первый взгляд подсознательно. Можно с головой погрузиться в какое-нибудь дело, и закончив его, не думая понять: «я потратил часа три». Можно увлечься фильмом так, что все забываешь, но на титрах ты четко чувствуешь, что прошло два часа. Но если убрать от себя все окружение, все инструменты и все дела, осознание времени начнет ускользать из сознания. Человек, просидев неделю в темной пещере, ошибется с оценкой прошедшего времени на несколько дней. Даже сидя в пустой комнате невозможно оценить, час прошел или два. Оказывается, ощущение времени живет не внутри сознания, а снаружи.
И мы прекрасно живем с тем, что знания человечества давно хранятся не в мозгах, а на внешних носителях. Что вся цивилизация, инфраструктура, общение построены на выгруженных из памяти вещах. Это нормально, потому что носители кажутся даже более надежным и понятным, чем наш собственный .
Но современные технологии построены на забавном парадоксе. Люди не доверяют своему сознанию и пытаются закрепить все за его пределами и одновременно считают человеческое сознание самым надежным контроллером. Но если человек такой непредсказуемый, а механизмы такие понятные и надежные, почему, например, военные директивы запрещают разрабатывать ИИ-системы без человеческого управления?
Иррациональный пессимизм в потоке оптимизма?
Контроль, краеугольный камень парадокса современного прогресса, последнее, что мы готовы отдать внешней среде, хотя сами ему не доверяем.
Я пессимист по жизни, но знаю, что лучше смотреть на все с оптимизмом. Чем доступнее технологии, чем больше все автоматизировано — тем легче жить. Проблемы будут щелкаться, как орешки. Я представляю оптимизм по отношению к технологиям, как полет на самолете. Чтобы долететь с комфортом, надо верить, что приземлишься. Это легко, ведь шансы очень высоки. Но малейший шанс разбиться всегда есть. И если вера в него победит оптимизм, полет превратится в нервотрепный ад.
Я верю, что и оптимизм, и пессимизм вокруг влияния прогресса на нас растет из одного и того же места. Пример с самолетом я приводил потому что я аэрофоб. Я попытался разобраться в своем страхе и понял, что под ним кроется как раз страх перед отсутствием контроля.
Я возненавидел примитивность своего , когда проблема решилась простой психологической уловкой. Помогло приложение, которое мониторит состояние самолета и объясняет на ходу все его звуки, наклоны и прочее-прочее. Получив иллюзию контроля в виде знания, я избавился от тревоги, поржав над всей своей рациональностью и логикой. Ведь от того, что я что-то знаю, шанс разбиться не снизился ни на процент, но мне стало психологически легче.
Страх потерять контроль и не иметь информации — иррациональный. Люди вообще делятся на два типа. Те, кто в детстве спал лицом к двери, чтобы увидеть монстра, который в нее зайдет — и спиной к двери, чтобы ни в коем случае его не видеть. Монстр сожрет тебя в обоих случаях. Вопрос только в количестве полученной информации перед неизбежной смертью, чтобы это было не так страшно. Хотя, какая разница в глобальном смысле?
Если бы я хотел создать ИИ, который должен перехватить контроль у человека, я бы сделал все, чтобы он дарил пользователю иллюзию открытости, понимания и контроля.
И мне кажется современных луддитов и технофобов строится как раз на этом иррациональном страхе — не знать достаточно. Оптимисты, вероятно, спокойны по этому же. Они уверены, что всегда будут знать и контролировать ровно столько, сколько необходимо, чтобы извлекать пользу и комфортно жить.
Грубо говоря, если программирование превратится в обычный человеческий разговор с системой голосом, и это будет реально эффективно работать — то почему нет? Пессимист скажет, «откуда мы знаем, достаточно ли хорошо система все поняла». Оптимист промолчит, покажет эффективно решенную задачу и бросит микрофон.
Страх перед недостатком знания кроется в понимании, что знание существует, но его не получится узнать. Ведь не знать, что не знаешь, не так страшно.
В 1984 Томас Пинчон написал эссе «Нормально ли быть луддитом» и еще тогда говорил, что источник незнания — это слишком большой поток знаний.
В современном мире любой, у кого есть время, компетенция и деньги на оплату доступа может дотянуться до любого специализированного знания, которые ему или ей могут понадобиться. Проблема, в действительности, заключается в том, как найти время для того, чтобы прочитать что-либо за пределами своей собственной специализации.
В тексте Пинчон разбирается, как изменялся страх перед технологиями со временем. После стачек рабочих (откуда и пошло название «луддиты»), которые громили ткацкие станки за то, что те отняли у них работу, технофобия лучше всего фиксировалась в книгах писателей. Ведь писатели, в отличие от ученых, думают, что незнание неустранимо, и вокруг куча вещей, которые они никогда не поймут. Ученые же в каждый момент знают ровно то, что позволит в будущем узнать еще больше. То есть раскрытие абсолютно всех знаний — вопрос времени. Если совсем грубо — писатели думают, что ничего не контролируют, ученые думают, что контролируют ровно столько, сколько нужно, чтобы взять под контроль еще больше.
В те времена, когда погромы и промышленная революция были горячей темой, Мэри Шелли писала роман «Франкенштейн, или современный Прометей». Если говорить с большой натяжкой — это первая научная фантастика, и сразу о том, как ученого убило его создание (простите за спойлер).
С тех пор в книгах фантастов о технологиях пессимизм и оптимизм постоянно менялись, потому что полеты в космос это круто, а ядерные бомбежки плохо — но все это результаты современного прогресса. Со временем технофобия писателей превращалась из ужастика во что-то все более странное. То ли от осознания, что они ошибались, и технологий бояться не нужно. То ли наоборот — потому что все уже потеряно, точки невозврата пройдены, и пессимизм превращается в ощущение безысходности.
Будут ли мейнфреймы привлекать такое же враждебное внимание, как ткацкие станки? Я сильно в этом сомневаюсь. Писатели всех сортов в панике бегут, чтобы приобрести себе текстовые процессоры. Машины уже стали настолько удобными для пользователя, что даже самые неприспособленные из луддитов могут быть настолько ими заворожены, чтобы отложить старую кувалду и вместо этого стучать по клавишам.
При правильном распределении бюджета и компьютерного времени мы сможем вылечить рак, спасти человечество от ядерного уничтожения, вырастить пищу [которой хватит] для всех, нейтрализовать последствия загрязнения окружающей среды пошедшей вразнос промышленностью — словом, реализуем все грустные несбыточные мечты нашего времени.
Если наш мир выживет, то последует очередной большой вызов, на который стоит обратить внимание: вы впервые услышите его тогда, когда все кривые исследований и разработок в области искусственного интеллекта, молекулярной биологии и робототехники сойдутся воедино. Подумать только! Это будет удивительно и непредсказуемо, и даже самые большие начальники, на что мы искренне надеемся, будут пойманы врасплох. Это, безусловно, будет то, чего все примерные луддиты будут с нетерпением ждать, если, даст бог, мы доживём до этого момента.
То есть, страх технофобов превратился не просто в ощущение безысходности, а злорадное ожидание, когда ученые останутся с носом. Когда жадность до знаний и самоуверенность встанут всем боком.
Пессимизм, который проиграл, сейчас кажется уделом ничего не понимающих безумцев (если ты технофоб — иди жить в лес и не мешай). Он превратился в мнение «мы хотим как лучше, но сделаем как всегда». Но о точках невозврата принято думать в будущем времени. Думать, что они уже пройдены, тем более в то время, когда не то что компьютеров — даже письменности не было — совсем дико и бессмысленно.
Такое непопулярное мнение высказал антрополог Юваль Ной Харари в книге «Sapiens: краткая история человечества». По его словам мы придумали свой тральфамадорский супердвигатель десять тысяч лет назад, когда совершили аграрную революцию, и с тех пор наша эволюция пошла в обратную сторону. Якобы человек-собиратель обладал самым развитым в истории, жил гораздо комфортнее и счастливее.
Но потом посадил пшеницу и попал от нее в зависимость.
Аграрная революция отнюдь не стала началом новой, легкой жизни – древним земледельцам жилось куда труднее, а подчас и более голодно, чем собирателям. Охотники и собиратели вели более здоровый образ жизни, не так много трудились, находили себе более разнообразные и приятные занятия, реже страдали от голода и болезней. Благодаря аграрной революции общий объем потребляемой человечеством пищи, безусловно, увеличился, но больше еды – это вовсе не обязательно более полезная диета. Нет, в результате произошел демографический взрыв и возникла элита, но среднестатистический скотовод или земледелец работал больше, а питался хуже, чем среднестатистический охотник или собиратель. Аграрная революция – величайшая в истории афера.
Погоня за легкой жизнью завела людей в тупик. Люди не способны предугадать последствия принятого решения во всей полноте. Всякий раз они вроде бы подписывались на незначительное усложнение работы – скажем, не просто рассыпать семена, а еще и мотыжить предварительно землю. Они говорили себе: «Да, придется поработать. Но зато какой мы соберем урожай! Не придется волноваться из-за будущего недорода. Наши дети никогда больше не будут голодать. То-то заживем!»
Был принят ряд несложных решений с простой ближайшей целью – наполнить желудки, обеспечить какую-никакую безопасность, – но в совокупности эти решения вынудили древних охотников-собирателей таскать под палящим солнцем бесчисленные сосуды с водой и поливать эту клятую пшеницу.
Но как считает Харари, древние люди, посадившие ее, заманили в ловушку не себя. У первых земледельцев все было прекрасно, они реально упростили свою жизнь и привнесли комфорт, к которому их предки стремились веками. Ловушкой это стало для их пра-пра-пра-пра-внуков, которые уже потеряли качества своих предков жить и так, и так и выбирать лучшее. У них осталась только земледелие, и они постепенно попали в плен всех недостатков нового образа жизни.
Теория спекулятивная, натянутая и полная домыслов. И возможно таким же нагнетанием будет считать вредным создание супер автоматизированной системы, которая в далеком будущем решит все проблемы наших потомков. Но мы же ее в любом случае создадим. Потому что прогресс, продуктивность и постоянный рост — новая религия и смысл нашего атеистического времени. И если сейчас нам все лучше и лучше, то зачем зря тревожиться? Мы до сих пор считаем, что еще чуть-чуть, и все станет идеально. Надо только еще немного поработать.
Но если оптимизм на секунду приглушить, и пустить в голову солюционистское «технологии решают проблемы, которые сами создают» — что будет? Ничего кроме, возможно, осознания, что ты идешь не сам, а тебя тащит за разогнавшимся поездом.
Маленький мысленный эксперимент. Представьте, что вы увидели будущее, и знаете — через сто лет технология выйдет из под контроля, что супердвигатель взорвет вселенную при испытаниях (или хотя бы превратит потомков в недоразвитых идиотов). Вы будете что-то менять? Бросите заниматься развитием технологий?
Или вот еще пара деталей. Если бы у вас было реально огромное влияние на прогресс, остановили бы его в этом случае? Если да, то не смутила бы вас мысль, что ваш выбор уже записан в таймлайне? Что влияния на будущее не существует? Что знание не самом деле не дает контроля — это просто знание ради знания, что в глобальном плане оно даст только пассивное созерцание монстра, входящего в комнату.
Когда я пытаюсь ответить себе сам, чувствую только скованность. Это как узнать о крушении самолета, в котором уже летишь. Лучшее, что можно сделать — не орать в панике, а заказать водочки и закурить, хоть и запрещено.
Большая часть нашей жизни — это смирение с необъяснимым существованием. Все будет легче, если просто сделать усилие и осознанно решить получать удовольствие от этого далеко не бесконечного аттракциона. Ведь всегда хорошо о чем-то подумав, приходишь к одному и тому же: лучше об этом нахрен не думать.
Автор: arttom
