Весной 2012 г., Питер Тиль (Peter Thiel), один из основателей PayPal и первый инвестор FaceBook, провел курс в Стенфорде — «Стартап». Перед началом Тиль заявил: «Если я сделаю свою работу правильно, это будет последний предмет, который вам придется изучать».
Один из студентов лекции записывал и выложил транскипт. В данном хабратопике barfuss, переводит семнадцатое занятие, редактор astropilot.
Занятие 1: Вызов будущего
Занятие 2: Снова как в 1999?
Занятие 3: Системы ценностей
Занятие 4: Преимущество последнего хода
Занятие 5: Механика мафии
Занятие 6: Закон Тиля
Занятие 7: Следуйте за деньгами
Занятие 8: Презентация идеи (питч)
Занятие 9: Все готово, а придут ли они?
Занятие 10: После Web 2.0
Занятие 11: Секреты
Занятие 12: Война и мир
Занятие 13: Вы — не лотерейный билет
Занятие 14: Экология как мировоззрение
Занятие 15: Назад в будущее
Занятие 16: Разбираясь в себе
Занятие 17: Глубокие мысли
Занятие 18: Учредитель — жертва или Бог
Занятие 19: Застой или подъем
Лекция 17 — Разбираясь в себе
После лекции Питера к беседе присоединилось трое гостей:
1. Доктор Скотт Браун (D. Scott Brown). соучредитель Vicarious,
2. Эрик Джонас (Eric Jonas), CEO Prior Knowledge,
3. Боб МакГрю (Bob McGrew), главный инженер Palantir.
I. Величие ИИ
На поверхностном уровне мы склонны думать о людях как о весьма разнообразных существах. Люди имеют широкий набор различных способностей, интересов, характеристик, и обладают различным интеллектом. Какие-то люди хорошие, какие-то плохие. Они действительно разные.
Напротив, компьютеры мы склонны рассматривать как очень схожие. Все компьютеры — это в той или иной степени одинаковые черные ящики. Один из способов думать о диапазоне возможных искусственных интеллектов — это перевернуть стандартные рамки. Возможно, сделать это стоит пару раз; существует гораздо больше потенциально возможных различных ИИ, чем людей на свете.
Существует множество способов описания и организации интеллекта. Не все они включают человеческий интеллект.
Даже принимая в расчет огромное разнообразие умов людей, человеческий разум, возможно, — всего лишь небольшая точка по отношению ко всем эволюционным формам интеллекта; представьте себе всех пришельцев со всех планет вселенной, которые только могут существовать.
Но ИИ гораздо разнообразнее, чем все естественно возможные формы интеллекта. ИИ не ограничен эволюцией; он может включать элементы созданные искусственно. Эволюция породила птичек и полёт. Но она не может породить сверхзвуковую птичку с титановыми крыльями. Однонаправленный процесс естественного отбора в экосистемах подразумевает постепенное изменение. ИИ так не ограничен. Таким образом, диапазон потенциальных ИИ еще шире, чем диапазон интеллекта пришельцев, который, в свою очередь, превышает диапазон интеллекта человеческого.
Таким образом, ИИ — весьма большое пространство, настолько большое, что обычные человеческие догадки о его размере часто отличаются на порядки.
Один из больших вопросов насчет ИИ — это насколько в действительности умным он может стать. Представьте себе спектр интеллектов с тремя точками: мышка, слабоумный и Эйнштейн. Куда на этой шкале попадёт ИИ?
Мы склонны думать, что ИИ немного умнее Эйнштейна. Но априори неясно, почему шкала не может идти дальше, намного дальше. Мы склоняемся к вещам, которые являются измеримыми. Но почему это более реалистично, чем сверхчеловеческий интеллект, настолько умный, что его трудно измерить? Возможно, что мышке будет легче понять теорию относительности, чем нам понять, как работает суперкомпьютер с ИИ.
Будущее с ИИ было бы неузнаваемым, как никакое другое будущее. Биотехнологическое будущее включало бы лучше функционирующих людей, но все еще в узнаваемом человеческом облике. Ретробудущее включало бы вещи, которые уже были опробованы в прошлом и воскрешены снова. Но у ИИ есть возможность быть радикально другим и существенно непонятным.
Существует набор таинственных теологических параллелей, которые вы можете усмотреть. Бог мог быть для Средних веков тем, чем ИИ станет для нас. Станет ли ИИ богом? Будет ли он всемогущим? Будет ли он нас любить? Эти вопросы могут не иметь ответов. Но ими все равно стоит задаваться.
II. Непонятность ИИ
Тест Тьюринга — это давний классический тест, который показывает, можете ли вы построить машину, которая интеллектуально ведет себя как человек. Он фокусируется на той части человеческого поведения, которая управляется интеллектом. В последнее время эта популярная проблема перешла из плоскости интеллектуальных компьютеров в плоскость эмпатических компьютеров. Видимо, людей сегодня больше интересует не интеллект компьютера, а могут ли компьютеры понимать наши чувства. Не имеет значения, насколько они интеллектуальны в классическом смысле, — если для компьютера движения человеческого глаза не являются эмоциональным возбудителем, он всё равно в каком-то смысле будет стоять ниже нас.
История технологий — это в основном история замещения людей технологиями. Плуг, печатный пресс, хлопкоочистительная машина, — все это отстраняло людей от дел. Машины были придуманы, чтобы делать дело более эффективно. Однако если замещать людей — плохо, существует противоположное соображение, что машины — это благо. Фундаментальный вопрос тут — это действительно ли ИИ будет замещать людей. Эффект от замещения — это непонятный, почти политический вопрос, который, кажется, неразрывно связан с будущим ИИ.
Существуют две базовые парадигмы. Луддитская парадигма гласит, что машины — это плохо, и вы должны их уничтожить, пока они не уничтожили вас. Это похоже на то, как работники текстильных фабрик уничтожают хлопкопрядильные станки, чтобы они не захватили отрасль переработки хлопка. Парадигма Рикардо, напротив, утверждает, что технологии — это благо в фундаментальном смысле. Это торговая догадка экономиста Дэвида Рикардо (David Ricardo): в то время как технология замещает людей, она освобождает их для бОльших свершений.
Исходя из теории торговли Рикардо, можно утверждать, что если Китай может делать машины дешевле, чем можно произвести их в Америке, для нас — хорошо покупать машины в Китае. Да, люди в Детройте потеряют свои рабочие места. Но их можно переучить. И несмотря на локальные пертурбации, общая ценность может быть максимизирована.
Графики выше отражают базовую теорию. Без торговли вы получаете меньшую производительность. С объединением производства и специализации вы расширяете границы. Создается бОльшая ценность. Эта торговая система взглядов — один из способов взглянуть на технологии. Некоторые работники прядильных фабрик потеряют свою работу, но фабричная цена футболок немного упадёт. Таким образом, рабочие, нашедшие другую работу, теперь занимаются чем-то более эффективным и могут позволить себе больше одежды за те же деньги.
Вопрос в том, останется ли ИИ чем-то, чем можно торговать. Это было бы чисто по Рикардо. Существует естественное разделение труда. Люди хороши в каких-то вещах. Компьютеры хороши в других. Так как они существенно отличаются друг от друга, ожидаемые выгоды от торговли высоки. Таким образом, они торгуют и реализуют эти выгоды. В данном сценарии ИИ не является заменой людям, но скорее дополнением.
Однако все зависит от относительной величины выгод. Сценарий выше реализуется в том случае, если ИИ немного лучше человеческого интеллекта. Но все может пойти по-другому, если ИИ окажется сильно лучше. Что, если он сможет делать в 3000 раз больше, чем человек в любых областях? Будет ли смысл ИИ вообще торговать с нами? Люди, в конце концов, не торгуют с мышами и обезьянами. Так что, хотя теория Рикардо — сильное экономическое предположение, в предельных случаях появляются аргументы в пользу Луддитской парадигмы.
Можно переформулировать ситуацию как борьбу за контроль. Насколько люди контролируют вселенную? По мере того как ИИ становится сильнее, мы получаем все больше контроля. Но потом ИИ достигает точки перегиба, где он становится сверхчеловеческим, и мы теряем контроль полностью. В этом качественное отличие от большинства технологий, которые дают людям больше контроля над миром без конца. У большинства технологий нет точки перегиба. Так что до тех пор пока компьютеры могут обеспечивать нам контроль и преодоление неизвестности, есть вероятность зайти слишком далеко. Мы можем создать суперкомпьютер в облаке, который назовет себя Зевсом, и начнет пулять молниями в людей.
III. Возможности ИИ
Величие и непонятность — это интересные вопросы. Но вопрос, можно ли, и каким образом можно поднять денег при помощи ИИ, может быть еще интереснее. Так насколько велики возможности, даруемые нам ИИ?
A. Не рановато ли для ИИ?
Все, о чем мы говорили в классе, остается важным. Вопрос тайминга здесь особенно важен. Сейчас может быть все еще очень рано для ИИ. Нужны обоснованные доводы. Мы знаем, что часто проекты будущего проваливаются. Сверхзвуковые самолеты 70-х провалились: они были слишком шумные, люди на них жаловались. Наладонники типа iPad из 90-х и смартфоны 1999 провалились. Siri — это, вероятно, пока еще ранняя пташка. Так что пока еще очень непонятно, пришло ли время для ИИ.
Но мы можем попробовать привести доводы об ИИ, сравнивая его с вещами типа биотеха. Если бы у вас была возможность заняться ИИ или штуками из разряда биотех 2.0, которые мы осветили на предыдущем занятии, традиционный взгляд показал бы, что биотех — это верный выбор. Возможно, биоинформационная революция уже сейчас начинает оказывать влияние на людей, или начнет в ближайшем будущем, а реальное прикладное использование ИИ куда более отдаленно. Но традиционный взгляд не всегда прав.
B. Единогласие и скептицизм
На прошлой неделе в Санта Кларе произошло событие под названием “5 лучших венчурных инвесторов, 10 технологических трендов” (5 Top VC’s, 10 Tech Trends). Каждый инвестор сделал два предсказания по поводу технологий на следующие 5 лет. Аудитория голосовала, согласна ли она с каждым предсказанием. Одно из моих предсказаний было в том, что биология превратится в информационную науку. Аудитория проголосовала: море зеленого. 100% согласились с предсказанием. Ни одного несогласного. Возможно, мы должны занервничать. Единодушие в массах может сильно сбивать с толку. Возможно, стоит сильнее задуматься над тезисом “биотех как информационная наука”.
Единственная идея, которую люди посчитали плохой, была о том, что все машины станут электрическими. 92% аудитории проголосовало против этого. Есть много причин предвзято относиться к электрокарам. Но теперь одной причиной меньше.
Ближайший к ИИ вопрос, который обсуждался, был в том, продолжит ли действовать закон Мура. Аудитория разделилась 50/50 по этому вопросу. Если он продолжит действовать, то есть если будет происходить более чем удвоение каждые 18 месяцев, то, кажется, мы получим что-то типа ИИ уже в ближайшие годы. И в то же время большинство людей считают, что ИИ куда дальше от нас, чем биотех 2.0.
C. (Скрытые) пределы
Один из способов сравнения биотеха и ИИ — это подумать, нет ли там серьезных — и может скрытых — пределов в каждом из них. Сюжет революции биотеха: мы собираемся обратить вспять и вылечить все типы болезней, так что если вы просто доживете до момента x, вы сможете жить вечно. Это неплохой сюжет. Однако, весьма вероятно, существуют скрытые барьеры, подводные камни. К примеру, возможно, различные системы в организме человека действуют друг против друга для достижения равновесия. Теломераза помогает клеткам делиться неограниченное количество раз. Это важно, поскольку если клетки не делятся, вы перестаете расти и начинаете стареть. Так что первая линия рассуждений заключается в том, что вам надо пить красное вино и делать всё возможное для сохранения теломеразы.
Проблема в том, что неограниченное деление клеток начинает походить на рак в какой-то момент. Так что возможно, что старение и рак влияют друг на друга взаимоисключающе. Если бы люди не старели, они бы быстрее умирали от рака. Но если вы отключите теломеразу раньше, вы просто постареете быстрее. Устраняя одну проблему, получаем другую. Непонятно, где тут правильный баланс, могут ли быть преодолены эти препятствия вообще, существуют ли они в действительности.
Самый вероятный кандидат на барьер в мире ИИ — это сложность кода. Может существовать некий лимит, где ПО становится слишком сложным по мере того, как вы создаете новые и новые строки кода. После определенной точки оказывается так много всего, за чем нужно следить, что уже никто не понимает, что происходит. Дебаггинг становится сложным или вовсе невозможным. Что-то такое можно сказать о Microsoft Windows через несколько десятилетий. Она была элегантной. Возможно, она может быть немного улучшена, или уже была. Однако в ней могут существовать существенные скрытые барьеры. В теории, вы добавляете строки кода, чтобы улучшить вещь. Но они могут сделать только хуже.
Фундаментальная борьба между экспоненциальной надеждой и асимптотической реальностью. Оптимистичный взгляд — это экспоненциальная кривая. Мы можем выступать за неё, но она вроде как неизвестна. Вопрос в том, когда вступит в действие асимптота, и вступит ли.
И версия ИИ:
D. ИИ выбивается в лидеры
Существует множество параллелей между созданием нового в биотехе и в ИИ. Однако есть три отличительных преимущества в фокусировании на ИИ:
1. Свобода инженерии
2. Свобода от регулирования и предписаний
3. Недоисследованность (действие вопреки тенденциям)
Свобода инженерии сопряжена с тем, что биотех и ИИ фундаментально очень разные. Биология развивалась в природе. Иногда люди представляют биологические процессы в виде чертежей. Но точнее было бы представлять их в виде рецептов. Биология — это набор инструкций. Добавьте пищи и воды и запекайте 9 месяцев. И таких конструкций целые серии. Если пирожок у вас не вышел, очень сложно исправить его, просто заглянув в кулинарную книгу.
Это не идеальная аналогия. Но в целом, ИИ куда больше похож на чертеж. В отличие от основанного на рецептах биотеха, ИИ гораздо менее зависим от точных последовательностей шагов. У вас больше инженерной свободы для раскладывания вещей в разных комбинациях. В процессе изменения биологического рецепта гораздо меньше свободы, чем в создании чертежа с нуля.
С точки зрения законодательства, радикальное различие заключается в том, что биотех очень сильно зарегулирован. Разработка нового лекарства занимает 10 лет и обходится в 1.3 миллиарда долларов. В этой работе куча предосторожностей. В FDA (Управление по контролю качества пищевых продуктов и лекарственных средств) работает 4000 человек.
ИИ, напротив, является нерегулируемым полем. Вы можете запускаться, как только готово ваше ПО. Это может стоить вам $1 миллион, или несколько миллионов. Но не миллиард. Вы можете работать у себя в подвале. Если вы попытаетесь синтезировать Эболу или оспу у себя в подвале, вы можете влипнуть в самые разные неприятности. Но если вы просто хотите рубиться в ИИ у себя в подвале, это нормально. Никто не придет за вами. Может, дело в том, что бюрократы и политики — чудилы без воображения. Может, законодатели просто не интересуются ИИ. В любом случае, каковы бы ни были причины, вы свободны в работе.
Кроме того, ИИ по отношению к биотеху недоисследован. Представьте матрицу 2х2; по одной оси у вас недоисследованность — высокая исследованность. По другой оси консенсус — противоречия. Биотех 2.0 попадает в квадрант высокой исследованности и консенсуса, который, понятное дело, является худшим. “Это следующий большой прорыв” — аудитория в Санта Кларе была на 100% убеждена в этом. ИИ, наоборот, попадает в квадрант недоисследованности и противоречий. Люди говорят об ИИ десятилетиями. А искусственный интеллект так и не случился. Таким образом, многие стали пессимистами на его счёт, и сместили свой фокус. Это может быть очень хорошо для тех, кто хочет сфокусироваться на ИИ.
PayPal, по настоянию Люка Нозека (Luke Nosek), стал первой компанией в истории, которая включила криогенику в пакет привилегий сотрудников. У нас была вечерина в духе Tupperware, где представители криогенных компаний по очереди пытались убедить людей подписаться за $50k на нейрозаморозку, или за $120k на заморозку всего тела. Всё шло хорошо, но потом они не смогли распечатать условия, потому что не смогли заставить работать свой матричный принтер. Так что, может быть, чтобы заставить биотех работать как надо, нужно поднажать на фронт ИИ.
IV. Седлаем ИИ
К нашему разговору сегодня присоединились люди из трёх разных компаний, которые занимаются вещами, связанными с ИИ. Две из них — Vicarious и Prior Knowledge — находятся на ранней стадии. Третья, Palantir, постарше.
Vicarious пытается построить ИИ, разрабатывая алгоритмы, которые используют базовые принципы работы человеческого . Они полагают, что высокоуровневые концепты получаются из приземленного опыта взаимодействия с миром, и поэтому создание ИИ требует, для начала, объяснения работы человеческой сенсорики. Таким образом, их первый шаг — это построение системы зрения, которая понимает изображения так, как это делает человек. Одно это будет иметь различные коммерческие приложения — например, поиск изображений, робототехника, медицинская диагностика — но долгосрочный план заключается в том, чтобы пойти дальше зрения, и создать интеллектуальную машину в целом.
Prior Knowledge использует другой подход к построению ИИ. Их цель — это в меньшей степени эмуляция функций , и в большей — разработка разных способов обработки больших массивов данных. Они применяют набор Байесовых вероятностных подходов к распознаванию образов и установлению причинных связей в больших наборах данных. В каком-то смысле это противоположность эмуляции работы ; интеллектуальная машина должна обрабатывать огромные массивы данных с помощью сложных математических алгоритмов, которые существенно отличаются от того, как большинство людей анализируют вещи в повседневной жизни.
Большой инсайт Palantir заключается в том, что лучший способ остановить террористов — это не регрессионный анализ, когда вы смотрите на то, что они наделали в прошлом с целью предсказать, что они сделают в будущем. Лучше подойти со стороны теории игр. Работа Palantir не совсем вписывается в искусственный интеллект, она скорее о дополненном интеллекте. Она весьма четко вписывается в выгоды Рикардовой торговой парадигмы. Ключ в том, чтобы найти правильный баланс между человеком и компьютером. Это очень похоже на технологии защиты от мошенничества, разработанные в PayPal. Люди не могли решить проблему мошенничества, поскольку происходили миллионы транзакций. Компьютеры не могли решить ее, поскольку шаблоны мошенничества менялись. Но если компьютер делает сложные вычисления, а человек делает финальный анализ, как слабая форма ИИ, это оказывается оптимальным в таких случаях.
Итак, давайте поговорим с доктором. Скоттом Брауном (D. Scott Brown) из Vicarious, Эриком Джонасом (Eric Jonas) из Prior Knowledge и Бобом МакГрю (Bob McGrew) из Palantir.
V. Перспективы
Питер Тиль: Очевидные вопрос к Vicarious и Prior Knowledge: почему сильный ИИ нужно делать именно сейчас, а не лет через 10-15?
Эрик Джонас: Традиционно мы не испытывали реальной потребности в сильном ИИ. Теперь она появилась. Сейчас у нас есть гораздо больше информации, чем было когда-либо. Так что, во-первых, все эти данные требуют, чтобы мы с ними что-то делали. Во-вторых наличие AWS означает, что вам больше не нужно самостоятельно строить серверные фермы для пережевывания терабайтов данных. Поэтому мы полагаем, что совместное влияние необходимости и возможности вычислений наполняют Байесову обработку данных смыслом.
Скотт Браун: Если продолжатся современные тренды, в течение 14 лет самый быстрый суперкомпьютер мира сможет проделывать больше операций в секунду, чем все нейроны всех живущих людей вместе взятых. Что мы будем делать с этой мощью? На самом деле мы не знаем. Так что, возможно, нам стоит потратить ближайшие 13 лет на поиски тех алгоритмов, которые мы будем запускать. Суперкомпьютер размером с Луну сам по себе ничего не дает. Он не может быть интеллектуальным, если ничего не делает. Поэтому один из ответов на вопрос о тайминге в том, что мы просто видим, к чему все идет, и у нас есть время поработать над этим. Неизбежность вычислительных мощностей — это сильный драйвер. К тому же, очень немногие работают над сильным ИИ. Ученые по большей части — нет, потому что их мотивационная структура довольно странная. У них извращенная мотивация, которая побуждает их делать только постепенные улучшения. А большинство частных компаний не работают над ним, потому что хотят делать деньги сейчас. Не так уж много людей, которые хотят делать 10-летний “Манхэттэн проджект” по сильному ИИ, где единственная мотивация — это измеримые контрольные точки между сегодня и моментом, когда компьютеры смогут думать.
Питер Тиль: Почему вы считаете, что эмуляция работы — это верный подход?
Скотт Браун: Уточняю: мы на самом деле не занимаемся эмуляцией. Если вы строите самолет, вы не преуспеете, если сделаете гадящую штуку с перьями. Вы скорее смотрите на принципы полета. Вы изучаете крылья, аэродинамику, подъемную силу и т.п., и строите что-то, что отражает эти принципы. Мы похожим образом смотрим на принципы работы человеческого . Существуют иерархии, редко встречающиеся образы и т.п. — все, что представляет собой конструкции в пространстве поиска. И мы строим системы, которые инкорпорируют эти элементы.
Питер Тиль: Не пытаясь затеять драку, мы спросим Боба: почему дополненный интеллект — правильнее, чем сильный ИИ?
Боб МакГрю: Большинство успехов в ИИ не были штуками, успешно прошедшими тест Тьюринга. Они являли собой решения конкретных проблем. Самоуправляемый автомобиль, например, — это реальная круть. Но он не интеллектуален в целом. Другие успехи, в машинном переводе или в обработке изображений, например, включали возможность для человека вводить все более сложные модели мира и последующую их компьютерную оптимизацию. Другими словами, все большие успехи были получены из торговых выгод. Люди лучше компьютеров в чем-то, и наоборот.
Дополненный интеллект работает, потому что он фокусируется на концептуальном понимании. Если не существует модели для проблемы, вы должны разработать ее концепт. Компьютеры очень плохо с этим справляются. Построение ИИ, который просто ищет террористов, — это ужасная идея. Вам нужно было бы создать машину, которая думает как террорист. Нам до такого еще, вероятно, лет 20. Но компьютеры хороши в обработке данных и сопоставлении паттернов. А люди хороши в разработке концептуальных понятий. Сопоставьте эти вещи, и вы получите подход дополненного интеллекта, где торговая выгода позволяет вам решать проблемы вертикаль за вертикалью.
Питер Тиль: Что вы думаете о временном горизонте для сильного ИИ? Если мы в 5-7 годах от него — это одно. Но 15-20 лет — это уже совсем другое.
Эрик Джонас: Это коварный вопрос. Нахождение баланса между компанией и исследовательским мероприятием – это не всегда просто. Но наша цель — просто создать машины, которые могут находить в данных вещи, которые люди найти не могут. Это 5-летняя цель. Получится совместная выгода, если мы построим эти Байесовы системы так, что они смогут работать вместе. Ядро Линукс содержит 30 млн строк кода. Но люди могут создавать приложения для Андроид без копания в этих 30 млн строк. Так что мы фокусируемся на том, чтобы иметь уверенность, что то, что мы делаем сейчас, может быть использовано для решения больших проблем, с которыми люди будут работать через 15 лет.
Питер Тиль: ИИ существенно отличается от того, чем занимается большинство компаний Кремниевой долины, работающих в вебе или сфере мобильных приложений. Раз уж инженеры стремятся в эти стартапы, что вы делаете в смысле рекрутинга?
Скотт Браун: Мы спрашиваем людей о том, что для них важно. Многие люди хотят оставить след в истории. Они могут не знать, как лучше это сделать, но они хотят этого. Так что мы подчеркиваем, что сложно сделать что-то более важное, чем построение сильного ИИ. Потом, если они заинтересуются, мы спрашиваем их, каким они себе представляют сильный ИИ. Какой инкрементный тест нужно пройти чему-то, чтобы это что-то оказалось точкой на пути к ИИ? Они приносят несколько тестов. И мы сравниваем их стандарты с нашей дорожной картой, и тем, чего мы уже достигли. С этого момента становится ясно, что Vicarious — это то место, где вам нужно быть, если вы серьезно настроены насчет создания интеллектуальных машин.
Вопрос из аудитории: Даже если вы преуспеете, что произойдет после того как вы создадите ИИ? Какая у вас защита от конкуренции?
Скотт Браун: Частично это сам процесс. Братьям Райт помогла построить самолет не какая-то секретная формула, которую они вдруг вывели. Это была строгая приверженность аккуратным контролируемым экспериментам. Они начали с малого и построили воздушного змея. Вычислили его механику. Потом они перешли к бездвигательным глайдерам. И как только они поняли механизмы управления, они двинулись дальше. В итоге всего процесса у них была штука, которая могла летать. Так что ключ к успеху — это понимание того, почему каждый кусочек необходим на каждой стадии, и, в конце концов, как они друг с другом сходятся. Так как качество порождается процессом, скрытым за результатом, результат будет трудно воспроизвести повторно. Копирование воздушного змея братьев Райт или нашей системы видения не даст вам понимания, какие эксперименты нужно провести, чтобы превратить это в самолет или в мыслящий компьютер.
Питер Тиль: Давайте перейдем к вопросам конфиденциальности. Работают ли над этим другие? Если да, то много ли их, или если нет, как вы узнали об этом?
Эрик Джонас: Набор и класс алгоритмов, используемых нами, довольно точно очерчен, так что мы думаем, что у нас есть хорошее чувство конкурентного и технологического ландшафта. Существует что-то около 200 — ну, чтобы быть более консервативным, скажем, 2000 — людей, которые обладают навыками и энтузиазмом, достаточными для того, чтобы делать то, что мы делаем. Но решают ли они в точности те же проблемы, и теми же способами, что и мы? Это очень маловероятно.
Конечно, у первопроходца будет некое преимущество, а также защищаемая интеллектуальная собственность в контексте ИИ. Но, заглядывая на 20 лет в будущее, нет никаких причин быть уверенным в том, что другие страны поддержат законы об интеллектуальной собственности Соединенных Штатов по мере того, как они развиваются и подключаются к проблеме. Как только вы понимаете, что что-то возможно — как только кто-то делает большой прорыв в ИИ — пространство поиска сильно сужается. Конкуренция станет жизненным фактом. Точка зрения Скотта о процессе хороша. Штука в том, что вы можете оставаться впереди, если строите лучшие системы и понимаете их лучше, чем кто-либо еще.
Питер Тиль: Давайте разовьем тему уклонения от конкуренции. Возможно, открытие пиццерии в Пало Альто — не лучшая идея, даже если вы первый. Придут другие, и станет слишком тесно. Так какую же стратегию выбрать?
Скотт Браун: Сетевые эффекты могут обеспечить серьезное преимущество. Скажем, вы разработали замечательное ПО для распознавания изображений. Если вы — первый и лучший, вы сможете стать AWS в мире распознавания. Вы создаете петлю обратной связи, которая вас обезопасит; все подсядут на вашу систему, и она будет становиться лучше, поскольку все сидят на ней.
Эрик Джонас: У AWS есть конкуренты, но они по большей части не выше уровня шума. AWS до сих пор была на шаг впереди них в инновациях. Основная идея заключается в скорости убегания, когда устойчивое лидерство основывается само на себе. Мы играем в ту же игру с данными и алгоритмами.
Скотт Браун: И вы становитесь лучше, пока другие просто вас копируют. Предположим, вы построили хорошую систему зрения. К тому времени как люди скопируют вашу V1, вы уже приложите свои алгоритмы к слуховым и языковым системам. И у вас не только больше данных, чем у них, но вы успели привнести в улучшенную V1 и новые вещи.
Питер Тиль: Переключимся на главный экзистенциальный вопрос в ИИ: насколько опасна эта технология?
Эрик Джонас: Я трачу намного меньше времени на беспокойство об опасностях технологии, чем на то, когда мы станем прибыльными. Поэтому я планирую назвать своего ребенка Джон Коннор Джонас…
Если серьезно, мы знаем, что вычислительная сложность ограничивает возможности ИИ. Это интересный вопрос. Допустим, мы сможем сэмулировать человека в коробке, по Робину Хэнсону (Robin Hanson). Какие уникальные угрозы это несет? Этот интеллект не будет озабочен благополучием людей, так что он потенциально вредоносен. Но для этого могут существовать серьезные ограничения. Подход Байеса — это, в определенном смысле, хороший способ рассуждать в условиях неопределенности. В какой мере меня это волнует: я больше переживаю за следующее поколение, но не за нас сейчас.
Скотт Браун: Мы рассуждаем об интеллекте, как о чем-то ортогональном моральной интуиции. ИИ может быть способен делать точные предсказания, но не судить о том, что хорошо, а что плохо. Он может быть просто оракулом, который рассуждает о фактах. В таком случае он такой же, как и любая другая технология; изначально нейтральный инструмент, который настолько же хорош или плох, насколько хорош или плох человек, пользующийся им. Мы много думаем об этике, но не в том ключе, в котором популярные компьютерные философы пишут о ней. Люди часто путают наличие интеллекта с наличием воли. Интеллект без воли — это просто информация.
Питер Тиль: Так что вы оба убеждены, что фундаментально это всё сработает.
Скотт Браун: Да, но не в мечтательном смысле. Мы должны относиться к своей работе так же, как к построению бомбы или созданию супер-вирусов. В то же время, я не думаю, что возможны жесткие сценарии вроде Skynet. Мы добьемся некоторых прорывов в некоторых областях, подключится сообщество, и процесс повторится.
Эрик Джонас: И нет оснований полагать, что ИИ, который мы создадим, будет способен создать лучший ИИ. Может, это и будет так. Но не обязательно. Вообще, это интересные вопросы. Но люди, которые слишком много времени тратят на них, в итоге могут не оказаться людьми, которые действительно создадут ИИ.
Боб МакГрю: Мы в Palantir смотрим на опасности технологии немного иначе, так как мы создаем дополненный интеллект вокруг сенсорных данных, не пытаясь построить сильный ИИ. Конечно, компьютеры могут быть опасны, даже если они не являются полностью искусственно интеллектуальными. Поэтому мы работаем в сотрудничестве с юристами по правам человека и частной собственности, они помогают нам работать в безопасных рамках. Очень важно найти правильный баланс.
Вопрос из аудитории: Знаем ли мы в действительности достаточно о , чтобы эмулировать его?
Эрик Джонас: Мы на удивление мало понимаем принципы работы . Мы знаем, как люди решают проблемы. Люди очень хороши в интуитивном нахождении паттернов в малых объемах данных. Иногда этот процесс кажется иррациональным, но в действительности он может быть весьма рациональным. Но мы не так уж много знаем о колесиках и винтиках нервной системы. Мы знаем, что реализуются различные функции, но не знаем, как именно. Так что люди используют разные подходы. У нас свой подход, и, возможно, того, что мы знаем, вполне достаточно для использования стратегии эмуляции. Тут шанс 50/50.
Скотт Браун: Как я уже говорил, мы считаем, что эмуляция — это неправильный подход. Братьям Райт не нужны были детальные модели физиологии птиц, чтобы построить самолет. Вместо этого мы задаемся вопросом: какими статистическими неравномерностями воспользовалась бы природа в создании ? Если вы взглянете на меня, вы увидите, что пиксели, составляющие мое тело, не передвигаются рандомно по вашему полю зрения. Они сгруппированы в каждый момент времени. Существует также иерархия, в соответствии с которой, если я поворачиваю лицо, глаза и нос движутся вместе с ним. Глядя на то, как эта пространственная и временная иерархия превращается в сенсорную информацию, мы можем получить хорошую подсказку относительно того, какого рода вычисления мы можем найти в . И вот, когда вы смотрите на , вы видите пространственно-временную иерархию, которая отражает данные о мире. Совмещение этих идей в строгом математическом порядке и их тестирование в приложении к реальному миру — это и есть то, как мы пытаемся создать ИИ. Так что нейрофизиология очень помогает, но только в общем смысле.
Вопрос из аудитории: Насколько легко будет перенести систему зрения на систему слуха, языка и т.д.? Если бы было так легко решить одну вертикальную проблему и просто применить решение к другим вертикалям, разве кто-нибудь не сделал бы этого уже? Есть ли причина считать, что издержки такого перехода низки?
Скотт Браун: Зависит от того, есть ли для этого общий кортикальный контур. Существует хорошая экспериментальная поддержка того факта, что входящую визуальную и аудиальную информацию обрабатывает один контур. В одном из недавних экспериментов в мозгах хорьков переподключили нервный канал оптической информации к области , обрабатывающей слуховую информацию. Хорьки были способны нормально видеть. Существует множество экспериментов, демонстрирующих схожие результаты, которые поддерживают тезис об общем алгоритме, который мы называем “интеллект”. Конечно, для разных типов сенсорных данных нужно делать свои настройки, но мы считаем, что это будут настройки одного мастер-алгоритма, а не фундаментально иной механизм.
Эрик Джонас: Мой соучредитель Бо (Beau) был в этой лаборатории с хорьками в MIT. Похоже, что кортикальные зоны и соответствующие им паттерны во временных рядах данных достаточно гомогенны. Мы понимаем мир не потому, что обладаем идеальными алгоритмами, но также потому что нам помогает громадное количество наблюдаемой информации. Всеобъемлющая цель — возможно, для всех нас — получить все знания о мире с целью воспользоваться ими. Резонно полагать, что некоторые вещи перебазируются на другие вертикали. Продукты различны; очевидно, создание видеокамеры не помогает продвинутой речевой терапии. Но, возможно, в таком подходе кроется множество частичных совпадений.
Питер Тиль: Существует ли страх, что разрабатываемая вами технология будет нуждаться в проблеме для решения? Беспокоит то, что ИИ похож на научный проект, который может не иметь приложения в данный момент.
Эрик Джонас: Мы считаем, что лучшее понимание данных имеет множество возможностей приложения. Нахождение верного баланса между построением ядра технологии и фокусировкой на продуктах — это всегда проблема, которую должны решать команды стартаперов. Конечно, нам нужно следить за бизнес-требованиями идентификации конкретных вертикалей проблем и создания продуктов, имеющих конкретное приложение. Ключ — совместная работа с советом директоров и инвесторами над долгосрочным видением и различными целями по пути.
Скотт Браун: Мы основали Vicarious, потому что хотели раскусить ИИ. Мы считали, что шаг за шагом кто-то захочет создать настоящий ИИ. Оказывается, многие из этих шагов имеют довольно большую коммерческую значимость сами по себе. Взять хотя бы распознавание неразделенных объектов. Если мы просто достигнем этой точки, это само по себе будет очень ценно. Мы смогли бы вывести это на уровень продукта и продолжить дальше. Поэтому вопрос ставится так: можете ли вы «продать» свое видение проблемы и поднять денег, чтобы развиваться к первой контрольной точке, вместо того чтобы просить пустой чек на проведение невнятных экспериментов ведущих к выигрышу с вероятностью 50/50 через 15 лет.
Боб МакГрю: Нужно быть настойчивым. Вероятно, больше не осталось низко висящих фруктов. Если сильный ИИ — это высоко висящий фрукт (или даже недостижимо высоко висящий), дополненный интеллект Palantir — это вполне досягаемый фрукт. И у нас ушло три года, прежде чем мы получили платежеспособного клиента.
Питер Тиль: Вот вопрос к Бобу и Palantir. Доминантная парадигма, к которой люди склоняются по умолчанию, либо на 100% человеческая, либо на 100% компьютерная. Люди считают их антагонистичными. Как вы собираетесь убедить ученых или Гугл, которые сосредоточены на отодвигании рамок возможностей компьютеров, что парадигма сотрудничества человека и компьютера, предлагаемая Palantir — лучше?
Боб МакГрю: Простой способ сделать это — говорить о конкретной проблеме. Deep Blue побил Каспарова в 1997. Компьютеры сегодня лучше играют в шахматы, чем мы. Хорошо. Но какая сущность лучше играет в шахматы? Оказывается, это не компьютер. Хорошие игроки в паре с компьютером на самом деле побивают людей и машины, играющих по отдельности. Доказано: шахматный ИИ слаб. Но если симбиоз человека и компьютера лучше в шахматах, то он точно так же может быть использован в других контекстах. Анализ данных — это как раз такой контекст. Поэтому мы пишем программы, помогающие аналитикам делать то, что компьютеры сами не могут делать, и то, что аналитики не могут делать без компьютеров.
Эрик Джонас: И взгляните на механического болвана. Краудсорсинг интеллектуальных задач в ограниченных рамках — даже простые задачи фильтрации, типа “это спам, а это нет” — указывает на быстро размывающуюся разделительную черту между машинами и человеком.
Боб МакГрю: В этом смысле, Crowdflower — это темный близнец Palantir; они фокусируются на том, как использовать людей для улучшения компьютеров.
Вопрос из аудитории: Какие принципы имеет ввиду Palantir в при создании своего ПО?
Боб МакГрю: Нет какой-то одной ключевой идеи. У нас есть несколько разных вертикалей. По каждой из них мы смотрим, что нужно делать аналитикам. Вместо того, чтобы заменить аналитика, мы спрашиваем, в чем конкретно они не так хороши. Как может ПО поддержать их работу? Как правило, это подразумевает создание ПО, обрабатывающего большие объемы данных, идентифицирующего и запоминающего шаблоны и т.п.
Вопрос из аудитории: Как вы балансируете между обучением ваших систем и наполнением их функционалом? Младенцы хорошо понимают выражения лиц, но ни один младенец не понимает арифметику.
Скотт Браун: Это именно такое отличие, которое мы используем, чтобы решить, какие знания должны быть зашиты в наши алгоритмы, а какие — приобретены ими. Если мы не можем сказать, что какое-то конкретное дополнение правдоподобно для обычного человека, мы не добавляем его.
Питер Тиль: Когда существует богатая история деятельности, выигрывающей лишь небольшие преимущества на поле боя, есть ощущение, что все может быть немного сложнее, чем думают люди. Простой пример — это Война с Раком; мы на 40 лет ближе к победе, а победа, возможно, дальше, чем когда-либо. Люди 80-х считали, что ИИ находится прямо за углом. Существует, кажется, длинная история несбывшихся ожиданий. Как мы можем быть уверены, что ИИ — это не тот случай?
Эрик Джонас: С одной стороны, это может быть сделано. Есть простое доказательство этому: всё, что нужно, чтобы создать интеллект уровня человеческого — это пара пива и невнимательное отношение к контролю рождаемости. С другой стороны, мы в действительности не знаем, будет ли решена проблема сильного ИИ, и если да, то когда. Мы, как нам кажется, делаем лучшую ставку.
Питер Тиль: Так это по существу статистический аргумент? Это типа как ждать багаж в аэропорту: вероятность, с которой ваша сумка появится на ленте, растёт с каждой минутой. До тех пор пока в какой-то момент багаж не выезжает, и вероятность сразу падает.
Эрик Джонас: Все думают, что у ИИ много багажа. Продавать ИИ венчурным капиталистам — довольно сложно. Это именно те, кто думал, что ИИ образуется гораздо легче, чем это происходит в действительности. В 1972 году в MIT кучка людей считала, что они просто соберутся вместе и разберутся с ИИ за одно лето. Конечно, этого не произошло. Но удивительно, насколько уверены они были в том, что смогут сделать это — и они работали на мэйнфреймах PDP-10! Сейчас мы знаем, насколько всё невероятно сложно. Поэтому мы разгребаем небольшие участки. Ушли те дни, когда люди считали, что они могут просто собраться с друзьями и создать ИИ за лето.
Скотт Браун: Если мы применим довод о багаже к самолетам в 1900-х, мы бы сказали: “Люди пытались построить летательный аппарат сотни лет, и так и не смогли.” Даже после того, как это действительно произошло, многие умнейшие люди в этой области продолжали утверждать, что летательный аппарат тяжелее воздуха физически невозможен.
Эрик Джонас: В отличие от вещей типа путешествия со скоростью света или существенного увеличения продолжительности жизни, у нас, по крайней мере, есть доказательства возможности.
Вопрос из аудитории: Вы больше фокусируетесь на цели в общем или на контрольных точках по пути?
Эрик Джонас: Это всегда должно быть и то и другое. Типа “мы создаем невероятную технологию” и потом “вот что она позволяет.” Контрольные точки — это ключ. Спросите себя, что вы знаете, что не знает никто, и составьте план, как этого добиться. Как говорит Аарон Леви (Aaron Levie) из Box, вы всегда должны быть способны объяснить, почему именно сейчас настало время делать то, что вы делаете. Технология без хорошего тайминга ничего не стоит, хотя верно и обратное.
Скотт Браун: Сильные заявления также требуют сильных доказательств. Если вы продаете машину времени, вы должны быть способны показать последовательный прогресс, прежде чем вам кто-то поверит. Может быть, ваш демка для инвестора сможет послать ботинок в прошлое. Это было бы отлично. Вы можете показать этот прототип и потом объяснить инвесторам, что нужно сделать, чтобы машина смогла решать более значительные проблемы.
Стоит отметить, что если вы продаете революционную технологию как противоположность инкрементной, куда лучше будет найти инвесторов, которые сами разбираются в технологиях. Когда Trilogy пыталась поднять свой первый раунд инвестиций, инвесторы привлекли профессуру, чтобы оценить их подход к проблеме конфигуратора. Стратегия Trilogy была далека от статуса кво, и профессоры сказали инвесторам, что это никогда не сработает. Эта ошибка дорого стоила инвесторам. Когда вовлекается противостоящее знание, для вас будет лучше, если инвестор сам сможет составить мнение о вещах.
Питер Тиль: Самым долгим и прогоревшим стартапом в Кремниевой долине был, наверное Xanadu, который пытался с 1963 по 1992 соединить все компьютеры мира. У него закончились деньги и он умер. А потом прямо на следующий год появился Netscape и захватил Интернет.
И еще, есть, возможно, апокрифическая история о Колумбе и его путешествии к Новому Миру. Все считали, что мир куда меньше, чем он был на самом деле, и что они попадут в Китай. Когда они уже плыли слишком долго, а Китай уже должен был оказаться позади, команда хотела повернуть назад. Колумб убедил их отложить мятеж на три дня, и в конце концов они сошли на берег континента.
Эрик Джонас: И это делает Северную Америку самой большой точкой отсчета в истории.
Примечание:
Прошу ошибки перевода и орфографические слать в личку. Переводил barfuss, редактор astropilot, все благодарности им.
Автор: zag2art
