От распределённого бэкенда — к сильному ИИ. Чем сейчас занимается легендарный Джефф Дин?

На Хабре иногда рассказывают про выдающихся программистов современности, таких как Линус Торвальдс ^[2], Фабрис Беллар ^[3] и Джефф Дин ^[4]. Про этих людей ходят легенды. Особенно выделяется последний, которого в шутку сравнивают с Чаком Норрисом.

Шутки про Джеффа Дина ^[4] дают понимание, насколько легендарной стала эта личность среди разработчиков Google:

«Когда Джефф Дин разрабатывает программу, то сначала создаёт бинарник, а потом пишет исходный код как документацию».

«Джефф Дин однажды не прошёл тест Тьюринга, потому что правильно установил 203-е число Фибоначчи менее чем за секунду».

«Джефф Дин родился 31 декабря 1969 года в 23:48. Ему потребовалось 12 минут, чтобы запустить свой первый счётчик времени».

▍ Предыдущие работы

До прихода в Google Джефф Дин работал в Западной исследовательской лаборатории DEC/Compaq, где занимался разработкой средств профилирования, архитектуры CPU и информационного поиска. Большая часть его работы была выполнена в тесном сотрудничестве с Санджаем Гемаватом, потом они вместе перешли в Google («Дружба, благодаря которой Google вырос до огромных размеров» ^[5]).

Ещё до аспирантуры Джефф принял участие в Глобальной программе по СПИДу Всемирной организации здравоохранения, разрабатывая ПО для статистического моделирования и прогнозирования пандемии ВИЧ. Его бесплатная программа Epi Info ^[6] работала в 26 раз быстрее любого профессионального софта для обработки больших объёмов эпидемиологических данных.

«Скорость света в вакууме была около 55 км/ч. Затем Джефф Дин потратил уик-енд на оптимизацию физики».

Дина приняли в штат Google в 1999 г., когда там числилось около 20 сотрудников. Уже тогда он считался одним из самых талантливых молодых учёных в США в области информатики, а для Google был сродни выигрышу в лотерею. С тех пор он разработал и внедрил значительную часть систем рекламы, поиска, индексации и обслуживания запросов, а также различные элементы распределённой инфраструктуры, которые лежат в основе большинства продуктов Google. То есть по сути он выполнил роль «технологического движка», на котором основаны сервисы Google.

Вот его официальная биография ^[7] со ссылками на лучшие лекции и публичные выступления. Отметим только один интересный факт: за свою карьеру Джеффу пришлось пожить в десятке разных городов и стран, а одна из его целей по жизни — поиграть в футбол и баскетбол на всех континентах (пока что он сделал это только на пяти).

Среди проектов, к которым он приложил руку:

• Spanner ^[8] — масштабируемая, многоверсионная, глобально распределённая и синхронно реплицируемая база данных. БД распределена по множеству дата-центров Google на разных континентах, при этом обеспечивая целостность и синхронизацию данных.
• Проектирование части бэкенда системы машинного перевода Google Translate ^[9].
• Крупномасштабная система полуструктурированного хранения данных Bigtable ^[10].
• Система для крупномасштабных приложений обработки данных MapReduce ^[11].
• Опенсорсное NoSQL-хранилище «ключ-значение» LevelDB ^[12].
• DistBelief — проприетарная система машинного обучения для глубоких нейросетей, впоследствии рефакторизованная в TensorFlow.
• TensorFlow ^[13] — опенсорсная библиотека машинного обучения

▍ Нынешние проекты

Как и некоторые другие талантливые программисты современности, Джефф Дин отдался главной задаче, которая стоит перед человечеством — разработке сильного ИИ и методов машинного обучения (напомним, что над этой проблемой также работает Джон Кармак ^[14]).

В апреле 2018 года Дина сняли с инфраструктурных проектов и назначили на новый фронтир — руководителем подразделения искусственного интеллекта Google AI ^[15], сформированного тогда из разных ИИ-проектов Google Research. Уже в то время Google вела многочисленные перспективные разработки по компьютерному зрению ^[16], в области медицины ^[17] и инновационного обучения нейросетей (AutoML ^[18]).

Мозг ^[19] сапиенса появился в ходе эволюции со случайными мутациями из относительно простого мозга ^[19] червяка примерно за 500 млн лет ^[20]. Система AutoML ^[18] тоже применяет в обучении нейросетей эволюционный подход со случайными мутациями

Эффективность эволюционного подхода обычно выше, чем у стандартного обучения с подкреплением

С 2023 года после слияния подразделения Google Brain (часть Google Research) с приобретённой компанией DeepMind ^[21] Джефф Дин официально стал Chief Scientist в Google DeepMind и Google Research, с подчинением напрямую исполнительному директору Сундару Пичаи, и больше никому.

Компания Google примерно с 2016 года считалась мировым лидером в области разработок ИИ. Именно тогда вышла новая версия Google Translate. Если раньше это была система статистического машинного перевода ^[22], то версия от 2016 года была основана на более продвинутом подходе нейронного машинного перевода. Стало окончательно ясно, что за нейросетями — будущее, а компания Google поняла это чуть ли не раньше всех.

В 2014 году она купила компанию DeepMind с десятками лучших в мире специалистов по машинному обучению, которые неоднократно с завидной регулярностью публиковали революционные научные статьи и попадали на первые обложки журналов ^[23]. Несмотря на отчаянные просьбы ^[24] учёных оставить их в покое и сделать на базе DeepMind некоммерческое подразделение, которое своими важными научными открытиями будет приносить пользу всему миру, компания Google поступила иначе, инкорпорировав их в свою структуру, требуя ^[25] выйти на прибыль ^[26]. Есть мнение, что такое давление Google на DeepMind стало одной из причин создания альтернативной некоммерческой лаборатории OpenAI в 2015 году, хотя это тема для отдельного разговора… Вполне вероятно, что туда перешли многие специалисты DeepMind после покупки корпорацией Google.

Известные изобретения Google (и DeepMind) в сфере машинного обучения — AlphaGo, трансформеры (на которых основаны современные большие языковые модели), word2vec, WaveNet, AlphaFold, модели seq2seq, дистилляция данных, глубокое обучение с подкреплением. Компания разработала и выложила во всеобщее пользование распределённые системы и программные фреймворки, такие как TensorFlow и JAX, для программирования, обучения и развёртывания крупномасштабных моделей машинного обучения. Она заложила крепкий фундамент для дальнейшего развития этой отрасли.

В последнее время позиции Google на этом рынке немного пошатнулись в связи с хайповым релизом GPT-3.5/4 ^[27] от OpenAI и LLaMA ^[28] от Meta. Но вполне возможно, что это временное явление. Google давно работает в данном направлении и сконцентрировала мощный интеллектуальный потенциал, так что наверняка покажет что-то выдающееся в ближайшие годы. И Джефф Дин будет к этому причастен…

Среди текущих проектов Google DeepMind и Google Research:

• PaLM 2 ^[29] — большая языковая модель следующего поколения. Есть PALM API ^[30] для интеграции ИИ в сторонние продукты (по предварительной записи ^[31]) и конструктор MakerSuite ^[32] для прототипирования ИИ-приложений без программирования (с интеграцией в PALM API), здесь тоже запись ^[31] в список ожидания.

  

• Bard ^[33] — чат-бот на базе PaLM 2 для ответов на вопросы и информационной помощи людям. В ближайшее время к нему подключат огромный массив информации Data Commons ^[34], недоступный для других LLM, так что он станет работать гораздо лучше.
• Med-PaLM 2 ^[35], специализированная LLM медицинского применения (помощь при диагностировании болезней, справочная информация). Это первый ИИ, который прошёл экзамен на лицензию врача US Medical License Exam (USMLE), а вторая версия LLM показывает результат 86,5% в этом тесте (проходной балл для людей около 60%).
  Sec-PaLM ^[36], как ранее упомянутые Med-PaLM 2 и Bard, она построена на PaLM 2.
  

• Система Alphafold ^[37], которая в последней версии предсказывает форму протеина ^[38] с атомной точностью за несколько минут, что даёт возможность понять свойства и характеристики вещества. Сегодня на Земле обнаружено около 249 млн протеинов ^[39]. Многие до сих пор не изучены. Кроме того, фолдинг виртуальных протеинов с помощью модели ИИ позволяет конструировать новые молекулы с желаемыми свойствами (см. статью «Оптимизация нейросети на максимальный вред человеку. Первый эксперимент» ^[40]).
• Universal Translator ^[41] — экспериментальный сервис дублирования видео с помощью ИИ, который помогает переводить голос диктора с изменением движения губ. Исходное видео слегка редактируется, чтобы движение губ совпадало с новыми словами на другом языке. По сути, можно реалистично наложить любые слова на видеоряд, что очень полезно для перевода фильмов или научных лекций.
  

• Codey ^[42] — инструмент ИИ для генерации и автодополнения программного кода (вероятно, будет интегрирован в вышеупомянутый MakerSuite ^[32]).
• NotebookLM ^[43] — программа для генерации приватных моделей ИИ на основе пользовательских документов (на PaLM 2).
• Pic2Word ^[44] — текстовое описание изображений с последующим добавлением текстового ввода от пользователя для создания новых картинок.

  

  

• Фреймворк CodeVQA ^[45] для генерации кода Python, который отвечает на текстовые вопросы пользователя.
  

• MusicLM ^[46] — сочинение музыки по текстовому описанию.
• Perspective API ^[47] — оценка токсичности текста.

В общем, интересных проектов хватает. Список научных статей исследователей из Google на крупнейшей конференции по машинному обучению ICML 2023 насчитывает несколько десятков работ ^[48].

В данный момент крупные IT-корпорации с десятками дата-центров, лучшие программисты и учёные прикладывают силы к решению важнейшей задачи — созданию ИИ общего назначения, то есть AGI. Над ним работают в том числе Джон Кармак ^[14] и Джефф Дин, среди прочих выдающихся умов. Это даёт надежду, что движение идёт в правильном направлении, а результат не замедлит себя ждать.

Субъективное примечание. В 2023 году мы словно переместились на первую минуту симулятора развития человечества после ИИ ^[49]. Действие этой игры как раз начинается в 2022 году, где появился GPT 3.5 на IQ 70. С каждым годом мы его дорабатываем, добавляем серверов, GPU — и спустя десятилетия это даёт эффект.