На протяжении более десятка лет компании придерживались одного, как им казалось, простого и надёжного правила: если ИИ-системы постоянно масштабировать, то они будут становиться всё умнее и умнее. Такая гипотеза возникла не на пустом месте. В 2017 году исследователи из Baidu доказали, что, алгоритмы ИИ обучаются быстрее, если задействовать бОльшее количество данных и вычислительной мощности — независимо от того, была ли система разработана для распознавания изображений, текста или синтеза речи. Причём такие улучшения можно спрогнозировать с помощью математической модели.
Такая закономерность побудила ИИ-компании вкладывать сотни миллионов в крупные вычислительные кластеры и массивы данных. Риск себя оправдал, и теперь вместо сырой машинной обработки текстов у нас есть чат-боты, умело отвечающие на запросы пользователей.
Но сегодня эта, казалось бы, прописная истина “чем больше, тем лучше” подвергается сомнению.
В недавних отчётах, опубликованных Reuters и Bloomberg, делалось предположение о сокращении доходов, полученных от масштабирования систем ИИ. Ранее The Information сообщала о том, что в OpenAI усомнились во взятом курсе после того, как невыпущенная модель Orion не оправдала ожиданий во время внутреннего тестирования.
Что говорят технологические компании?
Однако многие ведущие компании ИИ, похоже, уверены, что прогресс идёт полным ходом. Так представитель Anthropic, разработчик популярного чат-бота Claude, сообщил: “Мы не увидели никаких признаков отклонений от законов масштабирования”. OpenAI от комментариев отказалась. В Google DeepMind также ничего не ответили. Однако после того, как новая версия Gemini (языковая модель от Google) опередила GPT-4o по производительности, генеральный директор компании Сундар Пичаи написал в X, что “стоит ждать большего”.
Недавние выпуски ИИ-моделей оставляют смешанное впечатление. Sonnet, модель среднего размера от Anthropic, обновили дважды в этом году. И теперь у неё больше возможностей, чем у более крупной языковой модели Opus, которая таких обновлений не получала. В июне компания заявила, что Opus будет обновлена “позже в этом году”, но недавно Дарио Амодей, соучредитель и генеральный директор Anthropic, отказался назвать конкретные сроки. Google обновила свою малую модель Gemini Pro в феврале, но более крупная модель Gemini Ultra обновления ещё не получила. Недавно выпущенная OpenAI модель o1-preview превосходит GPT-4o в нескольких тестах, но в других тестах она уступает GPT-4o. Сообщается, что разработчики назвали o1-preview “думающей GPT-4o”, что предполагает, что базовая модель по масштабу похожа на GPT-4.
Анализ текущей ситуации осложняется конкурирующими интересами со всех сторон. Так Илья Суцкевер, в прошлом главный научный сотрудник OpenAI и некогда ярый сторонник масштабирования, теперь утверждает, что рост производительности крупных моделей прекратился. Но такое мнение нельзя назвать объективным: его новый ИИ-стартап, Safe Superintelligence Inc., запущенный в июне, располагал меньшим финансированием и вычислительной мощностью, чем у конкурентов. Разрушение гипотезы масштабирования помогло бы выровнять игровое поле.
У нас закончились данные?
“Замедление может быть вызвано ограничениями современных методов глубокого обучения или просто тем, что больше нет достаточного количества свежих данных”, — говорит Гэри Маркус, ведущий эксперт ИИ. Подобная гипотеза получила распространение среди тех, кто пристально следит за развитием ИИ. Саша Луччони, руководитель отдела ИИ и климата в Hugging Face, говорит, что существуют ограничения на то, сколько информации можно извлечь из текста и изображений. В качестве примера она приводит тот факт, что люди с большей вероятностью неправильно истолкуют ваши намерения при обмене текстовыми сообщениями, чем при личном общении. “Я думаю, что то же самое происходит с языковыми моделями”, — говорит она.
Нехватка данных особенно остро ощущается в таких областях, как логические построения и математика. “У нас просто нет такого количества качественных данных”, — утверждает Эге Эрдил, старший научный сотрудник Epoch AI, некоммерческой организации, изучающей тенденции в разработке ИИ. Это не означает, что масштабирование ИИ прекратится, просто одного масштабирования может быть недостаточно. “На каждом уровне необходимо искать возможности для развития”, — говорит он.
Это не первый раз, когда критики объявляют закон масштабирования мёртвым. “На каждом этапе реализации масштабирования всегда были споры и разногласия. Вот и последний не стал исключением: «У нас заканчиваются данные, или не хватает данных высокого качества, или модели не умеют рассуждать... Я видел, как это происходило достаточно много раз, и потому могу утверждать, что масштабирование, скорее всего, продолжится», — утвеждает. Эрдил.
“Хотя может быть и другая причина, почему новые модели не соответствуют ожиданиям”, — говорит Хайме Севилья, директор Epoch AI. После общения с сотрудниками из OpenAI и Anthropic он пришел к выводу, что они изначально ожидали слишком многого. “Они ожидали, что ИИ сможет уже написать докторскую диссертацию, — говорит он. — Возможно, это кажется немного... разочаровывающим”.
“Временное затишье не обязательно означает сильное замедление”, — утверждает Севилья. Большие перерывы перед крупными прорывами случались и раннее. GPT-4, выпущенный всего полтора года назад, появился только почти через года после GPT-3. “Мы склонны забывать, что GPT-3 по сравнению с GPT-4 сравним со стократным ростом в вычислениях. Если вы хотите создать что-то, что в 100 раз производительнее, чем GPT-4, вам понадобится до миллиона графических процессоров”, — говорит Севилья. Это больше, чем все существующие кластеры вместе взятые. Хотя он отмечает, что в этом году были предприняты согласованные усилия по созданию инфраструктуры ИИ, например, суперкомпьютер Илона Маска на 100 000 графических процессоров в Мемфисе — крупнейший в своем роде — который, как сообщается, был создан за три месяца.
Тем временем компании ИИ-компании ищут другие методы повышения производительности уже обученных моделей. Новая модель o1 превосходит предыдущие в задачах рассуждения за счёт того, что ей даётся больше времени на “размышления”.
Пока неизвестно, наблюдаем ли мы реальное замедление или просто очередную паузу перед скачком. “Не исключено, что сейчас мы просто вышли на плато, а в будущем достигнем чрезвычайно быстрого роста”, — говорит Скотт Сингер, научный сотрудник Фонда Карнеги.
Автор: RadioCaroline
