Недавно Лекс Фридман пригласил Дарио Амодеи, основателя и CEO компании Anthropic, на подкаст, где они почти пять часов обсуждали, к чему идёт развитие ИИ и как создать мощные, но безопасные модели. Если у вас, как и у меня, нет пяти часов на просмотр, — я подготовил это саммари, чтобы решить, стоит ли тратить время на весь эпизод.
Амбиции Anthropic: от масштабирования до безопасности
Anthropic, компания, основанная ветеранами OpenAI, делает ставку на «ответственное масштабирование» ИИ. Основной метод компании — так называемые «законы масштабирования»: Dario объясняет, что с ростом объёма данных и увеличением сложности сетей модели ИИ начинают показывать более высокие результаты. Сейчас Anthropic работает с масштабом, где уже задействуются тысячи GPU для обучения, и команда считает, что так можно достичь почти человеческого уровня интеллекта к 2027 году. Амодеи отмечает, что новый выпуск модели, например Claude 3.5, приближает к этому рубежу с каждым обновлением.
Как «понимать» ИИ изнутри?
Одной из сложных и амбициозных задач Anthropic является разработка интерпретируемых моделей, или, как это назвали в компании, «механистическая интерпретируемость». Этот метод напоминает попытку вскрыть «чёрный ящик» и увидеть, как на самом деле ИИ принимает решения. Компания считает, что в будущем подобная прозрачность может стать обязательной для систем, применяемых в медицине, финансовом секторе или для управления инфраструктурой, поскольку она создаёт возможность контролировать модели и предотвращать их потенциально опасное поведение.
ИИ даёт огромные возможности, но также концентрирует силу — и, если эту силу не распределить ответственно, она может нанести колоссальный вред. Наша задача — не просто создавать умные модели, а делать их безопасными для общества
напомнило мне "Большая сила - большая ответственность, Питер!" из Человека Паука
Ограничения «законов масштабирования»: может ли быть слишком много ИИ?
Амодеи признаётся, что основная трудность заключается в соблюдении баланса между ростом возможностей и ответственностью за их использование. Anthropic разрабатывает и тестирует свои модели в несколько этапов, привлекая независимых экспертов для оценки рисков. Это помогает избежать неожиданных последствий — от неуместных ответов до серьёзных системных сбоев, когда модели разворачивают для бизнеса или других значимых приложений.
В чём стратегия Anthropic против конкурентов?
В своём разговоре с Лексом Фридманом Dario подчёркивает, что Anthropic конкурирует с такими гигантами, как OpenAI, Google и Meta. Но, по его словам, Anthropic выбрала стратегию «гонки к вершине» (race to the top) — компанию интересует не столько первенство, сколько создание примера для всей индустрии, в котором безопасность ставится на первое место. Anthropic стремится не столько к лидерству, сколько к тому, чтобы подтолкнуть других участников рынка к соблюдению высоких стандартов в вопросах этики и безопасности.
Что дальше? Контроль над ИИ и его автономностью
По мнению Амодеи, задача Anthropic — находить способы управлять поведением моделей, когда оно необходимо, и ограничивать возможности там, где это нужно. Сейчас Anthropic разрабатывает модели, способные решать всё более сложные задачи, при этом команда активно тестирует их реакцию на различные сценарии, от стандартных запросов до нежелательных действий. По словам Dario, научиться «управлять» ИИ будет критически важно по мере его интеграции в повседневные приложения и инфраструктуру — от личных помощников до медицинских систем.
Резюме
Anthropic считает, что будущее за мощными и полезными моделями ИИ, но их сила должна идти в паре с безопасностью. Компания делает упор на то, чтобы все её разработки были максимально прозрачными и контролируемыми. В мире, где искусственный интеллект растёт буквально на глазах, эта задача требует нового подхода к этике, контролю и технологиям, что делает Anthropic одним из лидеров в гонке за безопасное будущее ИИ.
Если вам так же как и мне интересны темы AI, B2B продукты, SAAS, то подписывайтесь на мой канал и давайте держаться вместе!
Автор: OnArs
