Я 8 часов тестировал модель o1 Pro за 200$ и сравнил ее с Claude Sonnet 3.5 за 20$

После всей шумихи вокруг выхода o1 Pro я решил провести обширное сравнение. Результаты оказались неожиданными, и я решил поделиться своими выводами с сообществом.

Методология тестирования

Я проверил обе модели в идентичных сценариях, ориентируясь на реальные приложения, а не просто на бенчмарки. Каждое испытание повторялось несколько раз, чтобы обеспечить согласованность.

Основные выводы

1. Сложные рассуждения

Победитель: o1 Pro (но перевес меньший, чем можно было бы ожидать)

• На ответы уходит на 20-30 секунд больше времени

• У Claude Sonnet 3.5 - до 90% точности за значительно меньшее время.

2. Генерация кода

Победитель: Claude Sonnet 3.5

• Более чистый, более удобный для поддержки код (про другие 5 ИИ-инструментов для программирования вы можете узнать в этой статье)

• Более качественная документация

• o1 Pro имеет тенденцию к чрезмерной сложности решений

3. Высшая математика

Победитель: o1 Pro

• Превосходно справляется с задачами уровня доктора философии

• Claude Sonnet 3.5 отлично справляется с 95% практических математических задач

4. Анализ зрения

Победитель: o1 Pro

• Детальная интерпретация изображений

• Claude Sonnet 3.5 пока не обладает расширенными возможностями зрения

5. Научное мышление

Ничья

• o1 Pro: более глубокий анализ

• Claude Sonnet 3.5: более четкие объяснения

Разбивка предложений по стоимости

o1 Pro (200 долларов в месяц)

• Превосходное решение задач уровня доктора философии

• Возможности зрения

• Более глубокие рассуждения

• Дополнительные 5-10% точности в сложных задачах

Claude Sonnet 3.5 ($20/месяц)

• Более быстрые ответы

• Более стабильная работа

• Превосходная помощь в программировании

• Справляется с 90-95% задач так же хорошо.

Интересные наблюдения

• Разница во времени отклика очень заметна - o1 Pro часто требуется 20-30 секунд, чтобы «подумать»

• Способности Claude Sonnet 3.5 к программированию удивительно хороши

• Соотношение цены и производительности в значительной степени говорит в пользу Claude Sonnet 3.5 для большинства случаев использования

Стоит ли платить в 10 раз больше?

Для большинства пользователей, вероятно, нет. Вот почему:

1. Разница в производительности не так велика, как разница в цене (мое примечание: но если, к примеру, покупать подписку не на официальном сайте, а в боте, то стоимость на порядок меньше, и можно оплачивать только те запросы к нейросети, которые вы сделали)

2. Claude Sonnet 3.5 отлично справляется с большинством практических задач

3. Дополнительные возможности o1 Pro полезны в основном для специализированной академической или исследовательской работы

Какую модель лучше использовать?

Выбирайте o1 Pro, если

• Вам нужны возможности технического зрения

• Вы работаете с математическим/научным контентом уровня доктора философии

• Дополнительные 5-10% точности очень важны для вашей работы

• Бюджет не является главной задачей.

Выбирайте Claude Sonnet 3.5, если:

• Вам нужны надежные и быстрые ответы

• Вы много занимаетесь программированием

• Вы хотите получить оптимальное соотношение цены и качества

• Вам нужны четкие и практичные решения.

Если вам не нужны возможности технического зрения или дополнительные 5-10% точности для решения специализированных задач, Claude Sonnet 3.5 за 20 долларов в месяц для большинства пользователей будет выгоднее, чем o1 Pro за 200 долларов в месяц.