Так ли хороша DeepSeek-R1, как о ней говорят

в 10:52, , рубрики: deepseek, DeepSeek R1, gpt-4, llm-модели, o1-mini, OpenAI, qwen2.5-max, сравнение

Во всем AI-мире сейчас говорят о новой китайской языковой модели DeepSeek и, конечно, наша команда развития AI не могла пройти мимо этой темы. Мы сравнили ответы новой модели на реальные запросы к нашей технической поддержке с ответами других популярных моделей. Что из этого получилось и какие выводы мы сделали расскажу я — Максим Михайлов, продуктовый менеджер Cloud.ru.

Так ли хороша DeepSeek-R1, как о ней говорят - 1

Что и как мы сравнивали

В сравнительном тестировании участвовало пять моделей: OpenAI GPT4 o1-mini, Open AI o3-mini, Qwen 2.5-Max, DeepSeek-R1 и DeepSeek-R1 (32b).

Мы оценивали их по нескольким основным критериям: 

  • техническая правильность ответа; 

  • корректная ссылка на документацию;

  • соблюдение Tone of voice (ToV); 

  • гибкость подстройки под контекст запроса.

Как проходило тестирование: мы взяли 40 реальных запросов в нашу техническую поддержку, деперсонализировали их, затем отобрали релевантные статьи после выдачи retriever и передали в LLM. Получилось, что запрос в LLM состоял из системного промпта, правил написания с учетом Tone of Voice (ToV) компании, деперсонализированного запроса и документации, полученной от retriever.

Какие результаты получили

После тестирования и проверки качества ответов команда оценила модели по пятибалльной шкале. Вот что получилось:

DeepSeek-R1

4.3

Open AI o3-mini

4.1

Qwen 2.5-Max

3.6

Open AI o1-mini

3.5

DeepSeek-R1 (32b)

1.7

Главный вывод, который мы сделали — большая модель DeepSeek-R1 отлично справляется с задачами, в которых важен анализ контекста и изучение документации. Облегченная же версия DeepSeek-R1 32B сильно ей уступает, однако ее производительность может быть полезна для других сценариев (например, при исправлении пунктуации и орфографии, бинарной разметке данных или быстрой генерации текстов без высоких требований к качеству).

Преимущества DeepSeek-R1

Какие преимущества DeepSeek-R1 мы выделили:

  1. В отличие от других популярных моделей, DeepSeek-R1 в обязательном порядке прикладывает реальные и работающие ссылки на документацию к каждому ответу.

  2. Эффективно использует контекстные запросы пользователя и формирует более персонализированные ответы.

  3. Модель можно развернуть локально, что обеспечивает стабильность, безопасности и надежность. В отличие от других моделей OpenAI, которые доступы только по API и в последнее время ведут себя непредсказуемо.

Сравнение ответов моделей

Чтобы не быть голословными, покажем ответы модели DeepSeek-R1 и О1-mini на реальный запрос пользователя:

Я еще ни разу не создавал виртуалку, как я могу быстрее и дешевле ее создать? Хочу свой сервер майнкрафта.

Ответ модели DeepSeek-R1

Для создания сервера Minecraft на платформе Cloud.ru оптимально подойдет уровень бесплатного пользования Evolution free tier. Вы можете быстро развернуть виртуальную машину с предустановленными параметрами: 

Конфигурация: 2 vCPU, 4 ГБ RAM, 30 ГБ SSD.

Бессрочное использование: без оплаты при соблюдении условий (положительный баланс аккаунта). 

Доступные образы: Ubuntu 22.04 и другие популярные ОС.

Публичный IP: автоматическое подключение для доступа из интернета. 

Пошаговая инструкция:

1. Перейдите в раздел «Виртуальные машины» → «Создать ВМ».

2. Выберите образ Ubuntu 22.04. 

3. Укажите имя машины (например, "minecraft-server"). 

4. Оставьте параметры по умолчанию (10% гарантированной доли vCPU, 2 ядра, 4 ГБ RAM). 

5. Загрузите SSH-ключ для безопасного подключения. 

6. Нажмите «Создать» — сервер будет готов через 2-5 минут.  

После создания:

1. Подключитесь по SSH через публичный IP.

2. Установите Java и Minecraft Server по официальной инструкции.

3. Настройте правила группы безопасности для порта 25565.

Важно:

Бесплатная ВМ создается только в зоне ru.AZ-2.

Для хранения данных Minecraft рекомендуется подключить дополнительный диск — тарифы.

При необходимости увеличения мощности используйте калькулятор или оставьте контакты для менеджера.  

Если возникнут сложности с созданием ВМ, готовы помочь дополнительно.

Ответ модели О1-mini

Здравствуйте!

Чтобы быстро, удобно и экономично создать виртуальную машину для вашего сервера Minecraft на платформе Cloud.ru Evolution, вы можете воспользоваться уровнем бесплатного пользования (Evolution free tier) и руководством по быстрому старту.

Уровень бесплатного пользования (Evolution free tier):

Вы можете создать бесплатную виртуальную машину с параметрами, подходящими для запуска сервера Minecraft. Ознакомьтесь с подробностями и создайте бесплатную виртуальную машину по ссылке.

Быстрый старт:

Следуйте пошаговой инструкции по быстрому созданию виртуальной машины на платформе Cloud.ru Evolution. Это поможет вам настроить виртуальную машину с доступом по SSH и необходимыми ресурсами для вашего проекта. Детальная инструкция доступна здесь.

Создание виртуальной машины:

Если вам требуется более гибкая конфигурация или дополнительные настройки, воспользуйтесь подробным руководством по созданию виртуальной машины в облаке Cloud.ru Evolution. Вы найдете все необходимые шаги по этой ссылке.

После создания виртуальной машины вы сможете установить на нее сервер Minecraft и настроить его в соответствии с вашими потребностями. Если возникнут дополнительные вопросы или потребуется помощь, пожалуйста, обращайтесь!

Итоги

Наша команда увидела в DeepSeek-R1 потенциал — мы уже начали рассматривать модели интеграции в сервисы Cloud․ru и запуск нового виртуального ассистента поддержки для наших клиентов. А возможность локального использования — это, пожалуй, главное преимущество модели, которое придется очень кстати при работе с конфиденциальными данными.

А вы уже тестировали DeepSeek-R1? Какие плюсы или минусы обнаружили? Делитесь в комментариях 👇

Автор: MaxM3

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js