Во всем AI-мире сейчас говорят о новой китайской языковой модели DeepSeek и, конечно, наша команда развития AI не могла пройти мимо этой темы. Мы сравнили ответы новой модели на реальные запросы к нашей технической поддержке с ответами других популярных моделей. Что из этого получилось и какие выводы мы сделали расскажу я — Максим Михайлов, продуктовый менеджер Cloud.ru.

Что и как мы сравнивали
В сравнительном тестировании участвовало пять моделей: OpenAI GPT4 o1-mini, Open AI o3-mini, Qwen 2.5-Max, DeepSeek-R1 и DeepSeek-R1 (32b).
Мы оценивали их по нескольким основным критериям:
-
техническая правильность ответа;
-
корректная ссылка на документацию;
-
соблюдение Tone of voice (ToV);
-
гибкость подстройки под контекст запроса.
Как проходило тестирование: мы взяли 40 реальных запросов в нашу техническую поддержку, деперсонализировали их, затем отобрали релевантные статьи после выдачи retriever и передали в LLM. Получилось, что запрос в LLM состоял из системного промпта, правил написания с учетом Tone of Voice (ToV) компании, деперсонализированного запроса и документации, полученной от retriever.
Какие результаты получили
После тестирования и проверки качества ответов команда оценила модели по пятибалльной шкале. Вот что получилось:
DeepSeek-R1 |
4.3 |
Open AI o3-mini |
4.1 |
Qwen 2.5-Max |
3.6 |
Open AI o1-mini |
3.5 |
DeepSeek-R1 (32b) |
1.7 |
Главный вывод, который мы сделали — большая модель DeepSeek-R1 отлично справляется с задачами, в которых важен анализ контекста и изучение документации. Облегченная же версия DeepSeek-R1 32B сильно ей уступает, однако ее производительность может быть полезна для других сценариев (например, при исправлении пунктуации и орфографии, бинарной разметке данных или быстрой генерации текстов без высоких требований к качеству).
Преимущества DeepSeek-R1
Какие преимущества DeepSeek-R1 мы выделили:
-
В отличие от других популярных моделей, DeepSeek-R1 в обязательном порядке прикладывает реальные и работающие ссылки на документацию к каждому ответу.
-
Эффективно использует контекстные запросы пользователя и формирует более персонализированные ответы.
-
Модель можно развернуть локально, что обеспечивает стабильность, безопасности и надежность. В отличие от других моделей OpenAI, которые доступы только по API и в последнее время ведут себя непредсказуемо.
Сравнение ответов моделей
Чтобы не быть голословными, покажем ответы модели DeepSeek-R1 и О1-mini на реальный запрос пользователя:
Я еще ни разу не создавал виртуалку, как я могу быстрее и дешевле ее создать? Хочу свой сервер майнкрафта.
Ответ модели DeepSeek-R1
Для создания сервера Minecraft на платформе Cloud.ru оптимально подойдет уровень бесплатного пользования Evolution free tier. Вы можете быстро развернуть виртуальную машину с предустановленными параметрами:
Конфигурация: 2 vCPU, 4 ГБ RAM, 30 ГБ SSD.
Бессрочное использование: без оплаты при соблюдении условий (положительный баланс аккаунта).
Доступные образы: Ubuntu 22.04 и другие популярные ОС.
Публичный IP: автоматическое подключение для доступа из интернета.
Пошаговая инструкция:
1. Перейдите в раздел «Виртуальные машины» → «Создать ВМ».
2. Выберите образ Ubuntu 22.04.
3. Укажите имя машины (например, "minecraft-server").
4. Оставьте параметры по умолчанию (10% гарантированной доли vCPU, 2 ядра, 4 ГБ RAM).
5. Загрузите SSH-ключ для безопасного подключения.
6. Нажмите «Создать» — сервер будет готов через 2-5 минут.
После создания:
1. Подключитесь по SSH через публичный IP.
2. Установите Java и Minecraft Server по официальной инструкции.
3. Настройте правила группы безопасности для порта 25565.
Важно:
Бесплатная ВМ создается только в зоне ru.AZ-2.
Для хранения данных Minecraft рекомендуется подключить дополнительный диск — тарифы.
При необходимости увеличения мощности используйте калькулятор или оставьте контакты для менеджера.
Если возникнут сложности с созданием ВМ, готовы помочь дополнительно.
Ответ модели О1-mini
Здравствуйте!
Чтобы быстро, удобно и экономично создать виртуальную машину для вашего сервера Minecraft на платформе Cloud.ru Evolution, вы можете воспользоваться уровнем бесплатного пользования (Evolution free tier) и руководством по быстрому старту.
Уровень бесплатного пользования (Evolution free tier):
Вы можете создать бесплатную виртуальную машину с параметрами, подходящими для запуска сервера Minecraft. Ознакомьтесь с подробностями и создайте бесплатную виртуальную машину по ссылке.
Быстрый старт:
Следуйте пошаговой инструкции по быстрому созданию виртуальной машины на платформе Cloud.ru Evolution. Это поможет вам настроить виртуальную машину с доступом по SSH и необходимыми ресурсами для вашего проекта. Детальная инструкция доступна здесь.
Создание виртуальной машины:
Если вам требуется более гибкая конфигурация или дополнительные настройки, воспользуйтесь подробным руководством по созданию виртуальной машины в облаке Cloud.ru Evolution. Вы найдете все необходимые шаги по этой ссылке.
После создания виртуальной машины вы сможете установить на нее сервер Minecraft и настроить его в соответствии с вашими потребностями. Если возникнут дополнительные вопросы или потребуется помощь, пожалуйста, обращайтесь!
Итоги
Наша команда увидела в DeepSeek-R1 потенциал — мы уже начали рассматривать модели интеграции в сервисы Cloud․ru и запуск нового виртуального ассистента поддержки для наших клиентов. А возможность локального использования — это, пожалуй, главное преимущество модели, которое придется очень кстати при работе с конфиденциальными данными.
А вы уже тестировали DeepSeek-R1? Какие плюсы или минусы обнаружили? Делитесь в комментариях
Автор: MaxM3