Простой и быстрый тест LLM для прототипа: сравниваем 16 open-source-моделей на запросе с разной температурой

Привет! Меня зовут Дмитрий Фролов, я ведущий разработчик в Центре RnD МТС Диджитал. С ростом популярности LLM создание на них прототипа может прилететь даже тем, кто напрямую с ML не связан. Допустим, вы работаете аналитиком, а ваше начальство резко захотело генератор текста или отчетов в стиле клиентского менеджера с open-source LLM под капотом. Скорее всего, в таких задачах вы ни в зуб ногой, а разбираться с api и токенами нет времени и желания.

Самый простой способ выбрать подходящую модель для прототипа — взять несколько моделей, дать им одинаковый запрос и сравнить результаты. Так вы с минимальными усилиями получите наглядный пример их работы, оцените качество генерации и поймете, насколько перспективна модель для получения приемлемого результата.

Итак, велкам под кат, если вам интересно, как «на коленке» протестировать сразу шестнадцать LLM, какие результаты покажет тест и куда смотреть, если нужны более серьезные результаты.

Почему именно open-source

Если перед вами стоит задача генерации русскоязычного текста, то, скорее всего, вы будете рассматривать именно open-source-модели. Во-первых, они бесплатные, а во-вторых, им можно доверить какую-то чувствительную информацию.

Подобрать модель можно и по результатам на Chatbot Arena, но там опенсорсные модели придется поискать. К тому же на ней рейтинг строится по системе Эло, а это не очень надежная метрика. В шахматах она покажет, что Магнус Карлсен скорее всего обыграет Хикару Накамура, но вряд ли ответит, сможет ли он качественнее починить кран. Также есть русский лидерборд бенчмарка MERA. Если вас пугает количество тасок, доменов и прочих тумблеров, просто берите верхнюю из списка для своих задач.

Open-source-модели в топе имеются, но, как правило, они тяжелые. Чтобы не перебирать интересующие нас модели вручную, воспользуемся фреймворком для генерации текста и проанализируем полученные результаты, заранее определившись с критериями качества.

Дальше будет описание простого варианта теста LLM, когда прототип нужен максимально быстро. Если же есть время и желание, то в конце статьи я собрал ссылки, где можно посмотреть более сложные варианты адаптации LLM под свои задачи.

Тест LLM

Скачиваем open-source-модель локально

Быстро и без мучений это можно сделать с помощью фреймворка Ollama.

В качестве альтернативы можно воспользоваться моделями с HuggingFace. Это не самый надежный вариант, так как вам могут отказать в доступе к некоторым моделям или же появятся ошибки про израсходованные ресурсы. Плюс согласование занимает некоторое время, а попробовать хочется уже сейчас.

Пример для Llama 3.2 1b с HuggingFace:

import torch
from transformers import pipeline

model_id = "meta-llama/Llama-3.2-1B-Instruct"
pipe = pipeline(
   tasl="text-generation",
   model=model_id,
   torch_dtype=torch.bfloat16,
   device_map="auto"
)
messages = [
   {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
   {"role": "user", "content": "Who are you?"},
]
outputs = pipe(
   messages,
   max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

Также теперь можно использовать GGUF-модели HuggingFace в клиенте Ollama.

Пошаговая инструкция:

Арсенал весьма велик, также можно загрузить собственные дообученные модели.

Список собранных моделей для теста

Мы собрали самые популярные опенсорсные LLM, которые могут запуститься на большинстве более или менее современных ноутбуков:

• mistral-nemo:12b-instruct-2407-q4_0 (12b q4_0)

• qwen2 (7b q4_0)

• hermes3 (8b q4_0)

• owl/t-lite:q4_0-instruct (8b q4_0)

• llama3.1 (8b q4_0)

• ilyagusev/saiga_llama3 (8b q8_0)

• gemma2 (9b q4_0)

• aya (8b q4_0)

• phi3:14b (14b q4_0)

• phi3.5:3.8b-mini-instruct-q4_0 (3.8b q4_0)

• qwen2.5:7b-instruct-q4_0 (7b q4_0)

• mistral-small:22b-instruct-2409-q4_0 (22b q4_0)

• solar-pro:22b-preview-instruct-q4_0 (22b q4_0)

• nemotron-mini:4b-instruct-q4_0 (4b q4_0)

• glm4 (9b q4_0)

• llama3.2:3b-instruct-q4_0 (3b q4_0)

В скобках указано количество параметров в миллиардах и тип квантизации. Покажу, что это значит, на примере модели llama3.2:3b-instruct-q4_0:

• 3b: количество параметров модели (3 миллиарда). Чем больше параметров, тем у модели более качественные ответы, но нужно больше мощностей для запуска;.

• q4_0: применение 4-битного квантования с округлением до ближайшего значения (q). Эта конструкция позволяет эффективно использовать ресурсы и обеспечивает достаточную точность при работе в системах с ограниченной вычислительной мощностью. Каждый вес в блоке представлен не полноценным числом с плавающей точкой, а четырьмя битами информации. Каждый блок имеет 32 веса, и каждый из этих весов рассчитывается по формуле w = q * block_scale, где q — это значение квантования для данного блока, а block_scale — масштабный коэффициент для данного блока.

Как мы будем тестировать LLM

Мы оценим способность моделей справлятьсяиться с генерацией текста по простому запросу. Будем анализировать изменение качества сгенерированного русскоязычного текста при изменении температуры для каждой из моделей. Так мы получим примерное понимание, какую из них предпочтительно брать для baseline-решения, последующего дообучения и интеграции в свои продукты.

В контексте LLM температура — это параметр, который контролирует случайность выбора следующего слова в модели. Чем она выше, тем больше вероятность того, что модель выберет менее предсказуемый и редкий вариант слова.

Перебирать вручную десятки моделей — дело не самое благодарное, поэтому автоматизируем эксперимент, воспользовавшись фреймворком Autogen:

!pip install pyautogen

from autogen import AssistantAgent

'''
Конфиг:
model - название вашей модели из списка ollama list
base_url - url по умолчанию для клиента
api_key - ключ по умолчанию для клиента
cache_seed - отключаем кэширование, чтобы не получать один и тот же результат на идентичные запросы
temperature - наш ползунок фантазии
price - работая с локальной моделью, зануляем стоимость, чтобы избавиться от надоедливых сообщений при работе
'''

llm_config = {
   'model': 'mistral-nemo:12b-instruct-2407-q4_0',
   'base_url': 'http://localhost:11434/v1',
   'api_key': 'ollama',
   'cache_seed': None,
   'temperature': 0.2,
   'price': [0, 0]
}

agent = AssistantAgent(
   name='Агент',
   llm_config=llm_config,
   max_consecutive_auto_reply=None,
   system_message='''
   Вы - очень креативный автор, который пишет приятные лаконичные поздравления.
   '''
)

prompt_template = '''
Напиши короткое поздравление для {name} с профессиональным праздником {day} в {style} стиле.
'''

name = 'Александры'
day = 'День программиста'
style = 'официальном'

def prompt_message(sender, recipient, context):
  return prompt_template.format(
      name=context['name'],
      day=context['day'],
      style=context['style']
  )


output = agent.initiate_chat(
   recipient=agent,
   silent=True,
   max_turns=1,
   message=prompt_message,
   name=name,
   day=day,
   style=style
)

print(output.chat_history[-1].get('content'))

В этом примере шаблон промпта prompt_template формируется динамически с использованием переданных аргументов: name, day и style. Он используется для создания персонализированного поздравления.

Также мы двигаем температуру моделей с шагом 0.1 в интервале от 0.1 до 0.9 (включительно), а текст генерируем на протяжении 100 итераций на каждую температуру со следующим сообщением:

«Напиши короткое поздравление для {name} с профессиональным праздником {day} в {style} стиле».

Заодно так можно проверить, как часто модель будет выдумывать даты для указанного праздника и как хорошо она понимает детали запроса: пол адресата и нужную нам стилистику текста.

Ограничения такого теста

В данной статье я описываю самую простую задачу: ее можно выполнить «на коленке» и в сжатые сроки. Например, в system_message мы даем контекст для написания текста без излишних манипуляций в духе «пиши только на русском языке и помни: от этого зависит моя жизнь!».

Изменение system_message может значительно повлиять на выходные данные и их стиль. Например, изменение «Вы — очень креативный автор» на «Вы — формальный писатель» может привести к более строгому и официальному поздравлению. Или же если убрать слово «лаконичный», то ощутимо увеличится длина сгенерированного текста.

DEFAULT_SYSTEM_MESSAGE = '''
You are a helpful AI assistant.Solve tasks using your coding and language skills.
In the following cases, suggest python code (in a python coding block) or shell script (in a sh coding block) for the user to execute.
   1. When you need to collect info, use the code to output the info you need, for example, browse or search the web, download/read a file, print the content of a webpage or a file, get the current date/time, check the operating system. After sufficient info is printed and the task is ready to be solved based on your language skill, you can solve the task by yourself.
...
...
...
'''

system_message = '''
Вы - русскоязычный автор, который пишет поздравления согласно инструкции.

%Инструкция:
- поздравление должно быть исключительно на русском языке
- поздравление должно быть персонализировано
'''

system_message = '''
Вы - русскоязычный автор, который пишет поздравления согласно инструкции.

%Инструкция:
- поздравление должно быть исключительно на русском языке
- текст должен быть лаконичным и доносить основную мысль
- в тексте не должно быть ошибок, смайлов и прочих посторонних символов
'''

system_message = '''
Вы - очень креативный автор, который пишет приятные лаконичные поздравления.
'''

Более детальный пример тестирования LLM описан в статье «Поиск данных, прокачанная тренировка и судейская оценка. Как с минимальными ресурсами улучшить качество дообучения LLM». Для более серьезной оценки моделей можно использовать бенчмарки, LLM-судей и ручную SBS-оценку.

Оценка ответов

Оценивая эту задачу в контексте выбора модели для генерации русского текста, важно учитывать качество генерируемого языка, способность учитывать контекст и требования по стилю. В идеале модель должна быть обучена на русскоязычных данных и должна учитывать грамматические правила, сленг и стилистические особенности.

В сгенерированных письмах я оценил суммарное количество ошибок. Орфографию проверил с помощью language_tool_python, Python Yandex Speller и autocorrect. Регулярными выражениями оценил количество английских слов в поздравлении, наличие выдуманных дат и посчитал количество знаков табуляции. Дополнительно с помощью langid посчитал переходы на другие языки.

Результаты теста

Объем сгенерированного текста

Первым делом посмотрим, сколько символов сгенерировала каждая из моделей по всем температурам. А еще — на медианное количество символов в поздравлении:

На всякий случай напомню: мы хотели получить короткое поздравление.

В ответах hermes3, t-lite и llama 3.1 количество символов увеличивается по мере роста температуры:

Ответы при разной температуре

Для удобства и наглядности объединим температурные интервалы:

1. t = 0.1 – 0.3: высокое качество; слабая вариативность, но при этом результат предсказуем и сохраняет смысл.

2. t = 0.4 – 0.6: среднее качество; вариативность ощутимо лучше, но первоначальный смысл постепенно начинает уходить на второй план.

3. t = 0.7 – 0.9: безудержный креатив. Тут результат порой удивляет:

Теперь посчитаем орфографические ошибки у каждой модели. Заранее оговорюсь, что все три инструмента не проверяют правильность склонения и использования рода. На графиках я показал количество ошибок для каждой модели: синий столбик — lang_tool, зеленый — Python Yandex Speller, красный — autocorrect:

Цифры и знаки табуляции

Напоминаю, что в запросе был указан конкретный праздник, и мы не просили выдумывать ему новую дату:

Переключение на иностранные языки

Так как мы работаем с open-source-моделями, которые не заточены под русский язык, мы можем столкнуться с ситуацией, когда LLM с него переключается на иной. Чаще всего это английский, но может быть и любой другой славянский язык. А, например, в случае с моделями qwen — китайский.

Посчитаем и эти ошибки:

Краткий вывод по каждой из моделей

Этот краткий вывод основан на определенном наборе критериев для оценки языковых моделей: количестве ошибок, непредвиденном использовании чисел, избыточных знаков табуляции и переходов на другие языки. Результаты могут отличаться в зависимости от конкретной задачи, требований и сложности используемых промптов.

Лидеры теста:

• mistral-nemo выдает самый стабильный и приятный глазу результат, учитывает смысловую нагрузку, орфографию и отсутствие ненужных символов. Единственный недостаток — изредка может проскакивать замена русских слов английскими.

• mistral-small — отличный результат, практически без вопросов. По делу и в умеренных количествах использует знаки табуляции.

Приемлемый результат, но есть относительно большое количество ошибок:

• llama 3.1 выдает стабильный результат, обусловленный низкой вариативностью. Есть знаки табуляции, но обращение к адресату часто отсутствует, из-за чего поздравления выглядят слишком универсальными.

• saiga_llama3 — хороший стабильный результат, с ростом температуры появляются знаки табуляции.

• glm4 — результат достоин первой тройки этого блока. С ростом температуры начинают появляться китайские иероглифы, правды ради, довольно редко.

• T-lite — в целом хорошо. Есть знаки табуляции, с ростом температуры может появиться нечто вроде _ComCallableWrapper<|begin_of_text|> или _________nn__________.

• gemma2 — в целом емко и хорошо, стабильность на уровне llama 3.1. С ростом температуры увеличивается количество вставок на английском и знаков табуляции.

• qwen 2 — хорошо с креативностью, но есть проблемы с обращением, знаками табуляции. Может перейти на китайский язык.

• aya — как будто и не так плохо, но может путать пол при обращении, использовать странное приветствие: «Ваше Превосходительство». Присутствуют избыточные знаки табуляции.

Более проблемные модели:

• hermes3 — косноязычна: мало эпитетов, в большинстве случаев использует только фразу «поздравляю вас». Есть проблемы со знаками табуляции, китайскими иероглифами, при этом при обращении не путается.

• qwen 2.5 — ± уровень предшественника, но с большим количеством случайных английских слов и китайских иероглифов.

• llama 3.2 — на низких температурах поздравления выглядят неплохо, при этом довольно часто эпитеты и имена написаны на английском. Начиная с t = 0.4, потихоньку утрачивается смысловая нагрузка сгенерированных поздравлений.

• solar-pro — можно получить неплохой результат на низких температурах, но плюсов в задаче с генерацией русскоязычного текста не так много. Если есть более легковесные варианты, лучше ее не использовать.

• nemotron-mini — сгенерированный текст выглядит неплохо, но есть нюанс — он преимущественно на английском языке, вне зависимости от температуры.

• phi 3, phi 3.5 — много ошибок. Условное поздравление наблюдается только при температуре 0.1, в остальных случаях — английские слова с разметкой.

В тесте LLM очень важно изначально задаться метрикой для оценки качества языковых моделей. Без явно установленных критериев оценки сложно сделать объективный выбор лучшей модели.

Для нашей задачи — простой генерации русскоязычного текста — тест показал, что оптимальнее всего использовать для прототипа Mistral-nemo или Mistral-small. Если есть ограничение по мощностям, то можно взять llama 3.1, qwen 2, glm4, t-lite, saiga_llama3, aya или gemma 2, но нужно будет несколько раз проверять результаты. Также можно сделать следующие выводы:

• Практически с любой моделью может появиться необходимость использовать инструмент для исправления опечаток. Они могут просочиться у любой актуальной опенсорсной LLM вплоть до ~70b параметров. Более мощные модели тоже будут ошибаться, но гораздо реже. В связи с чем может появиться необходимость в использовании спеллчекеров или же второй итерации проверки текста, например, тем же агентом Autogen, но с детальной инструкцией для проверки текста.

• Могут присутствовать (и довольно в большом количестве) лишние знаки табуляции.

• Работая с цифрами, лучше вставлять их напрямую в текст или использовать детальные промпты на этот случай.

• Не исключены неудовлетворительные результаты в согласовании правильных грамматических форм: обращения, окончания, падежи, склонения.

Такие выводы уже можно показать коллегам и руководству, чтобы они оценили качество генерации и возможность дальнейшего создания прототипа.

Как можно добиться более сложных и точных результатов

Ключ к решению конкретных задач — это дообучение LLM. У моделей, предварительно обученных на больших корпусах текстов, может быть широкий спектр знаний и способностей, но для узких и специализированных задач этого недостаточно. Например, у моделей, обученных на англоязычных текстах, будут грамматически правильные, но семантически несоответствующие или нерелевантные русскоязычные тексты. Для работы с русским языком их придется дообучать отдельно на русскоязычном датасете.

Подробные инструкции и руководства для каждой модели помогут вам понять, как настроить и оптимизировать обучение для конкретных задач, например генерации русскоязычного текста. По ним можно разобраться с особенностями модели, техниками дообучения и параметрами, которые необходимо настроить для получения наилучших результатов. Вот небольшая подборка таких инструкций, где все расписано на уровне «выбрать модель, run all»:

• От промптов к дообучению: четыре уровня адаптации open-source-моделей

• Unsloth notebooks

• LLaMA-Factory

• Supervised fine-tuning (SFT) of an LLM

Погрузиться в вопрос дообучения моделей помогут следующие статьи:

• Поиск данных, прокачанная тренировка и судейская оценка. Как с минимальными ресурсами улучшить качество дообучения LLM

• GitHub - meta-llama/llama-recipes: Scripts for fine-tuning Meta Llama with composable FSDP & PEFT methods to cover single/multi-node GPUs. Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA

• The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities

Учитывайте, что дообучение модели требует времени и ресурсов, поэтому важно планировать этот процесс заранее и обеспечивать достаточную вычислительную мощность для эффективного обучения. Кроме того, убедитесь, что у вас есть доступ к данным, на которых будет происходить дообучение модели.

На этом у меня все, но я готов ответить на ваши вопросы. Спасибо, что читали!