LLM кодеры уже показывают отличные результаты на бенчмарках и в реальных задачах. Кажется, сейчас хорошее время, чтобы начать пробовать ими пользоваться.
В статье разберем открытые LLM для кодинга. Сравнимы ли они с подписочными моделями? Можно ли их использовать для работы? А есть ли вариант начать локально?
В части туториала:
-
Запустим через docker с помощью llama.cpp.
-
Сделаем замеры скорости генерации.
-
Ускорим за счет спекулятивного декодинга.
-
Подключим в vscode, заставим работать локально и через ssh.