Рубрика «sonnet3.7»

LLM кодеры уже показывают отличные результаты на бенчмарках и в реальных задачах. Кажется, сейчас хорошее время, чтобы начать пробовать ими пользоваться.

В статье разберем открытые LLM для кодинга. Сравнимы ли они с подписочными моделями? Можно ли их использовать для работы? А есть ли вариант начать локально?

В части туториала:

  1. Запустим через docker с помощью llama.cpp.

  2. Сделаем замеры скорости генерации.

  3. Ускорим за счет спекулятивного декодинга.

  4. Подключим в vscode, заставим работать локально и через ssh.

Что можно делать с llm

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js