Рубрика «tiktoken»

Эта статья про новое расширение ахритектуры трансформеров – Titan от Google –, позволяющее расширить рамки LLM до 2 млн токенов, побудила поинтересоваться, сколько токенов, пригодных для LLM, содержат исходники колоссального софта.

Какой открытый софт будем „препарировать“:


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js