Рубрика «tiktoken»

Сейчас на фоне стремительной популяризации нейросетей, в России появилось достаточно много сервисов и агрегаторов, обеспечивающих удобный доступ к популярным языковым моделям без использования VPN. Однако при выборе подходящего решения мы зачастую сталкиваемся с проблемой разношерстной тарификация: у одних внутренняя валюта, у других стоимость за слова, третьи считают символы или количество токенов в запросе.

Читать полностью »

Эта статья про новое расширение ахритектуры трансформеров – Titan от Google –, позволяющее расширить рамки LLM до 2 млн токенов, побудила поинтересоваться, сколько токенов, пригодных для LLM, содержат исходники колоссального софта.

Какой открытый софт будем „препарировать“:


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js