Рубрика «ML алгоритмы»

Переход компаний с иностранного ПО на системы российского производства сопровождается не только решением технических задач конвертации данных и обновлением серверных операционных систем, но и решением методологических задач, связанных с интеграцией ранее разнородных массивов данных. В момент перехода на другие программные решения, в большинстве случаев, пересматривается наполненность и связность справочных, нормативных и регламентирующий данных, что вскрывает ранее скрытые многочисленные проблемы.

Читать полностью »

Введение

За последние годы качество LLM моделей сильно выросло, методы квантизации стали лучше, а видеокарты мощнее. Тем не менее качество генерации все еще напрямую зависит от размера весов и, как следствие, вычислительной сложности.
Кроме того, генерация текста авторегрессионна - токен за токеном по одному, потому ее сложность зависит от размера контекста и количества генерируемых токенов.

Но генерация текста не всегда имеет однородную сложность, так же как мы во многом мыслим идеями, а слова произносим “на автомате”. В статье обсудим алгоритмы, позволяющие использовать эту неоднородность для ускорения.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js