Переход компаний с иностранного ПО на системы российского производства сопровождается не только решением технических задач конвертации данных и обновлением серверных операционных систем, но и решением методологических задач, связанных с интеграцией ранее разнородных массивов данных. В момент перехода на другие программные решения, в большинстве случаев, пересматривается наполненность и связность справочных, нормативных и регламентирующий данных, что вскрывает ранее скрытые многочисленные проблемы.
Рубрика «ML алгоритмы»
Практика использования алгоритмов машинного обучения для нормализации данных НСИ в корпоративных системах
2025-02-20 в 11:30, admin, рубрики: ML алгоритмы, нормализация НСИ, НСИ, справочникиАлгоритмы спекулятивного инференса LLM
2025-01-05 в 9:25, admin, рубрики: DL, DL инференс, llm, ml, ML алгоритмы, алгоритмическая оптимизация, инференс, оптимизация инференса, спекулятивный декодингВведение
За последние годы качество LLM моделей сильно выросло, методы квантизации стали лучше, а видеокарты мощнее. Тем не менее качество генерации все еще напрямую зависит от размера весов и, как следствие, вычислительной сложности.
Кроме того, генерация текста авторегрессионна - токен за токеном по одному, потому ее сложность зависит от размера контекста и количества генерируемых токенов.
Но генерация текста не всегда имеет однородную сложность, так же как мы во многом мыслим идеями, а слова произносим “на автомате”. В статье обсудим алгоритмы, позволяющие использовать эту неоднородность для ускорения.