Рубрика «llama»

Привет! В прошлый раз мы сделали телеграм-бота с полноценным ИИ. Теперь мы продолжим добавлять новые интересные фичи нашему боту, но в этот раз мы начнем с конца и посмотрим на готовый результат, а потом разберем код и детали реализации.

Дэмо

Первое, что мы сделаем – это добавим небольшое меню с двумя опциями: выбор модели ИИ и отображение уже выбранной модели.

Читать полностью »

Спойлер для экономии времени читающих — я просто скачаю DeepSeek и запущу его через llama.cpp, на какую-либо научную новизну этот пост совершенно не претендует. Зачем это на хабре, если там всего одна команда? Просто в комментариях к посту «Мануал по запуску полной модели DeepSeek-R1 локальноЧитать полностью »

LLM – это, по сути, ChatGPT без интернета

LLM – это, по сути, ChatGPT без интернета

Несмотря на то, что искусственный интеллект только начал входить в нашу жизнь, он уже перестал быть привилегией супер-компьютеров и облачных платформ. Теперь даже не самые новые iPhone способны нативно запускать продвинутые языковые моделиЧитать полностью »

За последние два года - за время невероятной популярности Generative AI - появилось много перспективных компаний, создающих новые прорывные модели. Последний пример - это китайский стартап DeepSeek, благодаря которому у нас есть открытые аналоги OpenAI GPT-4o и o1. С теми же (что проверено бенчмарками) возможностями в плане выполнения текстовых инструкций, задач на математику, логику и кодинг.

Читать полностью »

Введение

В этой статье мы рассмотрим протокол кредитования — Curve LlamaLend. Это уникальный проект, основанный на стейблкоине CrvUSD и использующий автоматизированного маркет-мейкера (AMM) в своей основе. У CrvUSD есть несколько интересных особенностей, таких как математическая модель для управления стабильностью курса и механизмы стабилизации, которые работают с ценовыми диапазонами. Эти диапазоны чем-то напоминают «тики» из Uniswap V3, но функционируют иначе. Ещё одна необычная деталь — так называемые «мягкие ликвидации». Они работают совершенно не так, как стандартные ликвидации в других протоколах.
Читать полностью »

Почему LLM так плохо играют в шахматы (и что с этим делать) - 1

В своём последнем посте я говорил об одной загадке: все большие языковые модели (LLM) ужасно играют в шахматы. Все, за исключением gpt-3.5-turbo-instructЧитать полностью »

Привет, с вами снова ServerFlow. И да, мы потратили 320 тысяч рублей, чтобы проверить, есть ли какой-то толк от Nvlink при развертывания нейросетей? Тесты мы провели на двух видеокартах Nvidia A5000 24GB, сначала объединённые NVLink, а после без него. Для наглядности теста нами была выбрана последняя языковая модель LLaMA 3.2 на 90 миллиардов параметров. Что у нас в итоге вышло – сможете узнать ниже в посте.

Читать полностью »

Рубрика: VPS на пределе возможностей. LLM на CPU с 12Gb RAM - 1

По работе я привык, что если какая-то нейронка не влезает на GPU-сервер, то первое моё действие — проверить, нет ли модели с квантизацией побольше, либо запросить ещё больше VRAM. Однако не все работают на облачных провайдерах, кто-то у нас ещё и заказывает услуги. А тарифы на GPU-серверы порой заставляют серьёзно задуматься о том, так ли они нужны, особенно когда нет потребности в нейронках на сотни миллиардов параметров. Что, если попробовать делать всё на обычном VPS-тарифе с бюджетом в 5000 рублей в месяц? Да и зачем ограничиваться одними лишь нейронками?

Читать полностью »

Квантизация помогла портировать последнюю версию LLM Llama 3.2 на мобильные платформы - iOS и Android. Для этого разработчики выпустили квантованные версии Llama 3.2 1B и 3B, которые при тестах на ARM-процессорах показали высокую скорость инференса, по сравнению с несжатыми весами в формате BF16. 

Как вообще получилось, что Llama работает на мобильных процессорах, ведь для ее запуска нужен определенный программный стек, чаще всего библиотека Pytorch и CUDA на операционной системе Linux?

Дело в том, что Meta* (признана в России экстремистской организацией) используют ExecuTorchЧитать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js