Некоторое время назад я был в восторге от Ollama: простое скачивание моделей одной консольной командой, наличие SDK для NodeJS и Python, OpenAI-подобное API. Однако, так как отрасль рынка активно развивается, инструмент с каждым днем становится менее конкурентноспособным
Пункты ниже заставят вас задуматься рассмотреть другой инструмент запуска GGUF, например: LMStudio, LocalAI, KoboldCPP, vLLM или llama-server
Модели-шизофреники c тысячами загрузок
Привет! Развертывание языковой модели на собственном сервере требует тщательного планирования аппаратной составляющей. В этой статье мы разберем, какие компоненты критически важны для эффективной работы LLM, как они взаимодействуют, и какую конфигурацию выбрать под разные сценарии использования.
Привет! В прошлый раз мы сделали телеграм-бота с полноценным ИИ. Теперь мы продолжим добавлять новые интересные фичи нашему боту, но в этот раз мы начнем с конца и посмотрим на готовый результат, а потом разберем код и детали реализации.
Первое, что мы сделаем – это добавим небольшое меню с двумя опциями: выбор модели ИИ и отображение уже выбранной модели.
Спойлер для экономии времени читающих — я просто скачаю DeepSeek и запущу его через llama.cpp, на какую-либо научную новизну этот пост совершенно не претендует. Зачем это на хабре, если там всего одна команда? Просто в комментариях к посту «Мануал по запуску полной модели DeepSeek-R1 локальноЧитать полностью »
Несмотря на то, что искусственный интеллект только начал входить в нашу жизнь, он уже перестал быть привилегией супер-компьютеров и облачных платформ. Теперь даже не самые новые iPhone способны нативно запускать продвинутые языковые моделиЧитать полностью »
За последние два года - за время невероятной популярности Generative AI - появилось много перспективных компаний, создающих новые прорывные модели. Последний пример - это китайский стартап DeepSeek, благодаря которому у нас есть открытые аналоги OpenAI GPT-4o и o1. С теми же (что проверено бенчмарками) возможностями в плане выполнения текстовых инструкций, задач на математику, логику и кодинг.
В этой статье мы рассмотрим протокол кредитования — Curve LlamaLend. Это уникальный проект, основанный на стейблкоине CrvUSD и использующий автоматизированного маркет-мейкера (AMM) в своей основе. У CrvUSD есть несколько интересных особенностей, таких как математическая модель для управления стабильностью курса и механизмы стабилизации, которые работают с ценовыми диапазонами. Эти диапазоны чем-то напоминают «тики» из Uniswap V3, но функционируют иначе. Ещё одна необычная деталь — так называемые «мягкие ликвидации». Они работают совершенно не так, как стандартные ликвидации в других протоколах.
Читать полностью »
В своём последнем посте я говорил об одной загадке: все большие языковые модели (LLM) ужасно играют в шахматы. Все, за исключением gpt-3.5-turbo-instructЧитать полностью »
Привет, с вами снова ServerFlow. И да, мы потратили 320 тысяч рублей, чтобы проверить, есть ли какой-то толк от Nvlink при развертывания нейросетей? Тесты мы провели на двух видеокартах Nvidia A5000 24GB, сначала объединённые NVLink, а после без него. Для наглядности теста нами была выбрана последняя языковая модель LLaMA 3.2 на 90 миллиардов параметров. Что у нас в итоге вышло – сможете узнать ниже в посте.
