Рубрика «llama»
Сможет ли ИИ принять правильное решение? Ответы нейросетей на моральные вызовы
2024-12-11 в 13:31, admin, рубрики: gemini, GigaChat, gpt, llama, llm, qwen, yandexgpt, искусственный интеллект
Почему LLM так плохо играют в шахматы (и что с этим делать)
2024-11-29 в 10:10, admin, рубрики: gpt 3.5-turbo, gpt 4.0, gpt-4 omni, gpt-4o, llama, llama 3.1, llm, большие языковые модели, шахматы
В своём последнем посте я говорил об одной загадке: все большие языковые модели (LLM) ужасно играют в шахматы. Все, за исключением gpt-3.5-turbo-instructЧитать полностью »
Мы потратили 320 тысяч рублей ради Nvlink для нейросетей. Но был ли в этом смысл?
2024-11-25 в 10:53, admin, рубрики: A5000, llama, Nvidia, NVLink, ServerFlow, Видеокарты, ИИ, искуственный интеллект, машинное обучение, Серверное администрированиеПривет, с вами снова ServerFlow. И да, мы потратили 320 тысяч рублей, чтобы проверить, есть ли какой-то толк от Nvlink при развертывания нейросетей? Тесты мы провели на двух видеокартах Nvidia A5000 24GB, сначала объединённые NVLink, а после без него. Для наглядности теста нами была выбрана последняя языковая модель LLaMA 3.2 на 90 миллиардов параметров. Что у нас в итоге вышло – сможете узнать ниже в посте.
Рубрика: VPS на пределе возможностей. LLM на CPU с 12Gb RAM
2024-11-12 в 9:01, admin, рубрики: llama, Ollama, ruvds_статьи, vps, ИИ, искуственный интеллект, машинное обучение, нейронные сети, облако, сервер
По работе я привык, что если какая-то нейронка не влезает на GPU-сервер, то первое моё действие — проверить, нет ли модели с квантизацией побольше, либо запросить ещё больше VRAM. Однако не все работают на облачных провайдерах, кто-то у нас ещё и заказывает услуги. А тарифы на GPU-серверы порой заставляют серьёзно задуматься о том, так ли они нужны, особенно когда нет потребности в нейронках на сотни миллиардов параметров. Что, если попробовать делать всё на обычном VPS-тарифе с бюджетом в 5000 рублей в месяц? Да и зачем ограничиваться одними лишь нейронками?
Квантизация позволяет запускать Llama 3.2 на мобилках
2024-11-05 в 13:27, admin, рубрики: generative models, llama, llama 3.2, qlora, генеративные модели, нейронные сетиКвантизация помогла портировать последнюю версию LLM Llama 3.2 на мобильные платформы - iOS и Android. Для этого разработчики выпустили квантованные версии Llama 3.2 1B и 3B, которые при тестах на ARM-процессорах показали высокую скорость инференса, по сравнению с несжатыми весами в формате BF16.
Как вообще получилось, что Llama работает на мобильных процессорах, ведь для ее запуска нужен определенный программный стек, чаще всего библиотека Pytorch и CUDA на операционной системе Linux?
Дело в том, что Meta* (признана в России экстремистской организацией) используют ExecuTorchЧитать полностью »
DE-1. DIY ассистент на LLM
2024-10-26 в 17:11, admin, рубрики: AI, assistant, llama, llm, python, Whisper
OpenAI o1 — LLM, обученная выполнять сложные логические рассуждения
2024-10-01 в 11:34, admin, рубрики: data engineering, llama, llm, mlops, nlp, reinforcement learning, большие языковые модели, квантизация, машинное обучение, нейронные сетиOpenAI изменили направление развития своих языковых моделей, от просто генерации текста их последняя модель перешла к решению задач с использованием логики и пошагового анализа проблемы.
До сих пор LLM генерировали текст на основе данных, использованных в процессе обучения. Веса модели хранят представление о зависимостях между текстовыми токенами, полученное из исходного корпуса данных. Соответственно, модель просто генерирует наиболее вероятные токены "по памяти", но не выполняет с их помощью никакой по-настоящему интеллектуальной работы.
Опыт тюнинга Llama3 405B на AMD MI300x
2024-09-24 в 16:09, admin, рубрики: amd, jax, llama, Nvidia, pytorch, обучение моделей
Введение
Опенсорсные модели становятся всё объёмнее, поэтому потребность в надёжной инфраструктуре для выполнения крупномасштабного обучения ИИ сегодня как никогда высока. Недавно наша компания выполнила fine-tuning модели LLaMA 3.1 405B на GPU AMD, доказав их способность эффективно справляться с крупномасштабными задачами ИИ. Наш опыт был крайне положительным, и мы с радостью выложили всю свою работу на Читать полностью »
Шлепа — Большой Русский Бенчмарк
2024-09-02 в 7:00, admin, рубрики: llama, llm, mistral, бенчмаркинг
Здарова! На связе лаборатория Вихрей, сегодня мы расскажем про наш бенчмарк, Шлёпа — большой русский бенчмарк.
Что есть сейчас для оценки русскоязычных LLM
Mera — бенчмарк от Альянса искусственного интеллекта, использует тесты и генерацию, сабмит через сайт, сайт почти не обновлялся с зимы. Почитать про него можно тут
