По работе я привык, что если какая-то нейронка не влезает на GPU-сервер, то первое моё действие — проверить, нет ли модели с квантизацией побольше, либо запросить ещё больше VRAM. Однако не все работают на облачных провайдерах, кто-то у нас ещё и заказывает услуги. А тарифы на GPU-серверы порой заставляют серьёзно задуматься о том, так ли они нужны, особенно когда нет потребности в нейронках на сотни миллиардов параметров. Что, если попробовать делать всё на обычном VPS-тарифе с бюджетом в 5000 рублей в месяц? Да и зачем ограничиваться одними лишь нейронками?
Рубрика «нейронные сети»
Рубрика: VPS на пределе возможностей. LLM на CPU с 12Gb RAM
2024-11-12 в 9:01, admin, рубрики: llama, Ollama, ruvds_статьи, vps, ИИ, искуственный интеллект, машинное обучение, нейронные сети, облако, серверПрактика: мой опыт интеграции более 50 нейронных сетей в один проект
2024-11-07 в 8:30, admin, рубрики: CUDA, github, lifehack, onnxruntime, python, torch, исскуственный интеллект, лайфхаки, нейронные сети, опытПолтора года назад я начал работу над проектом с открытым исходным кодом, который постепенно рос и развивался. Вдохновившись проектом AUTOMATIC1111, на тот момент только появившимся, я добавлял всё больше функционала и возможностей. Сегодня мой проект включает более 50 нейронных сетей, каждая из которых выполняет свою уникальную задачу. В этой статье я делюсь практическими лайфхаками и выводами, которые помогли мне на этом пути. Надеюсь, что они будут полезны и вам.
Квантизация позволяет запускать Llama 3.2 на мобилках
2024-11-05 в 13:27, admin, рубрики: generative models, llama, llama 3.2, qlora, генеративные модели, нейронные сетиКвантизация помогла портировать последнюю версию LLM Llama 3.2 на мобильные платформы - iOS и Android. Для этого разработчики выпустили квантованные версии Llama 3.2 1B и 3B, которые при тестах на ARM-процессорах показали высокую скорость инференса, по сравнению с несжатыми весами в формате BF16.
Как вообще получилось, что Llama работает на мобильных процессорах, ведь для ее запуска нужен определенный программный стек, чаще всего библиотека Pytorch и CUDA на операционной системе Linux?
Дело в том, что Meta* (признана в России экстремистской организацией) используют ExecuTorchЧитать полностью »
State Space Models. Mamba
2024-10-31 в 13:56, admin, рубрики: AI, chatgpt, deep learning, machine learning, neural networks, Transformers, глубокое обучение, машинное обучение, нейронные сетиПривет, Habr!
Ни для кого не секрет, что доминирующей на данный момент архитектурой в области Deep Learning являются трансформеры. Они произвели настоящий фурор и стали основой для самых известных LLMЧитать полностью »
Stability AI представила Stable Diffusion 3.5: Тестируем новую модель на реальных задачах и сравниваем с SDXL и FLUX
2024-10-22 в 20:22, admin, рубрики: AI, flux, machinelearning, sdxl, stability, stable diffusion 3.5, stablediffusion, генерация изображений, нейронные сети, обновлениеПривет, друзья, 22 октября Stability AI представилаЧитать полностью »
От Павлова до ChatGPT: как LLM перевернули наше понимание мышления
2024-10-18 в 23:44, admin, рубрики: большие языковые модели, искусственный интеллект, квалиа, когнитивные науки, машинное обучение, мышление, нейронные сети, сознание, теория познания, эмбеддинг"Истинная проблема не в том, говорят ли машины, как люди, а в том, знаем ли мы достаточно о человеческой речи." - Клод Шеннон
"Парадокс цифрового 'китайца': LLM в Китайской комнате знает больше любого реального китайца, но никогда не пробовала настоящий чай улун." (автор)
Введение
Нобелевские премии 2024 и искусственный интеллект. Физика: Джон Хопфилд и нейросети имени его
2024-10-17 в 9:50, admin, рубрики: AI, аналитика, искусственный интеллект, машинное обучение, нейронные сети, нобелевка, нобелевская премия 2024, нобелевская премия по физикеВсем привет, с вами снова Павел Бузин. Нобелевская неделя принесла несколько замечательных новостей, которые окажут серьезное влияние на развитие отраслей, связанных с машинным обучением и искусственным интеллектом.
Первая новость — Нобелевская премия по физике 2024 года присуждена Джону Хопфилду (John J. Hopfield) и Джефри Хинтону (Geoffrey E. Hinton) за исследования в области нейронных сетей.
Bukva: алфавит русского жестового языка
2024-10-16 в 8:58, admin, рубрики: дактиль, краудсорсинг, нейронные сети, ржя, русский жестовый язык, сбор данныхВсем привет!
Совсем недавно мы анонсировали словарь русского жестового языка (РЖЯ), а в этой статье поговорим про задачу распознавания алфавита РЖЯ, именуемого также дактильным алфавитом или дактилем. Предлагаем ознакомиться с нашей работой, в которой мы представим новый датасет Bukva — первый полноценный видеонабор данных для распознавания дактильной азбуки. Он содержит 3757 видеороликов с более чем 101Читать полностью »
ИИ без иллюзий. Развенчивание мифов
2024-10-13 в 6:20, admin, рубрики: apple, gpt, llm, nlp, OpenAI, генеративный ии, искусственный интеллект, машинное обучение, нейронные сетиВ своем подкасте я грозился сам почитать статью GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models ученых из Apple и разобраться. Почитал. Разобрался. Забавная статья. Забавная не по содержанию, а по выводам, которые можно сделать, если читать между строк и выйти за границы статьи.