Рубрика «нейронные сети»

Рубрика: VPS на пределе возможностей. LLM на CPU с 12Gb RAM - 1

По работе я привык, что если какая-то нейронка не влезает на GPU-сервер, то первое моё действие — проверить, нет ли модели с квантизацией побольше, либо запросить ещё больше VRAM. Однако не все работают на облачных провайдерах, кто-то у нас ещё и заказывает услуги. А тарифы на GPU-серверы порой заставляют серьёзно задуматься о том, так ли они нужны, особенно когда нет потребности в нейронках на сотни миллиардов параметров. Что, если попробовать делать всё на обычном VPS-тарифе с бюджетом в 5000 рублей в месяц? Да и зачем ограничиваться одними лишь нейронками?

Читать полностью »

Полтора года назад я начал работу над проектом с открытым исходным кодом, который постепенно рос и развивался. Вдохновившись проектом AUTOMATIC1111, на тот момент только появившимся, я добавлял всё больше функционала и возможностей. Сегодня мой проект включает более 50 нейронных сетей, каждая из которых выполняет свою уникальную задачу. В этой статье я делюсь практическими лайфхаками и выводами, которые помогли мне на этом пути. Надеюсь, что они будут полезны и вам.

Читать полностью »

Квантизация помогла портировать последнюю версию LLM Llama 3.2 на мобильные платформы - iOS и Android. Для этого разработчики выпустили квантованные версии Llama 3.2 1B и 3B, которые при тестах на ARM-процессорах показали высокую скорость инференса, по сравнению с несжатыми весами в формате BF16. 

Как вообще получилось, что Llama работает на мобильных процессорах, ведь для ее запуска нужен определенный программный стек, чаще всего библиотека Pytorch и CUDA на операционной системе Linux?

Дело в том, что Meta* (признана в России экстремистской организацией) используют ExecuTorchЧитать полностью »

State Space Models. Mamba - 1

Привет, Habr!

Ни для кого не секрет, что доминирующей на данный момент архитектурой в области Deep Learning являются трансформеры. Они произвели настоящий фурор и стали основой для самых известных LLMЧитать полностью »

"Истинная проблема не в том, говорят ли машины, как люди, а в том, знаем ли мы достаточно о человеческой речи." - Клод Шеннон

"Парадокс цифрового 'китайца': LLM в Китайской комнате знает больше любого реального китайца, но никогда не пробовала настоящий чай улун." (автор)

Введение

Читать полностью »

Всем привет, с вами снова Павел Бузин. Нобелевская неделя принесла несколько замечательных новостей, которые окажут серьезное влияние на развитие отраслей, связанных с машинным обучением и искусственным интеллектом. 

Первая новость — Нобелевская премия по физике 2024 года присуждена Джону Хопфилду (John J. Hopfield) и Джефри Хинтону (Geoffrey E. Hinton) за исследования в области нейронных сетей. 

Читать полностью »

Всем привет!

Совсем недавно мы анонсировали словарь русского жестового языка (РЖЯ), а в этой статье поговорим про задачу распознавания алфавита РЖЯ, именуемого также дактильным алфавитом или дактилем. Предлагаем ознакомиться с нашей работой, в которой мы представим новый датасет Bukva — первый полноценный видеонабор данных для распознавания дактильной азбуки. Он содержит 3757 видеороликов с более чем 101Читать полностью »

ИИ без иллюзий. Развенчивание мифов - 1

В своем подкасте я грозился сам почитать статью GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models ученых из Apple и разобраться. Почитал. Разобрался. Забавная статья. Забавная не по содержанию, а по выводам, которые можно сделать, если читать между строк и выйти за границы статьи.

Сначала совсем прямой смысл.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js