Рубрика «llama» - 2

Привет, чемпионы! С каждым днем появляется все больше и больше LLM, их показатели растут с таким же темпом. Но в определенных областях они до сих пор не слишком хороши, так как на этапе предобучения не выгодно охватывать узкие домены - легче модели скормить общие данные, а потом дообучить.

Секунду, слишком много терминов на один пиксель: что такое предобучение и "дообучение"? Практически все современные "чатовые" модели выпускаются не до конца обученные, чтобы в случае неудовлетворенности пользователя результатам генерации, он смог дообучить под свои данные.

ДообучениеЧитать полностью »

Совсем недавно Meta представила миру Llama 3.1 405B - новую открытую модель, бросающую вызов признанным лидерам, таким как GPT-4o и Claude-3.5 Sonnet.

Опенсорс на арене: правда ли так хороша Llama 3.1 405B? - 1

Читать полностью »

Бывают ситуации, когда жизненные обстоятельства не позволяют использовать ChatGPT и приходится разворачивать LLM локально. Например бабушка не разрешает. Так можно остаться и без AI, а этого мужики точно не поймут. Есть ли какие-то способы решения этой проблемы?

Если у вас такая ситуация – можете выдохнуть, решение есть. На данный момент существуют следующие варианты:

1. Проприетарные модели:

a. Anthropic – в настоящее время сравним или превосходит по качеству ChatGPT 4.0 на некоторых задачах и обладает большим контекстным окном, давая возможность решать многие задачи, не прибегая к RAG и другим гибридным методам

b. Читать полностью »

Что нового

В прошлой статье я писал о запуске Alpaca на Эльбрусе. На момент написания той статьи оптимизации под Эльбрус не проводились. Однако теперь, благодаря стараниям @troosh можем протестировать Эльбрус уже с оптимизациями. ВНИМАНИЕ! Проект llama.cpp обновляется очень часто, и многое меняется. На данный момент это самая актуальная версия llama.cpp под Эльбрус.

И сразу тесты

В прошлой статье я уже описал что делал. Поэтому тут я сразу начну с тестов.

Читать полностью »

ChatGPT — лучший помощник программиста. Примеры реальных задач. Плагины и инструменты - 1


Языковая модель ChatGPT никогда не заменит программиста, потому что непосредственно редактирование кода — это крохотная часть разработки (5% по времени). Зато ChatGPT великолепно помогает. И чем выше ваш скилл — тем больше пользы от «подмастерья», выполняющего мелкие задания и черновой кодинг. Он пишет простые функции, генерирует документацию, находит и объясняет ошибки, выполняет кучу других задач (полный список под катом).

Сегодня не использовать ChatGPT просто глупо… Это действительно универсальный помощник, который сильно облегчает жизнь и выводит программирование на принципиально новый уровень. Одно из величайших изобретений в IT за десятилетия, после GUI и интернета.

Пожалуй, никогда программирование не было настолько приятным и эффективным, как сейчас.
Читать полностью »

Думаю уже все слышали об Alpaca - аналоге chatGPT, которую можно запустить локально на процессоре. И раз есть такая возможность почему бы не сделать это на Эльбрусе?!

На чем тестировалось

Я решил сравнить три процессора: Эльбрус 8СВ на сервере sumeriko(Доступ можно получить по ссылке), Эльбрус-16С(Спасибо Михаилу Шигорину, у него как раз имеется инженерный образец данного процессора) и Ryzen 7 5800H.

Что было сделано

Я не стал придумывать велосипед и скачал llama.cpp Читать полностью »

OpenAssistant: Вышла бесплатная открытая альтернатива ChatGPT - 1

Участники открытого сообщества LAION-AI выпустили в открытый доступ первые обученные модели OA_SFT_Llama_30B и OA_SFT_Llama_13B. и запустили ИИ-чатбот OpenAssistantЧитать полностью »

В течении последнего месяца в сфере текстовых нейронок всё кипит - после слитой в сеть модели Llamaaka "ChatGPT у себя на пекарне" люди ощутили, что никакой зацензуренный OpenAI по сути им и не нужен, а хорошие по мощности нейронки можно запускать локально, имея минимум 16ГБ обычной ОЗУ и хороший процессор.

Пока технические паблики только начинают отдуплять что происходит, и выкладывают какие-то протухшие гайды месячной давности, я вам закину пару вещей прямо с фронта.

Где запускать?

Способ первый - на процессоре

Я бы мог вставить сюда ссылку на репозиторий llama.cppЧитать полностью »

ЛЛаМы на Эльбрусе - 1

Всем привет! Возможно, вы уже знаете о проекте LLaMA.cpp (на Хабре по этой теме был цикл новостей от @bugman). В самом репозитории никаких ссылок на модели не даётся, только указание на необходимые ресурсы. И ресурсы, надо сказать, немалые.

Читать полностью »

image

Судьба плеера Winamp полна неожиданных поворотов. Группа компаний Vivendi S.A.R.L объявила о приобретении 64% акций компании Radionomy, которая на данный момент владеет всеми правами на некогда самый популярный медиаплеер. И хотя прямых объявлений о возобновлении разработки сделано не было, в Vivendi указывают, что Winamp и SHOUTcast стали одними из самых значимых их активов.

Изначально Winamp был разработан компанией Nullsoft в 1997 году. Создателями программы являются Джастин Франкель и Дмитрий Болдырев. В 1999 году компанию Nullsoft приобрела AOL LLC. В 2004 году последние сотрудники компании Nullsoft, стоявшие у истоков разработки Winamp, покинули AOL LLC. На конец 2009 г. Winamp использовали 70 млн пользователей.

В конце 2013 года AOL объявила, что отказывается от проекта Winamp и дальнейшей его разработки. после этого в январе 2014 года бельгийская компания Radionomy Group, занимающаяся интернет-радиовещанием объявила о покупке проигрывателя у корпорации AOL проигрывателя Winamp. В собственность Radionomy, помимо Winamp, перешёл каталог радиостанций SHOUTcast.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js