В мире сейчас десятки компаний пытаются повторить успех языковой модели ChatGPT. Однако разработчики из Университета Стэнфорда смогли это сделать по-своему. Там создали Alpaca 7B, которая работает подобно ChatGPT, но построена на языковой модели с открытым кодом. А на обучение ушло всего лишь 600 долларов, тогда как обучение ChatGPT оценивается в миллионы долларов.
В основе лежит модель Meta LLaMA 7B, которую обучили определённым образом. Важно отметить, что это самая маленькая модель серии LLaMA. В базовом варианте она отставала от ChatGPT в большинстве задач, однако после необходимого обучения даже превзошла.
Тесты в задачах, связанных с электронной почтой, социальных сетях и инструментах производительности, Alpaca победила в 90 из этих тестов, а GPT – в 89.
«Мы были удивлены результатом, учитывая небольшой размер модели и скромный объем данных для выполнения инструкций. Кроме использования этого набора статических оценок, мы также тестировали Alpaca в интерактивном режиме и обнаружили, что она часто ведет себя подобно GPT-3.5 на различных входных данных. Мы признаем, что наша оценка может быть ограничена в масштабе и разнообразии», – сообщили разработчики.
При этом отметим, что такие нейросети можно запускать на обычных ПК или даже на одноплатных системах, подобных Raspberry Pi.
