Одноплатный ПК Raspberry Pi Zero 2 W стоимостью 15 долларов, как оказалось, вполне может запустить нейросеть Stable Diffusion для генерации изображений.
Разработчик Вита Плантамура (Vita Plantamura) сумел запустить модель Stable Diffusion с 1 млрд параметров на данном ПК, используя всего 260 МБ оперативной памяти. В норме модели требуется 8 ГБ.
Автор проекта разработал библиотеку логических выводов OnnxStream, предназначенную для уменьшения потребления памяти. Это позволяет модели работать при столь малом объёме оперативной памяти, но, конечно, не решает проблему очень скромной производительности самой платформы. Создание изображений, созданных с помощью декодеров VAE с точностью W8A8, может занять три часа. Вряд ли это практично, но с точки зрения эксперимента результат имеется.
По словам самого автора проекта, библиотека OnnxStream потребляет в 55 раз меньше памяти, чем OnnxRuntime, но работает не более чем в два раза медленнее.
