Stable vs Photoshop: сравнение генераций

Привет, меня зовут Юля, 85GB и я веду свой канал по нейронкам ^[1].

Сегодня хочу обозреть и сравнить плагин Stable Diffusion (на базе интерфейса Automatic) для Photoshop и Generative Fill на базе Adobe Firefly для него же. По каждому пункту нейронки будут получать либо 1 балл, либо 0. В данном случае мне так удобнее вести счёт.

Плагин Стейбла с инструкцией лежит здесь ^[2].

Содержание:

1. Системные требования
2. Интерфейс и порог вхождения
3. Вариативность
4. Ликвидация объекта с фотографии
5. Добавление фона
6. Добавление объекта
7. Замена объекта
8. Замена фона
9. Txt to img
10. Img to img
Выводы

Итак, приступим.

1. Системные требования. Пожалуй, самый важный пункт, без которого нет смысла продолжать работу. Стейбл — локальный, и ему необходимо очень много видеопамяти. У меня карта на 8 гигов, и при обработке больших изображений требуется работать с малыми областями или уменьшать эти самые изображения примерно до 1000 пикселей по длинной стороне (а то и до 512), и это невероятный мизер, если речь идёт о качественной пикче. Скорее всего, в комментариях будут писать о том, как именно можно апскейлить через сам Стейбл, делать там текстуру и качество. Но их же можно изначально не терять, правда?

   Файрфлай обращается к облаку, не нагружает видеопамять и позволяет спокойно работать с фотками размером 6000х4000 пикселей. Единственный минус в данном случае — при отсутствии подключения к сети Адобовская нейронка работать не будет.

   Скорость генерации изображения размером 512px в Стейбл Диффьюжн и Адоб Файрфлай ≈ 12 секунд. Генерация пикчи 6000px по длинной стороне в Файрфлай ≈ 20 секунд.

   Stable Diffusion	Adobe Firefly
   0	1

2. Интерфейс и Порог вхождения. Для тех, кто ранее не был знаком (!) со Стейбл Диффьюжн, интерфейс плагина будет непонятен. К тому же, перед установкой самого плагина нужно скачать и поставить на комп Стейбл от Automatic1111. Помимо этого, для каждого вида генерации нужна своя модель, которая при этом должна поддерживать функцию inpaint, потому что всё происходит непосредственно в ней. Эти модели нужно искать и качать отдельно. И для кого-то это безусловный плюс, но если мы всё же не будем отметать нубов типа меня, то обратим внимание на простой и понятный интерфейс Адоб Файрфлай.
   
   
   

   — Да, вот эти крошечные окошечки являются интерфейсом генеративной заливки Файрфлай.

   Работа в обеих нейронках происходит следующим образом: выделяем объект, пишем или не пишем промпт, жмакаем Генерировать. Так как работа происходит внутри ФШ, выделить объекты можно десятком способов, в том числе и автоматически.

   Stable Diffusion	Adobe Firefly
   0	1

3. Вариативность. Стейбл выдаёт 4 варианта сгенерированных картинок на выбор, а Файрфлай — 3. Предел нейронки от Адоба — 50 изображений, далее надо удалить слой и начать круг генераций снова или выбрать из имеющихся вариантов. У Стабильной Диффузии формально нет предела, как и нет списка всех генераций, поскольку каждая принятая генерация (помеченная галочкой в интерфейсе) — это новый слой. В случае с генеративной заливкой Адоба все варианты находятся в свойствах ОДНОГО слоя. Обе системы по своему нагружают комп: Файрфлай провисает при пролистывании большого количества вариантов, а в случае со Стейблом приходится вычищать множество лишних слоёв. При таком раскладе оценивать очень сложно, поэтому обе нейронки получают по баллу.

   

   Stable Diffusion	Adobe Firefly
   1	1

4. Наконец-то мы можем приступить к генерации. Здесь я возьму фотографию собачки, любезно предоставленную моей подписчицей (спасибо, Нина ^[3]) и попробую убрать её вообще, не вводя никаких промптов.

   

   Для того чтобы реализовать автоматическую замену объекта в Стейбл, нужно на максимум выкрутить ползунок Denoising Strength, таким образом мы показываем нейронке, что она может фантазировать на полную. По традиции Стейбл Диффьюжн, она фантазирует голых девочек и женщин, но были также и зверушки.

   

   Я выбрала птичку, потому что это самое маленькое существо в заменяемой области и потому что появилась некая трава на фоне. Самое странное в данном случае — остался контур собаки. Почему-то он Стейбл делает маску с растушёвкой, которую нужно подчищать дополнительно. С генеративной заливкой Файрфлай такого не происходит, нейронка по дефолту воспринимает собаку как лишний объект и создаёт заливку из окружения.

   Stable Diffusion	Adobe Firefly
   0	1

5. Добавление фона. В этом раунде я попробую догенерировать фон без промпта. И да, Стейбл так не работает, а Файрфлай справляется прекрасно. Что, впрочем, не новость, поскольку по сети уже гуляет множество догенеренных мемасиков, картин и всякого такого.

   

   Stable Diffusion	Adobe Firefly
   0	1

6. Добавление объекта. Здесь мы оценим добавление объекта внутрь изображения. В обоих случаях пришлось немного повозиться с промптами, чтобы получилась именно стая птиц, а не одна-две, но с размытием генеративная заливка Adobe справилась лучше. Промпт: a flock of many birds far away

   

   Stable Diffusion	Adobe Firefly
   0	1

7. Замена объекта. Для начала простое — заменим то́ллера на добермана. Просто ввожу в командную строку промпт doberman. Для Стейбла в качестве эксперимента я прописала ещё и негативный промпт, но разницы в итоге не увидела. И это хорошо, поскольку означает, что мы можем обойтись без этого гемора, нейронка всё же ориентируется на изображение.

   

   Здесь видно, что Стейбл максимально старается заполнить область новой собакой, как бы подменяя ею предыдущую, в то время как Файрфлай создаёт пса в какой-то странной позе. При этом ни одна собака не является доберманом и качество генерации сильно хромает, так что здесь у нас очередная ничья. Но не всё так просто. Нам же нужно практическое применение, правильно? Сразу оговорюсь, что обе подключеных к ФШ системы не в состоянии поправить руки, завязанные в узелок при генерации, или сгенерировать сложный фон позади человека типа концертного зала (все люди в кашу), но кое-что они всё-таки умеют.

   Вы видите перед собой кусок фотографии, которую я сделала в туристическом месте, поэтому там на фоне тачка. И её надо бы убрать. В обоих случаях пришлось заморочиться с промптами, добиваясь приемлемого результата. Не могу сказать, что на 100% довольна обеими нейронками, но здесь я скорее тоже склоняюсь к ничьей.

   

   Stable Diffusion	Adobe Firefly
   0	0

8. Замена фона. Её я вынесла отдельно, поскольку, как выяснилось, «этодругое». Например, нейрозаливка Адоба может нативно сгенерить хорошую циклораму под объект (сохраняя при этом оригинальный размер пикчи, напоминаю). Стейбл, увы, здесь не справился, и хотя я пыталась направить его с помощью негативного промпта, то, что вы видите перед собой — это максимум, который мне удалось получить. Он принципиально не хотел делать розовый фон, обращаясь к оригинальному, сероватому. Для предметников, ящитаю, это мастхэв, когда не нужно покупать 10к фонов.

   

   Stable Diffusion	Adobe Firefly
   0	1

9. Txt to Img. Попробуем из пустого белого слоя воссоздать с помощью промпта аналогичную картинку с собакой. Промпт: the dog is sitting on a log in a clearing, against the background of a river and a forest. Негативных для стейбла здесь использовано не было

   

   В обоих случаях получилась дичь разной степени. Стейбл как будто бы лучше справился с собакой, а Файфлай — с травой. Второго можно было бы выбрать за то, какую область он заполнил, но качество генерации меня совершенно не устраивает, поэтому здесь я тоже ставлю ничью.

   Stable Diffusion	Adobe Firefly
   0	0

10. Img to Img — это функция Стабильной Диффузии, которая отвечает за то, чтобы превращать одно изображение в другое с максимально схожим визуалом. Но я пока не знаю, есть ли такая функция у Файрфлай, давайте проверим.

    

    Очевидно, что у нейронки Адоб нет подобного функционала и она не воспринимает подложку как нечто, что надо «улучшить», генерируя совершенно иное изображение просто под промпт, хотя и безусловно качественное.

    Stable Diffusion	Adobe Firefly
    1	0

Выводы. Начнём с оценок:

Штош. В данном случае очевидно, что Адоб, несмотря на недостатки, разносит Стейбл на своей территории. Могу сказать, что генеративная заливка на базе Файрфлай действительно прекрасный инструмент для фотографов и дизайнеров. Генеративная заливка отлично справится с обрезанными частями тел, зданий, простенькой заменой фона, добавлением предметов и т.д. Стейбл же в данном случае является хорошим подспорьем для художников, создавая подмалёвок или помогая в генерации с нуля каких-либо объектов вместо сбора сотни референсов.

Надеюсь, этот обзор был полезен и поможет вам в выборе. Спасибо, что дошли до конца. Всем чмаффки, и подписывайтесь на мой канал ^[1].