[Stable Diffusion] Inpaint Anything - расширенные манипуляции с объектами

Спонсоры темы:

Для начала установим Inpant Anything в интерфейс Stable Diffusion от Automatic1111. Перейдем во вкладку
⁡Extensions
⁡, выберем
⁡Available
⁡, загрузим доступные расширения с репозитория по нажатию кнопки
⁡Load from
⁡

После завершения установки не забудьте перезагрузить интерфейс.
⁡Apply and restart UI
⁡

После загрузки интерфейса у нас появится новая вкладка
⁡Inpaint Anything
⁡. Переходим в нее

Для начала нам необходимо загрузить модель для сегментации. Я использую
⁡sam_vit_h_4b8939.pth
⁡. После выбора модели нажмите кнопку
⁡Download model
⁡

После завершения загрузки указанной модели загружаем любое изображение для работы. В моем случае я выбрал случайную девушку из Яндекс Картинок.

Нажимаем кнопочку
⁡ Run Segment Anything
⁡

Получаем сегментацию изображения

Каждый цвет - это отдельный сегмент изображения, чтобы его выделить достаточно поставить маленькую точку кисточкой.
К примеру я хочу изменить цвет волос у девушки.

Нажимаем
⁡Create Mask
⁡ для создания маски

Получаем маску для изображения

Мы так же можем увеличить зону маски (если это потребуется) подвинув ползунок
⁡Expand Mask Iterations
⁡ и нажав на кнопку
⁡Expand mask region
⁡

После того как мы со всем разобрались и создали маску - можем создать нужный Prompt для изображения. Во вкладке
⁡Inpaint
⁡

После указания Prompt не забываем выбрать доступную модель для Inpainting из выпадающего списка
⁡Inpainting Model ID
⁡

Параметр
⁡Iterations
⁡ отвечает за количество повторений, сколько разных изображений мы получим в конце. Я указал 2.

После того как закончим с настройками запускаем работу по кнопке
⁡Run Inpainting
⁡

Если модель ранее не была установлена, то после ее выбора начнется установка модели

По завершению мы получим измененное изображение с учетом нашей маски и подсказки.

Мы можем не только добавлять изменения к изображению, но так же и удалять объекты по маске изображения. Для этого у нас присутствует вкладка
⁡Cleaner
⁡

Выбираем модель. Я буду использовать
⁡Lama
⁡

После завершения загрузки модели проделываем тоже самые действия: загружаем изображение, запускаем сегментацию изображения, выделяем сегмент, создаем маску.



Далее жмем кнопку
⁡Run Cleaner
⁡ и убираем ненужный объект на изображении, в данном случае плиты


На этом гайд по расширению Inpant Anything завершен. Всем спасибо за просмотр