Обучение генеративной нейросети в стиле художника Ханца Зацки
Цель данного проекта — постараться воссоздать стиль художника Ханца Зацки с использованием генеративных нейросетей.
Ханс Зацка (нем. Hans Zatzka; 8 марта 1859 — 17 декабря 1945) — австрийский художник, автор многочисленных салонных картин с изображением нимф, купидонов, женщин, детей, любовных пар, зверей и птиц, цветов, натюрмортов.
*определение взято с сайта ru.wikipedia.org
Датасет
Оригиналы изображений были вручную отобраны из открытых источников, обрезаны под формат квадрата и преобразованы в датасет.
Для обучения нейросети было использовано 24 картины.
Библиотека.
Примеры изображений из датасета.
Процесс обучения
Генерации в стиле художника Ханца Зацки.
Модель обучалась в учебных целях с использованием Stable Diffusion XL (SDXL), DreamBooth и LoRA.
Обучение происходило с шагом 300. Lora Scale — 0.7.
Нейминг, примеры промптов.
Обучение модели.
Пример тестового промпта.
Название LoRA: Zatzka_style_LoRA prompt: painting by Hans Zatzka
Первая попытка генерации — painting by Hans Zatzka, water nymph emerging from a pond, holding a clay pitcher filled with spring water, as she greets a traveler resting beneath a willow tree
Генерации
В процессе генерации изображений были замечены качественные изменения в отрисовке лиц.
Однако всё ещё присутствовали сомнительные моменты: мелкие детали, руки, окружение.
При этом часть финальных картин соответствовала ожиданиям и даже превосходила их.
painting by Hans Zatzka, woman playing a harp under the moonlight
1. painting by Hans Zatzka, a couple standing near a cascading waterfall, the man offering a bouquet of wildflowers to his beloved, as sunlight filters through the trees 2. painting by Hans Zatzka, a winged Cupid aiming his bow at two lovers walking hand in hand through a blossoming cherry orchard
1. painting by Hans Zatzka, beautiful angel with white wings surrounded by blooming trees and a clear stream 2. painting by Hans Zatzka, bride and groom exchanging vows in a forest clearing, surrounded by woodland creatures and fairies scattering flower petals
1. painting by Hans Zatzka, one angel enjoying a picnic on a cloud, with a checkered blanket, a basket of fruits, and a kite soaring above them 2. painting by Hans Zatzka, water nymph emerging from a pond, holding a clay pitcher filled with spring water, as she greets a traveler resting beneath a willow tree 3. painting by Hans Zatzka, woman playing a harp under the moonlight, her music attracting a flock of fireflies and a curious deer from the nearby woods
Итог
Было интересно поработать с данным художником в контексте современных технологий и возможностей. Закреплено умение работать с Google Colab, освоено множество других инструментов: Hugging Face, Lora, Stable Diffusion и Gradients.App для оформления.
Результат оправдал ожидания: изображения получились в меру яркими, точно передающими цветовую гамму оригиналов. Более того — получилось искоренить типичные для нейросетей ошибки — проблемы с детализацией.
Моя палитра для проекта https://gradients.app/ru/newpalette
Описание применения генеративной модели
Stable Diffusion XL (SDXL) была добавлена для обучения генеративной нейросети под стиль рисунка Ханца Зацки.
Все материалы использовались для учебной деятельности и для создания этого лонгрида, не в коммерческих целях
