ИДЕЯ ПРОЕКТА
У меня есть довольно большое количество художественных работ, выполненных в разных техниках. Одним из любимых материалов является акварель. А любимой натурой на протяжении многих лет были цветы. Мне захотелось обучить Stable Diffusion для генерации изображений, нарисованных в моем стиле.
Цель проекта — понять, насколько нейросеть сможет передать мой стиль и сгенерить похожие изображения. На мой взгляд, сложность в том, что все работы выполнены в ручной технике, которую сложно повторить в цифровом формате.
Клумба с флоксами
Список использованных инструментов
Stable Diffusion — обучение генеративной нейросети под свой стиль; Google Colab — написание кода и генерация изображений; Hugging Face — получение токена для обучения нейросети; ChadGPT — корректировка промптов и изображений
В папку были собраны живописные работы с изображением цветов. Все они выполнены в одном стиле.
Акварельные работы
Букеты
Пейзажи с цветами
Описание процесса обучения
В самом начале необходимо было загрузить нужные библиотеки в Google Collab.
Далее были загружены изображения с компьютера в Google Collab. После загрузки я поменяла размер изображений. (Они стали квадратными, с разрешением 512 на 512, при этом масштаб не изменился.) После была выполнена специальная функция, которая выводила на экран загруженные изображения, что позволяло удостовериться в правильности загрузки.
Фрагменты кода
После загрузки изображений нужно было создать описание этих изображений. Так как на всех работах нарисованы цветы, то и описания получились похожими друг на друга.
Фрагмент кода
Теперь можно приступать к процессу обучения. Разрешение 512, максимальный шаг тренировки — 1000, чекпоинт — 250. Выбранное разрешение в разы сократило время. Общая генерация заняла чуть больше часа.
Фрагмент кода: обучение
Дальше нужно было загрузить модель на Hugging Face. И можно приступать к генерациям.
Фрагменты кода
Первый промпт: «art in Asyukha style, 3 sunflowers in the foreground, surrounded by a lot of grass»
Результат генерации
Получилось довольно похоже. Очень четко схвачены цвета и манера мазков. Правда, странно обрезаны цветы по краям.
Одним из промптов был: «art in Asyukha style, watercolor painting of vibrant red poppies in a meadow, soft translucent petals, subtle pink and red gradients, thin green stems, delicate shadows». Можно было узнать, насколько точно нейросеть попадет в мой стиль при рисовании маков
Генерация и моя работа
Видно, что передача пятен довольна похожа, но у нейросети цвета более яркие, светящиеся, такие цвета сложно повторить в жизни. Причем фон и зелень, наоборот, более светлые и прозрачные.
Промпт: «art in Asyukha style»
Несколько генераций по одному и тому же промпту
Как можно заметить, изображения очень похожи друг на друга. Видно, что нейросеть теряется, если не указывать в промпте конкретные цветы и композицию. В результате получаются просто какие-то растения, но нарисованные в моей цветовой палитре.
Промпт: «art in Asyukha style, autumn garden with chrysanthemums, marigolds, and asters, warm orange, yellow and red petals»
Результаты генерации
Еще один пример генераций по одному и тому же промпту. Оба изображения получились яркими и жизнерадостными.
Промпт: «art in Asyukha style, a wide meadow full of wildflowers swaying in the breeze»
Промпт: «art in Asyukha style, a field of wildflowers including daisies, chamomile, lavender and cornflowers»
Результаты генерации
Это одни из самых удачных получившихся изображений. И композиция, и цвета, и настроение, — всё передано очень четко и воздушно.
Здесь заметны очень важные элементы стиля. Например, написание фона и общих пятен «по-мокрому» а затем проработка цветов уже более ярким цветом, затемнение нужных мест.
Промпт: «art in Asyukha style, glowing fantasy flowers with intricate petal structures»
Промпт: «art in Asyukha style, a detailed bouquet of blooming roses, peonies, and tulips, delicate soft petals with natural gradients, tiny drops of water on flowers, rich green leaves»
Результаты генерации
Промпт: «art in Asyukha style, a serene coastal landscape, turquoise waves crashing on rocky cliffs, detailed foam and wet rocks, seagulls flying above»
Промпт: «art in Asyukha style, a breathtaking landscape of mountains and valleys, golden sunlight casting long shadows»
Результаты генерации
Здесь приведены генерации пейзажей, которые тоже получились очень похожими на мой стиль. То есть нейросеть может рисовать не только цветы в нужном стиле, но и переносить этот стиль в другие мотивы.
Промпт: «art in Asyukha style, minimalistic flowers on a white background, simple elegant shapes, soft pastel colors, subtle shadows»
Результаты генерации
Эта картинка вышла не такой удачной, слишком высветленна, как будто фильтр наложили. Скорее всего дело в промпте, так как я попросила светлый белый фон и пастельные цвета.
Выводы
Итоговая серия изображений состоит из нарисованных акварелью цветов и пейзажей. Цветовая палитра и манера наносить краску переданы очень точно. В работах есть настроение и характер.
В целом, такие генерации могут работать как хорошие референсы для художников. Их также можно использовать как уникальные принты/стикеры/открытки.
