(1) концепция
Проект исследует возможность переноса визуального языка японской школы Римпа на генерацию новых цветочных композиций с помощью Stable Diffusion XL.
— ✦ Выбор темы ✦ —
Изначально я искала изображения без определенной стилистики. В поисках я наткнулась на работы японской школы Римпа.
Школа Римпа (琳派) — направление японской живописи XVII–XIX веков, которое отличается своей декоративностью, плоскостностью, использованием золотого фона и органичных орнаментов, вниманием к природным мотивам (цветам, птицам, воде)
Мне понравились приглушённая палитра, минимализм, изящные линии и внимание к «пустому пространству». Решила попробовать перенести этот визуальный язык на генерацию новых цветочных композиций с помощью Stable Diffusion XL.
— ✦ Цель проекта ✦ —
Обучить модель генерировать изображения цветочных композиций, сохраняющие эстетику Римпа(2) датасет
Для обучения был собран датасет из 15 изображений в стиле Римпа. Все изображения доступны по открытым лицензиям (Met Museum Open Access, CC0)
Примеры работ, используемых для обучения модели
Дерево хурмы — Сакаи Хоцу, 1816
Пейзаж — Ватанабэ Сико, первая половина XVIII века
Кипарисы — Икэда Косон, середина XIX века
Примеры работ, используемых для обучения модели
Цапли и гибискус — Тоса Мицуоки, середина — конец XVII века
Воробей и бамбук — Сакаи Хоцу, Камэда Босай, ок. 1821
Белоодетая Каннон с ивой — Судзуки Сюицу, середина — конец XIX века
Славка-угуису на сливовом дереве — Сакаи Хоцу, начало XIX века
Маки — Судзуки Киицу, середина XIX века
(3) обучение модели
Обучение проводилось в Google Colab на GPU Tesla T4. Использован скрипт DreamBooth + LoRA для Stable Diffusion XL из репозитория Hugging Face Diffusers
— ✦ Основные этапы ✦ —
— сбор, очистка базы изображений, отбор произведений в стиле Римпа — выбор Stable Diffusion XL как базовой модели, метод fine-tuning DreamBooth в сочетании с LoRA для эффективного обучения на ограниченном датасете — генерация подписей BLIP с префиксом «Japanese Rinpa style painting» — настройка параметров обучения — отбор лучших результатов и при необходимости корректировка параметров или промптов
Промпты для генерации изображений составлены с помощью ChatGPT с целью подбора формулировок, отражающих различные композиции и форматы
Работа началась с того, что я скачала официальный скрипт DreamBooth + LoRA для SDXL из репозитория Hugging Face Diffusers
Для каждого изображения нужно было подготовить текстовое описание. Я использовала BLIP: модель генерировала caption, к нему добавлялся префикс «Japanese Rinpa style painting», а результат сохранялся в metadata.jsonl
После генерации подписей я создала датасет и загрузила его на Hugging Face Hub, так как скрипт обучения берёт данные оттуда
Основной этап — запуск обучения. Я использовала базу SDXL, датасет с Hub и параметры для экономии памяти. После примерно часа обучения LoRA-веса сохранились в папку rinpa_style_LoRA
(4) результат
Сначала изображения получались с яркой цветовой палитрой, а мне хотелось именно приглушённую, как в работах стиля Римпа. Я подбирала промпты, добавляла в них характеристики «cream background», «muted tones», «vast negative space», чтобы результат был ближе к спокойной и сдержанной эстетике
Первые генерации
Промпты
Japanese Rimpa style painting, protea flowers cluster orange and indigo blue, geometric diamond zigzag border, cream background, vast negative space, red seal
Japanese Rimpa style painting, orchid plant white and purple flowers with magenta centers, double border gold inner purple outer, cream background, red seal
Japanese Rimpa style painting, persimmon tree branch with ripe orange fruits, sumi-e ink wash, cream minimalist border, red artist seal, calligraphy
Промпты
Japanese Rimpa style painting, red orchids with green bamboo, gold leaf background, double frame gold inner red outer floral pattern, red hanko seal
Japanese Rimpa style painting, red lotus flowers on lily pads, cream background, shimmering gold foil ornamental frame, red seals, traditional presentation
Промпты
Japanese Rimpa style painting, flowering plum cherry branch diagonal white blossoms, textured gold leaf frame, red seal, calligraphy
Japanese Rimpa style painting, orchids and bamboo left side, white flowers magenta center, vast empty space right, gold leaf frame, red seal
Промпты
Japanese Rimpa style painting, red lotus flowers clustered bottom right, ink wash leaves, cream paper, thin grey border, red seals
Japanese Rimpa style painting, blue irises cluster right side vertical, grey green ink wash leaves, vast empty space left, pale cream background, red seal
Japanese Rimpa style painting, flowering vine white and red star flowers C-shape left, shimmering gold foil ornamental border top and bottom, red seal
Japanese Rimpa style painting, monochrome sumi-e chrysanthemums on thin stems left side, black ink jagged leaves, vast negative space right, thin grey border, red seals
Japanese Rimpa style painting, branching plant fluffy peonies sepia brown tones, bottom center spreading up, cream background, red seals bottom right
Japanese Rimpa style painting, plum cherry branch diagonal white blossoms, dark textured bark, shimmering gold foil ornamental border left and right, red seals
В итоге у меня получилось то, что я хотела: приглушённая палитра, мягкие тона, минимализм и много «воздуха» в композициях. Модель, обученая на 15 изображениях, научилась воспроизводить эстетику Римпа и генерировать новые цветочные композиции в нужной стилистике
(5) вывод
Проект показывает, что Stable Diffusion XL с DreamBooth и LoRA способен обучаться даже на небольшом датасете (15 изображений) и генерировать новые работы в стиле Ринпа. Модель успешно переносит характерные черты стиля — приглушённую цветовую палитру, «воздух» в композиции, традиционные форматы и мотивы.
Стоит отметить, что генеративная модель способна не только воспроизводить стиль, но и адаптировать его к новым визуальным задачам. Результаты могут использоваться для творческих экспериментов и визуализации с историческими художественными стилями
(6) используемые инструменты
Описание применения генеративной модели
Stable Diffusion XL + LoRA (Hugging Face) — обучение на датасете и генерация изображений ChatGPT (OpenAI) — составление промптов для генерации изображений и описаний Google Colab — код и генерации изображений
