Идея проекта
Я пишу маслом и воспринимаю живопись как медленный, почти созерцательный процесс. Для меня написание картины это про постепенное выстраивание тона, передача естественного света, сдержанная, но сложная палитра и ощущение «воздуха», живущего в плоскости холста. В этом проекте я решила обучить Stable Diffusion на своих работах, чтобы получить персональную нейросеть-инструмент, которая способна переносить мой живописный почерк в новые сюжеты.
Цель проекта заключается не в копировании моих картин, а генерации новых изображений, где сохраняются ключевые признаки моего стиля: тональные отношения, приглушённые цвета, характер мазка и композиция в листе. Итоговая серия — это исследование границы между авторской живописью и генеративной вариативностью.
В своем проекте я использовала: Stable Diffusion, Google Colab, Hugging Face и Adobe Photoshop.
Подготовка датасета
На первом этапе я собрала архив своих живописных работ. В него вошли преимущественно академические портреты, постановки с натуры, обнажённые фигуры и пара натюрмортов. Для меня было важно, чтобы в датасете сохранялась стилистическая целостность: спокойная палитра, мягкие тональные переходы, академическая работа с формой и светом.
Далее я подготовила материалы к обучению в формате, совместимом с DreamBooth/LoRA. В подписях я использовала краткие и структурированные описания, избегая избыточной художественной литературности. Для меня было важно, чтобы модель улавливала именно повторяющиеся стилистические признаки, такие как академический подход, мягкий естественный свет, приглушённая цветовая гамма, работа с объёмом и живописная фактура.
Описание процесса обучения
Подготовка среды
Перед запуском обучения я проверила наличие GPU и установила необходимые зависимости. Далее были установлены библиотеки, необходимые для работы с SDXL и LoRA.В работе использовались следующие ключевые библиотеки: torch — для вычислений на GPU diffusers — пайплайн Stable Diffusion transformers — текстовые энкодеры accelerate — управление обучением peft — реализация LoRA huggingface_hub — работа с датасетом и моделью
Авторизация в Hugging Face и подключение датасета
Для загрузки датасета и последующего сохранения модели я авторизовалась в Hugging Face. Мой датасет с живописными работами был загружен в Hugging Face и подключён к ноутбук, он состоял из изображений и текстовых описаний (metadata.csv), которые помогали модели улавливать повторяющиеся стилистические признаки.
Настройка LoRA
Для адаптации модели под мой живописный стиль использовалась методика LoRA в сочетании с подходом DreamBooth. В качестве базовой архитектуры применялась модель Stable Diffusion XL (SDXL). Вместо полного переобучения всех параметров модели был выбран способ параметрической адаптации — LoRA. Этот метод добавляет компактные обучаемые слои, позволяя модели освоить новый стиль без изменения её исходных весов.
Публикация обученной LoRA-модели в Hugging Face Hub
Генерация изображений
После завершения обучения я подключила LoRA к базовой модели и генерировала изображения с помощью текстовых запросов.Итоговая серия
«tanya_oilstyle oil painting, academic oil portrait of an elderly man sitting on a wooden stool, three-quarter view, bare torso, strong anatomy study, soft diffused studio light from the left»
В итоговой серии я проверяла, насколько нейросеть смогла перенести именно живописные признаки моего почерка, а не отдельные объекты из обучающего набора. Наиболее стабильно модель воспроизводит приглушённую палитру, мягкие тональные переходы и ощущение «воздуха» в фоне. В натюрмортах хорошо читаются крупные плоскости света и тени, а также характер ткани и постановочного света.
«tanya_oilstyle oil painting, still life with glass bottle and dark jug, muted palette, soft natural light»
промпт к портрету мужчины в головном уборе
В портретах лучше всего передаётся спокойная композиция и общий тон, но на некоторых изображениях заметны типичные искажения генеративных моделей в анатомии и деталях рук/лица, тем не менее эти вариации я оставила как часть исследования.
Слева — генерация, справа — моя работа
«tanya_oilstyle oil painting, academic oil portrait of a middle-aged woman in profile, seated, hands resting on chair back, neutral grey background, soft natural light, limited color palette…»
«tanya_oilstyle oil painting, academic still life with white plaster bust, glass bottle with plant branch, open book on draped fabric, warm ochre background, controlled studio light…»
tanya_oilstyle oil painting, academic still life with dark ceramic jug, bread, apple, green glass bottle, draped fabric, soft natural light from window, muted earthy palette, classical composition…»
Серия отличается по сюжету, ракурсам и набору предметов, но держится вместе за счёт одинаковой тональности, ограниченной палитры и средней фактуры мазка. Таким образом результаты соответствуют исходной идее: модель не повторяет мои картины буквально, но создаёт новые изображения, которые выглядят как продолжение моей живописной практики.
«tanya_oilstyle oil painting, portrait of a woman in profile, gray background, soft edges, medium brushstrokes…»
«tanya_oilstyle oil painting, interior scene, quiet room, single window light, cinematic composition…»
«tanya_oilstyle oil painting, academic study of a man with draped legs, seated on a draped plinth, side view, soft diffused light, neutral gray-beige background, muted natural skin tones…»