Что если бы Ван Гог обожал зайцев?
В этом вопросе заключалась идея проекта для обучения генеративной нейросети Stable Diffusion по созданию изображений в стиле Винсента ван Гога на примере серии картин с зайцами.
слева — Винсент Ван Гог, Автопортрет справа — Автопортрет с перевязанным ухом и трубкой, из датасета
В качестве художественной задачи я выбрала сочетание узнаваемого персонажа и ярко выраженной живописной манеры, чтобы проверить, насколько модель способна не просто воспроизводить объект, но и усваивать особенности авторского стиля: характер мазка, композиционную динамику и общую эмоциональную атмосферу.
Винсент Ван Гог, работы взятые из датасета
Таким образом, проект был направлен на создание серии изображений, в которой образ зайца сохраняется и визуально переосмысляется через эстетику ван гога.
Винсент Ван Гог, работы взятые из датасета
Какие зайцы у Ван Гога получились?
painting in VANGOGSTYLE style, a hare the size of a hill, in a valley, tiny villages at its feet, misty morning, surreal landscape
В итоговой серии изображений представлены зайцы, стилизованные под живописную манеру Винсента ван Гога:
— нанесение красок плотными рельефными мазками; — динамичные мазки и ощущение живости; — упрощение рисунка и обобщение форм; — объем создается при помощи густых мазков.
Так, в ряде изображений удалось передать характерную для Ван Гога живописную энергетику, а также общее ощущение ручной, почти импульсивной живописи.
Часть из серии работ
При этом каждая генерация отличается композицией, позой зайцев, фоном и степенью стилизации, что демонстрирует вариативность результата и способность модели создавать не повторяющиеся, а разные по настроению изображения внутри одной концепции.
справа — painting in VANGOGSTYLE style, hares crossing a frozen river in single file, reflections on ice, winter twilight, mysterious atmosphere
центральная — painting in VANGOGSTYLE style, a parade of hares walking single file through a snowy forest, following a path, snow-covered trees, silent mood
Как Ван Гог учился зайцев рисовать?
Винсент Ван Гог, работы из датасета
Сначала я загрузила датасет с исходными изображениями и использовала модель BLIP для автоматической генерации подписей к ним.
После этого к каждой подписи добавлялся стилевой префикс, указывающий на нужную художественную стилизацию. Это помогло подготовить датасет в формате, удобном для обучения.
В качестве базовой модели была выбрана Stable Diffusion XL, а обучение выполнялось по схеме DreamBooth LoRA.
Ромашки и маки / painting in VANGOGSTYLE style, still life with a hare, ripe pumpkins and sunflowers, rustic setting, warm golden hour light, rich textures
Сад с цветущими сливами / painting in VANGOGSTYLE style, a hare hopping through a blooming apple orchard, pink and white petals falling, soft sunlight, lyrical atmosphere
Обучение запускалось с разрешением 512×512 пикселей, batch size = 2 и gradient accumulation steps = 3, что обеспечивало эффективную загрузку GPU при ограниченных вычислительных ресурсах.
Общее число шагов обучения составило 500 итераций, с промежуточным сохранением checkpoint каждые 250 шагов. После завершения обучения были сохранены веса LoRA в формате safetensors, что позволило использовать полученный стиль как отдельную надстройку поверх базовой модели.
Звездная ночь / painting in VANGOGSTYLE style, a circle of white hares sitting in a clearing under a starry night sky, as if holding a meeting, mystical atmosphere, swirling stars
Удались ли Ван Гогу зайцы?
painting in VANGOGSTYLE style, a group of arctic hares hopping through deep snowdrifts, leaving tracks behind them, overcast winter day, textured snow
В результате дообучения методом LoRA удалось получить модель, способную генерировать изображения зайцев с признаками, характерными для стиля Ван Гога: выразительной фактурой мазка, насыщенной цветовой палитрой и ощущением движения внутри композиции.
Полученные изображения показали, что даже при небольшом объеме обучающих данных нейросеть способна выделять устойчивые стилевые закономерности и переносить их на новые объекты.
painting in VANGOGSTYLE style, several hares emerging from snow burrows after a heavy snowfall, only heads visible, fresh white landscape, morning light
painting in VANGOGSTYLE style, long shadows of a group of hares stretching across snow at sunset, beautiful light, peaceful end of day
