Концепция
Цель проекта — обучить нейросеть понимать и воспроизводить художественный стиль Огюста Ренуара, одного из главных представителей импрессионизма. Стиль Ренуара характеризуется мягкими живыми мазками, тёплыми световыми эффектами и вниманием к изображению людей, особенно женщин, в окружении природы или городской среды.
Для обучения была выбрана модель Stable Diffusion XL (SDXL) с использованием техники LoRA (Low-Rank Adaptation), позволяющей дообучить модель на небольшом наборе данных без изменения всех весов.
Далее с помощью этой модели были сгенерированы серии изображений, объединяющих стиль Ренуара с венецианскими пейзажами. Тема была выбрана из-за того, что в этом городе как нельзя лучше сочетаются водные пейзажи с людьми — наиболее частыми элементами для картин Ренуара.
Исходные изображения
Вручную отобраны 25 репродукций картин Ренуара, преимущественно с женскими портретами, фигурами на природе и сценами у воды, что лучше всего отражают принципы его стиля.
Все изображения приведены к квадратному формату 1024×1024 пикселей для единообразия при обучении.
Процесс обучения
Первым шагом была подготовка среды и установка зависимостей. В Google Colab настроена среда для работы: установлены необходимые библиотеки (diffusers, transformers, accelerate, bitsandbytes, datasets), смонтирован Google Drive, скопирован скрипт обучения DreamBooth LoRA для SDXL.
Далее были загружены репродукции картин Ренуара из папки на Google Drive. Для каждого изображения с помощью BLIP сгенерировано описание содержания, к которому добавлен префикс «a painting in the style of Renoir». Пары (изображение, промпт) сохранены в файл metadata.jsonl.
Используя скрипт train_dreambooth_lora_sdxl.py, запущено дообучение модели SDXL на подготовленном датасете. Основные параметры: разрешение 512, batch size 2, learning rate 1e-4, 1000 шагов, mixed precision fp16, 8‑битный Adam. Обучение выполнено на GPU T4.
После обучения загружены LoRA‑веса, создан пайплайн SDXL с VAE в fp16. Сгенерировано 6 изображений по промптам, объединяющим венецианские мотивы с описанием стиля Ренуара. Параметры генерации: 30 шагов, guidance scale 7.5.
Результатирующая серия изображений
Нейросеть успешно усвоила характерные черты стиля Ренуара: мягкие мазки, тёплую гамму, характерную передачу света и фактуры. В сгенерированных изображениях чётко узнаётся импрессионистическая манера, при этом венецианские мотивы интерпретируются в этом стиле довольно органично.
«Venetian canal with gondolas and historic buildings, warm sunset light, impressionist style of Renoir, soft brushstrokes»
1. «gondolier steering a gondola under the Bridge of Sighs, shimmering water, Renoir’s style» 2. «carnival scene in Venice, masked figures near a canal, festive atmosphere, Renoir’s style»
Портреты людей соответствуют типичному для Ренуара подходу: женские образы, свободная композиция, внимание к освещению, мягкие линии и мазки, а также довольно хорошо вписаны в венецианское окружение.
«portrait of a young woman with Venetian landscape in the background, in the style of Renoir»
Из недостатков, в некоторых случаях гондолы, из-за недостака этих объектов на картинах, могут немного выбиваться из общей стилистики и смотреться более реалистично, чем остальное окружение, или иметь неточности в изображении. Также стилистика изображений может слегка разниться и они могут быть разной степени проработанности, однако это характерно и для работ самого Ренуара.
«Venetian lagoon at dawn, fishing boats, misty water, soft light, Renoir style»
В процессе разработки дополнительно применялась модель Deepseek для генерации промптов, а также для анализа и корректировки логики кода и исправления ошибок.
