Концепция
Проект посвящен обучению Stable Diffusion XL (SDXL) воспроизведению стиля австрийского экспрессиониста Эгона Шиле (1890–1918 гг.).
Стиль Шиле уникален и трудно воспроизводим для стандартных нейросетей из-за анатомической деформации, намеренного искажения пропорций, эмоциональной напряжённости, линейной манеры.
Цель проекта: добиться устойчивого воспроизведения узнаваемого стиля художника, включая характерную линию, цветовую палитру и эмоциональную экспрессию.
Исходные данные и процесс обучения
Для обучения был собран датасет из 28 изображений работ Эгона Шиле разных периодов творчества.
Все изображения приведены к квадратному формату 512×512.
Для реализации проекта использовалась модель Stable Diffusion XL с применением метода DreamBooth и LoRA.
Для каждого изображения была создана текстовая подпись с помощью модели BLIP (Bootstrapping Language-Image Pre-training). Каждому описанию был добавлен единый префикс:
«in the style of Egon Schiele, expressive lines, contoured drawing, "
это позволило модели связать визуальный стиль с ключевыми словами.
Результатирующая серия изображений
Промт:
in the style of Egon Schiele, expressive lines, contoured drawing, self-portrait with angular face, emotional intensity, nervous line quality
in the style of Egon Schiele, expressive lines, contoured drawing, portrait of a woman with elegant hat, intense gaze, angular face, Viennese Expressionism, close-up portrait, dark background, earthy tones»
Промт:
in the style of Egon Schiele, expressive lines, cityscape of old Vienna, crooked buildings, angular rooftops, emotional atmosphere, twisted perspective, autumn evening, muted earth tones
Промт:
in the style of Egon Schiele, portrait with hands covering face, expressive fingers, psychological tension, stark contrast
in the style of Egon Schiele, expressive lines, portrait of a woman with yellow fabric, angular pose, intense gaze, Viennese Expressionism
Промт:
in the style of Egon Schiele, artist with lamp, distorted perspective, expressive hands, dark and light contrast
in the style of Egon Schiele, expressive lines, portrait of a woman with dark hair, pale skin, emotional expression, nervous line quality, half-portrait, hands hidden in fabric, muted colors
Промт:
in the style of Egon Schiele, artist with lamp, distorted perspective, expressive hands, dark and light contrast
Промт:
in the style of Egon Schiele, expressive sketch, figure study in loose lines, artistic drawing, sketchbook style, emotional expression, minimalist background
in the style of Egon Schiele, portrait with hands covering face, expressive fingers, psychological tension, stark contrast
Вывод
В результате обучения модель научилась успешно воспроизводить прерывистый, нервный контур, характерный для Шиле. Наиболее удачно это видно в портретах. Ограниченная палитра (охра, умбра, чёрный, красный акцент) воспроизводится стабильно, модель не переходит в яркие насыщенные цвета. Модель передала характерное для Шиле состояние через позы, взгляды и композиционную неустойчивость.
Ограничения:
— как и у многих диффузионных моделей, присутствуют сложности с прорисовкой рук и ног при сложных ракурсах
— многофигурные композиции требуют большего количества обучающих примеров
Первоначальная цель достигнута: стиль Шиле узнается в сгенерированных изображениях, даже при небольшом наборе исходных изображений. Модель способна переносить стиль на разные жанры (портрет, городской пейзаж, эскиз), что подтверждает успешную генерализацию.
Применение генеративной модели
Для генерации промтов мспользован Deepseek
