Концепция
В ходе изучения курса «Создание инфраструктуры креативного производства инструментами ИИ» я задумалась, а может ли искусственный интеллект создавать такие же работы как я. Сейчас многие размышляют на тему заменит ли их искусственный интеллект, поэтому я тоже решила проверить сможет ли он рисовать в моей стилистике. Целью моей работы было доказать, что мой стиль уникален, а также постраться обучить нейросеть, чтобы машина научилась воспроизводить мои художественные приёмы и могла по текстовому описанию создавать новые работы, сохраняя уникальную эстетику моих иллюстраций.
Для этого я выбрала метод DreamBooth + LoRA на базе мощной модели Stable Diffusion XL. Такой подход позволяет дообучить модель на небольшом наборе собственных изображений (около 30), не переобучая всю сеть, что экономит ресурсы и время.
Подготовка датасета
Для начала я отобрала 30 своих иллюстраций в датасет, в разной цветовой гамме, чтобы нейросеть смогла их проанализировать и повторить.
В финальном проекте мне было интересно насколько нейросеть сможет передать характер моих иллюстраций, цвет, характерные черты (например большие глаза у животных), особенность стилизации и паттерн с текстурой как на оригинальных иллюстрациях.
Обучение проводилось в Google Colab. Весь код был написан на Python с использованием библиотек Hugging Face
Подготовка данных и среды
В начале я подготовила среду в Google Colab. Весь код был написан на Python, также я использовала библиотеки: Hugging Face diffusers, transformers, accelerate, peft, bitsandbytes. Я использовала единый текстовый промпт для всех изображений — он стал «ключом» стиля: «MY2DSTYLE, vector style, bright colors, no outlines, simple patterns»
После обучения я загрузила LoRA в пайплайн SDXL и запустила цикл генерации 30 изображений по заранее подготовленным промптам. Каждый промпт начинался с ключевой фразы стиля, а затем описывал конкретную сцену. Я специально использовала длинные промпты, чтобы нейросеть могла детальнее изобразить иллюстрацию, основываясь на моем стиле, который я специально еще раз прописывала в промпте. В ходе исследования я поняла, что нейросеть проще всего повторяет животных, и растения на заднем плане, а также хаотичность и динамику как в оригинальных иллюстрациях.
Пример промпта: «MY2DSTYLE, vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a cat with big round eyes sitting on a crescent moon, surrounded by tiny stars. Less visual clutter and noise in the illustration and background.»
Результаты и наблюдения
В процессе генерации изображений я экспериментировала с промтами, чтобы получались интересные иллюстрации. Нейросети удачнее всего давалось передать необычное сочетание цвета, форму и персонажей. В работе было несколько подходов, изначально я обучила модель рисовать в моем стиле, а потом в более подробном без лишних отклонений, чтобы машина точно передавала характер и стилистику изображений.
Так как мои работы динамичные, иногда нейросеть не справлялась с сюжетами и передавала иллюстрацию в виде паттерна или кривых животных, а также очень насыщенного фона.
Иллюстрации передавали мою стилистику. нейросеть генерировала животных с большими глазами и повторяла текстуры и паттерн, который я использовала в своих работах. Успешнее всего модели удалось передавать цвета моих иллюстраций и их сочетание. Например Тигренок получился в одной цветовой гамме моих иллюстраций, а лиса в другой.
Промт для иллюстрации лисы Draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a friendly robot with big eyes holding a butterfly on a simple pastel background. Draw a fox sitting on a lawn with unusual plants around it in my style. The fox’s eyes should be big
Промт для иллюстрации тигра Draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a friendly robot with big eyes holding a butterfly on a simple pastel background. Draw a tiger sitting in the grass in my style. The owl’s eyes should be big.
Промпт для рыбы draw an illustration, use a vector style, bright colors, no outlines, simple patterns, and draw a simple illustration of fish swimming in water with unusual plants
Промпт для котов draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of cats sitting on the moon and playing with each other
Можно заметить, что людей нейросеть изображала просто стилизованными, но не в моем стиле. Модель передавала текстуру и цвет одежды (например у мальчика полосатая футболка и темные штаны как у меня в иллюстрациях)
Промпт для мальчика draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a boy standing in a forest with a small animal next to him
Промт для иллюстрации лесного паттерна Draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a forest pattern with unusual plants and small birds sitting on a branch
Промпт для солнышка draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a sun
Промпт для хамелеона draw an illustration, use a vector style, bright colors, no outlines, simple patterns, and draw a simple illustration of a chameleon in a plant bush
Промпт для улитки draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a snail crawling in the grass
Чаще всего модели было проще генерировать изображения с одного ракурса. Иногда многофигурные композиции нейросеть повторяла один в один с моих работ, просто вырезая нужные элементы. Иногда из-за этого происходили сбои и иллюстрации выглядели криво.
Промпт для кактусов draw an illustration, use a vector style, bright colors, no outlines, simple patterns, and draw a simple illustration of a field of cacti of different shapes and sizes
В своей работе я сгенерировала 90 картинок с более детальным промптом и менее детельным, чтобы сравнить, что у нейросети получилось лучше передать. BLIP — изначально пробовался для автоматической генерации подписей, но в финальной версии обучения не применялся (все подписи были заменены единым промптом)
Промт для иллюстрации лесного паттерна Draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a forest pattern with unusual plants and small birds sitting on a branch
Промт для иллюстрации единорога draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a unicorn in colors with big eyes
Промпт для совы: Draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a friendly robot with big eyes holding a butterfly on a simple pastel background. Draw an owl sitting on a branch on a simple background with unusual plants around it in my style. The owl’s eyes should be big
Самые первые иллюстрации модель создавала не в цветах моих оригинальных иллюстраций, но при этом стиль старалась сохранять (это видно по изображению глаз и текстурам)
Промпт для улитки draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a snail crawling in the grass
Промт для пингвина draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a penguin in flowers with big eyes in a snowdrift on a simple background
Промт для иллюстрации птиц Draw an illustration, use a vector style, bright colors, no outlines, simple patterns, draw a simple illustration of a forest pattern with unusual plants and small birds sitting on a branch in simple background
Заключение
В результате работы с нейросетью меня порадовало, что она не сможет заменить меня в рисовании стилизованных иллюстраций в моем стиле. Да, она неплохо копирует текстуры и паттерн, но сюжеты выходят у нее проще и иногда поломанные. В заключение хочу отметить, что проект успешно реализовал поставленную задачу: обученная нейросеть способна создавать иллюстрации в похожем на мой стиль по текстовым описаниям. Полученная серия изображений демонстрирует как точность передачи стиля, так и творческую вариативность.
