Обучение генеративной нейросети под стилистику рисования Пабло Пикассо
Идея проекта
На этом курсе я училась обучать нейросеть генерировать изображения в стилистике искусства моего любимого художника — Пабло Пикассо.
Его работы всегда напоминают мысли сумасшедшего, но в каждой картине чувствуются эмоции, мысли и глубокие чувства. В своих же генерациях я немного решила развлекалась с промтом, то есть брала правда смешные идеи. Там были отсылки к моему любимому сериалу.
В итоге, у меня вышли смешные идеи в стилистике моего любимого художника.
Изначальные картины Пикассо из датасета
В своем датасете я брала в основном работы, которые нам сразу дают понять, что данные работы делал Пабло Пикассо. То есть странные лица, искаженное восприятие реальности.
Подгружаю датасет в Google Colab
Далее я проверила выгрузку и сгенерировала к картинкам в датасете подписи
Далее был запущен код для экономии памяти, а также подготовка к обучению и вход на Hugging Face
Это было обучение нейросети для генерации изображений. Всего было 500 шагов с чекпоинтом на 250-м. Процесс обучения занял чуть меньше 40 минут
Сохранила полученную модель на Hugging face и приступила к генерации своих идей в изображения.
Мои генерации
Первые изображения выходили крайне не плохо и довольно похоже на то, о чем я думала.
Промт: photo collage in PICASSO style, peacock with tea
Промт: photo collage in PICASSO style, Moscow winter
На следующей работе уже он начал немного косячить, но все равно не плохо.
Промт: photo collage in PICASSO style, people skiing on ice
На следующей работе нейросеть хорошо показала запрос, к этому крайне похоже на реальный стиль художника.
Промт: photo collage in PICASSO style, flying pigs
Промт: photo collage in PICASSO style, women walking with dogs
Дальше уже нейросеть начала уже сосем не понимать запросы, но генерировала все равно не плохие работы, хотя идею она не понимала.
Промт: photo collage in PICASSO style, widows party
Далее почему-то нейросеть начала добавлять лошадей, хотя я в одном из вариантов добавила в промт «no horses».
Промт: photo collage in PICASSO style, garnet bouquet
Промт: photo collage in PICASSO style, war and peace
Промт: photo collage in PICASSO style, game of thrones
Следующие три изображения соответствуют запросу и соответствуют стилю художника.
Промт: photo collage in PICASSO style, dogs with cats
Промт: photo collage in PICASSO style, man on the balcony
Промт: photo collage in PICASSO style, blood roses
Дальше я добавила в промт условие, чтобы не было лошадей, но забыла добавить запятую, поэтому запрос был не понят.
Правда когда я добавила уже запятую, он все равно не понял условие и опять добавил лошадей.
Промт: photo collage in PICASSO style, winter is coming no horses
Промт: photo collage in PICASSO style, vegetables party, no horses
Итоги
Нейросети не плохо обучились стилю Пабло Пикассо, но почему-то слишком зациклились на лошадях, хотя в собранном датасете лошадей не было. Но при всем этом, даже на неудачных изображениях стиль был сохранен.
Использовались: — Stable Diffusion — Google Colab
Ссылки:
Ссылка на блокнот с кодом: https://colab.research.google.com/drive/16fOJVmvE6g6CaoEP1xQoqcKSoJnV6us4?usp=drive_link Ссылка на Hugging Face: https://huggingface.co/reppoly/picasso_style_LoRA/commit/e8426830c33e6ad388aaea60dfdb3ae80420e9ab
