Обучение нейросети Stable Diffusion для рисования музыкальных обложек
Модель для обложек
Публикуя музыку на стриминговые сервисы мне приходилось сталкиваться со сложнейшим препятствием — сделать красивую обложку.!
Тогда почему бы не до-обучить Stable Diffusion, чтобы он мог генерировать мне обложки самостоятельно? Тем более у меня накопилось достаточно обложек чтобы заняться этим.
Процесс обучения
Для обучения используем открытый ноутбук для google colab, который до-обучает модель stable diffusion на основе технологий dreambooth и lora.
Исходными изображениями стали 16 мною нарисованных обложек. Они обладают общим абстрактным стилем, сочетая в себе рисунки, текстуры и стоковые изображения сложенные в ассиметричные композиции!
Исходные изображения
1. Подготавливаем изображения, приводим к одному размеру, переводим в .jpg формат. 2. Создаем автоматические описания изображений посредством технологии BLIP. 3. Ставим модель обучаться. Процесс занял около 50-ти минут.
Результат
broken tv, static noise, flowers and plants
many eyes
Для вызова модели используется ключевые слова «fo album cover». Они подписаны перед каждым промптом, но для краткости привожу перед изображениями оставшуюся часть промпта.
mist, winter forest
grapefruit
Получившаяся модель интересно работает с объектами в плане композиции — они вписаны в текстуру, также располагаются ассиметрично, зачастую повторяются.
light-blue
white
Когда я начинаю работать с новой моделью я люблю использовать почти пустой промпт — таким образом мы можем увидеть что у модели больше всего на уме…
Здесь, например, мы можем сделать вывод, что модель очень сильно запомнила отдельные формы, повторяемость текстуры, работу с цветами и простыми паттернами.
detailed basket of fruits
woman is playing on the piano
Интересно обрабатываются те изображения, которые могли быть реалистичными иллюстрациями обычных объектов. Корзинка вписана в текстуру, фруктами уписан весь холст.
space, starry sky, light rainbow
rainbow, crystals, crystal texture
И, наконец, так выглядят изображения, промпты которых наиболее приближены к содержанию первоначальных изображений.
Насколько этой модели удалось исполнить свою роль?
Модель подчеркнула повторяющиеся паттерны в работе с цветами на оригинальных обложках и создает иллюстрации с использованием интересных текстур, любопытно вписывая объекты в наклоненные и ассиметричные композиции.
Тем не менее результаты ее работы удачнее всего используются именно как текстуры — у них не хватает контрастности, центрального объекта, они зачастую блеклые и серые.
perfect cube
Несмотря на то, что модель сделала лишь небольшой шаг в сторону стилистики моих работ, ее можно использовать обособленно от них и построить оформление всех будущих обложек через эту модель.
Но если рассматривать ее как инструмент, который позволит мне реализовать оригинальное видение обложек? Результаты работы можно удачно использовать как фоны или текстуры для некоторых форм, остальную работу придется делать самостоятельно!
Код для обучения
