1. Идея
В этом проекте я решила обучить генеративную нейросеть Stable Diffusion в стиле моих работ, которые создавала на 1 курсе арт-практики. На коллаж было отображено как маленькая девочка воспринимает окружающий мир в деревне. С утра она ходит вслед за бабушкой и удивляется тому на сколько все большое.
Цель обучить нейросеть рисовать сцены, выполненные в стиле бумажных аппликаций. Исходные изображения в формате А4, поэтому я решила кадрировать их на 2 части. В итоге получился dataset из 16 изображений.
Особенность стилистики:
- Простые, геометричные формы
- Крупный план
- 3 цвета: чёрный, серый, белый
2. Процесс обучения
- Загрузка библиотек Diffusers, DreamBooth.
- Создание локального названия local_dir = «./grandma/»
- Загрузка изображений в Google Colab с помощью внутренней функции. Проверка как код видит данные для этого просим показать 5 изображений
- Загрузка модели BLIP, которая создаёт подписи к картинкам.
- Создание путей к изображениям.
- Выбираем токен для стиля и смотрим на результат.
- Очищаем память для экономии места.
- Начинаем подготовку к обучению. Вызываем функцию accelerate. Далее проходим регистрации на Hugging Faces и создаём личный токен.
Самая важная часть — обучение модели. Добавляем все данные и ожидаем результатов. Мое обучение длилось около 40 минут.
3. Результаты обучения
«photo collage in GRANDMA style, city, table, cup of coffee»
Первые результаты обучения получились некачественными. В них нет четкости и простоты, генерации в хаосе. Для исправления я решила писать в промте одно дополнительное слово.
