Обучение генеративной сети стилю игры Idol Academy

Идея проекта заключается в обучении генеративной сети Stable Diffusion стилю визуальной новеллы Idol Academy, которую разрабатывает моя сестра. (ник takoye_cliche) Idol Аcademy — визуальная новелла, в которой герою необходимо проходить испытания и поддерживать высокий рейтинг, чтобы стать айдолом.

Перед обучением были поставлены задачи: — Доработка существующих персонажей — Разработка новых второстепенных персонажей — Рисование разных эмоций — Добавление доп. атрибутов (аксессуары и тд.)

Список инструментов:

— Stable Diffusion — Kaggle — Hugging Face

Для начала я собрала датасет из 10 отрисованных спрайтов. Все персонажи в chibi версии, поэтому они отличаются миловидными, детскими чертами лица и тела. У них яркие цвета в одежде, в основном носят спортивную/школьную форму. Так как персонажи в разработке лайн эскизный. Все арты были подготовленны в квадратном формате 512×512

После загрузки датасета, чтобы обучить модель потребовалось выставить разрешение на 512, максимальный шаг на 500 и чекпоинт на 250. Время затраченное на обучение заняло ~ час.

Дальше нужно было загрузить модель на Hugging face, чтобы в дальнейшем ее можно было скачать и использовать

Чтобы оптимизировать процесс генераций, перед каждым промтом написан код, который очищает память

Первая генерация получилась эскизной и с трудно различимым полом героя. Поэтому, для улучшения результата было принято использовать более детальные промты с конкретным описанием образа персонажа

Нейросеть научилась добавлять предметы и разные аксессуары в руки персонажам, хотя в датасете похожих примеров не было

1. prompt: photo in mindheroes style, a drawing of a girl with long wavy light blonde hair with soft bangs, green eyes, soft aesthetic, oversized cream sweater over school shirt, fluffy skirt, knee-high socks, loafers, holding a book, gentle smile, relaxed standing pose
2. prompt: photo in mindheroes style, a drawing of a boy holding a ball in his left hand, with short spiky red hair, blue eyes, sporty aesthetic
3. prompt: photo in mindheroes style, a drawing of a detective boy haging a magnifier with curly ginger hair, green eyes with freckles, vintage aesthetic, cardigan over white shirt, slightly loose trousers, boots, brown hat

Однако не всегда удачно

Из-за использования слова «collage» в промте модель часто изображала группу персонажей, вместо одного. Было решено поменять на «photo». Такая же ошибка возникала из-за слова «twin», так как по англ. прическа в два хвостика будет twin tails

1. prompt: photo in mindheroes style, girl with twin tails with dark purple hair, blue eyes, oversized hoodie, tennis skirt, high socks, sneakers
2. prompt: photo in mindheroes style, a drawing of a girl with dark bob haircut with straight bangs, bright yellow eyes, oversized yellow hoodie with purple accents, black pleated skirt, knee-high socks, chunky sneakers, anime-inspired patch on hoodie

С помощью модели получилось менять положения рук, а также рисовать различные выражения лица (закрытые глаза, улыбка, раздражение, спокойствие, испуг)

Точность изображения поз зависела от того, насколько детально была прописана одежда в промте. Чем меньше слов про одежду, тем лучше модель генерировала остальные детали

Также получилось более детально изобразить одежду и аксессуары персонажам

1. prompt: photo in mindheroes style, a drawing of a girl with short fluffy blonde bob with soft bangs and clips, tired expression, half-closed eyes, oversized green hoodie, rainbow striped crop top, black shorts, one thigh-high sock and one bare leg with bandage, black boots

2. prompt: photo in mindheroes style, a drawing of a girl with dark bob haircut with straight bangs, bright yellow eyes, oversized yellow hoodie with purple accents, black pleated skirt, knee-high socks, chunky sneakers, anime-inspired patch on hoodie