Идея проекта
Нашу кошку зовут Мулиза. Мы взяли её с улицы совсем недавно, и этот маленький пушистый комочек быстро стал настоящей частью дома.
Глядя на неё, я вдруг поймала себя на мысли: а что, если бы в тот день её нашли не мы, а кто-то совсем другой? Мне стало очень любопытно, как могла бы сложиться её жизнь в других обстоятельствах.
Поэтому я решила поэкспериментировать: обучила нейросеть на своих фотографиях и «отправила» Мулизу в разные воображаемые судьбы.
Исходные данные
Для обучения я собрала 50 фотографий Мулизы. Все снимки квадратные, 1080×1080 — обычные домашние фото, которые я делала сама.
Примеры исходных изображений
Результирующая серия изображений
#Мулиза. Настоящий контент для хозяина-блогера
Промт к изображению 1
Принцесса Мулиза I. Лучшая кошечка для королевы
Промт к изображению 2
Мулиза из супермаркета. Ответственный охранник колбасы
Промт к изображению 3
Мулиза-клоунесса. Звезда цирка Куклачёва
Промт к изображению 4
Мулиза на борту. Вместе со своим капитаном бороздит моря
Промт к изображению 5
Мулизка из деревни. Помогает бабушке выпить всё молоко
Промт к изображению 6
Мулиза-мафиози. Та самая кошка «крестного отца»
Промт к изображению 7
VIP Мулиза. Богатая и роскошная жизнь
Промт к изображению 8
Всевидящая Мулиза. Отличный компаньона для любой гадалки
Промт к изображению 9
Межгалактическая Мулиза. Подружилась даже с пришельцем
Промт к изображению 10
Одинокая Мулиза. Самый грустный из всех исходов
Промт к изображению 11
Описание результата
В итоге нейросеть сгенерировала серию из 11 изображений. Качество генераций получилось среднее, но главное удалось отлично: модель точно передала уникальные черты моей кошки — серый окрас, короткие ушки, выразительные жёлтые глаза и характерную форму мордочки. Анатомия везде правильная, без дефектов. Иногда Мулиза выходит чуть худее, иногда полнее — это даже добавляет живости, будто она живёт в разных условиях.
Людей модель генерирует заметно слабее (руки и лица часто получаются странными), поэтому я специально выбирала промпты без акцента на людях: главная героиня всегда кошка, а окружение и предметы (телефон, колбаса и т. д.) помогают раскрыть новую судьбу.
Серия полностью отразила идею проекта: «А что, если Мулизу в тот день нашли не мы?». В каждой картинке она остаётся узнаваемой именно моей Мулизой, но живёт совершенно другой жизнью — от принцессы и мафиози до одинокой кошки под дождём.
Получился тёплый и забавный лонгрид, где Мулиза всегда в центре внимания.
Принцип работы кода
Принцип работы кода
Обучение проводилось в Kaggle Notebook на GPU Tesla P100 (16 ГБ).
Процесс включал следующие этапы:
— Проверка GPU и установка необходимых библиотек (bitsandbytes, transformers, accelerate, peft, diffusers). — Скачивание официального скрипта train_dreambooth_lora_sdxl.py от Hugging Face. — Подготовка датасета: копирование 50 фотографий Мулизы, генерация подписей через BLIP и добавление токена «TOK muliza cat» в metadata.jsonl. — Запуск обучения с LoRA + DreamBooth (resolution 512, batch size 2, fp16, 8-bit Adam, 800 шагов). — Сохранение обученных LoRA-весов.
Обучение заняло примерно 1 час 12 минут. Готовые веса затем использовались для генерации изображений в Stable Diffusion XL.
