Идея Проекта
Аниме «JoJo’s Bizarre Adventure» — это не просто серия, а целая вселенная, обладающая неповторимой эстетикой и энергией, которая сразу же запоминается. Уникальный визуальный стиль, эксцентричные персонажи и динамичные сцены сделали его настоящей иконой. Моя задача была создать кастомную модель на базе Stable Diffusion, которая могла бы генерировать новые картинки в стиле JoJo. Для этого я собрал более 200 скриншотов из аниме и использовал метод Dreambooth LoRA, чтобы обучить модель именно на этом визуальном материале.
Для осуществления этого проекта я пользовался этим РУКОВОДСТВОМ
Сбор изображений для обучения
Для обучения нейросети нужно подготовить базу изображений в одинаковом разрешении с соотношением сторон 1:1.
Перед обучением изображения прошли следующие этапы предварительной обработки:
С использованием программы на Python все изображения были обрезаны до соотношения сторон 1:1, что оптимально для требований модели.
Исключались кадры с искажениями или некачественной прорисовкой, чтобы улучшить итоговый набор данных.
Подготовка среды
Подключаю необходимые модули, настраиваю рабочую директорию и пути к данным.
Генерация метаданных
Метаданные используются при обучении моделей для связывания изображений с их описаниями. Это помогает модели лучше понять, какой визуальный контент соответствует заданному описанию, что особенно важно при дообучении модели с помощью методов Dreambooth LoRA.
Авторизация в HuggingFace
Чтобы работать с моделями и наборами данных на Hugging Face, я использовал функцию notebook_login (). Благодаря ей я вошёл в систему Hugging Face Hub с помощью сгенерированного API-ключа и получил доступ ко всем нужным ресурсам для обучения.
Обучение модели
Эта команда запускает процесс, где я дообучаю модель, чтобы она генерировала картинки в стиле JoJo. Сначала подгружается базовая модель с нужными ресурсами, а затем ей показывают набор примеров картинок с описаниями, чтобы она научилась создавать новые работы в этом уникальном стиле.
Сохранение модели
Этот код используется, чтобы выложить обученную модель на Hugging Face. Сначала он определяет имя пользователя с помощью токена, а затем создаёт уникальное название репозитория, где лежат результаты обучения.
Начало работы с моделью
В этом фрагменте я подключаю VAE, подгружаю Stable Diffusion XL в режиме float16 и указываю репозиторий с LoRA-весами, чтобы модель могла рисовать в нужном стиле. После этого переношу всё на видеокарту, чтобы быстрее генерировать изображения и экономить память.
Результаты генерации
