Колода погоды

Игральные карты почти всегда были немного больше, чем игрой. В XVIII веке во Франции печатали колоды, по которым учили географию, историю королей, мифологию.
Такая карта работала одновременно как иллюстрация, короткая энциклопедическая статья и игровой объект: на верхней части помещали аллегорическое изображение или портрет, а внизу — сжатый пояснительный текст.Поэтому французские игральные карты можно воспринимать одновременно как раннюю форму визуальной инфографики, «карманной базы знаний» и объекта, несущего символическое прочтение судьбы.

Генеративная колода отсылает к исторической многогранности карт, где они использовались не только для развлечения.Масть в ней не просто значок. У каждой своё время года и своя погода:Пики — зима
Трефы — весна
Червы — лето
Бубны — осень

Модель училась на двух французских колодах конца XVIII века из открытой коллекции Метрополитен-музея.
«Jeu d’Or»: светлое бирюзовое небо, фигура в полный рост на зелёном пригорке, сверху вопрос, по бокам ответы, внизу название страны.
«Costumes des Peuples Étrangers»: тот же жанр, бумага теплее, и кроме костюмов есть аллегории. Правосудие с весами и Победа с лавровым венком парят на серых облаках. Отсюда взят образ для тузов.Техника у обеих одна: офорт, который потом раскрашивали от руки акварелью по трафарету. Отсюда главные приметы стиля, которые должна была выучить модель:— тонкая штриховка с перекрёстными линиями в тенях;
— открытые яркие цвета (оранжевый, синий, жёлтый, зелёный), которые ложатся поверх штриховки неровно и часто вылезают за контур;
— фигура стоит на маленьком пригорке с травой, вокруг почти пустое небо;
— рукописные строчки по краям и маленькая рамка с мастью в правом нижнем углу.*Музей отдаёт фотографии предметов в общественном достоянии под лицензией CC0: их можно использовать как угодно, в том числе для обучения моделей.

Подписи. Каждая карта подписана вручную: кто изображён, во что одет, что держит в руках. В начале каждой подписи триггер crdz и описание техники, в конце строчки по краям и рамка с мастью:«crdz, a hand-coloured etching on an antique french playing card, a woman in a long purple gown and a green veil beside a golden urn on a stone pedestal, a palm tree, handwritten french words along the borders, a small suit box in the lower corner»Подписи разделяют работу: всё, что названо словами (костюм, поза, предметы), модель потом сможет заменить по промпту. А то, что не названо, то есть сам офорт, акварель, бумагу и пригорок, она привяжет к слову crdz.

Модель: Stable Diffusion XL 1.0.Метод: DoRA (Weight-Decomposed Low-Rank Adaptation), вариант LoRA.
*DoRA сначала раскладывает вес на две части, длину и направление. Направление учится через ту же LoRA, а длина отдельным вектором, по одному числу на выход слоя.

Как модель училась рисовать. Уже после 300 шагов появляются бирюзовое небо и строчки по краям: это самое заметное и самое повторяющееся в датасете. К 600 шагам появляется рамка с мастью в углу. Между 900 и 1500 шагами картинка почти не меняется, уточняются только лица и штриховка. У Валета Комара на 300 шагах рядом летают настоящие комары, а к 900 шагам они пропадают, зато у самого валета вырастают крылья и усики. Модель перестаёт рисовать погоду вокруг персонажа и начинает рисовать её на нём.

Фигуры сгенерированы нейросетью целиком: человек, костюм, пригорок, небо, строчки по краям и угловая рамка. Всё остальное собрал скрипт tools/make_deck.py: бумагу, двойную рамку, индекс в углу, название фигуры, большую рамку с мастью поверх картинки, раскладку значков на числовых картах и приметы. Шрифт Old Standard TT сделан по образцу русских книжных шрифтов XIX века и подходит к старой гравюре.

Промпт у всех фигур устроен одинаково:«crdz, a hand-coloured etching on an antique french playing card, <описание фигуры>, handwritten french words along the borders, a small suit box in the lower corner»

Это обычная колода на 36 карт, на ней можно играть в дурака, в «Верю, не верю», раскладывать пасьянс. Синоптик работает как джокер. Также можно сыграть в игру, которая подсказана самой колодой.«Прогноз». Для двух и более игроков. Синоптика откладывают в сторону, остальные карты тасуют.1. Каждый вечер один игрок вытягивает карту, не глядя, и кладёт её рубашкой вверх.2. Остальные по очереди называют, какая завтра будет погода: снег, дождь, ясно, жара.3. Утром карту открывают. Масть говорит о сезоне, фигура или примета о погоде. Король Зной означает жару, Дама Морось дождик, «Дым столбом к морозу» мороз.4. Очко получает тот, чей прогноз совпал с картой. Второе очко получает тот, чей прогноз совпал с погодой за окном.5. Если карта и погода за окном совпали, вытянувший карту забирает себе Синоптика, и весь следующий день его прогноз считается за два.

Модель смогла достаточно детально воспроизвести стилистику и структуру колоды, однако:— Свои масти. Модель выучила, что в углу карты бывает рамка с мастью, но не понимает, какая масть нужна: у Короля Зноя в углу оказались трефы, у других фигур случайные червы.— Буквы. Строчки по краям похожи на французский рукописный текст, но читать их нельзя: это просто форма слов. Настоящий текст на русском добавлен скриптом.— Тузы на облаках. Задумывалось, что тузы будут парить на облаках, как Правосудие и Победа в колоде «Costumes». Облака появились только у Зимы. В выборке всего несколько аллегорий против сорока костюмов на земле, и модель ставит на землю почти всех.— Повторяющийся костюм. Синий плащ поверх жёлтого или белого платья, у королей корона. Это один и тот же костюм из «Jeu d’Or», и модель надевает его на половину фигур. Различаются они в основном предметами в руках и тем, что вокруг.

— notebooks/01_dataset.ipynb: таблица карт, загрузка из музея, поиск карты на снимке, квадраты, подписи, контрольные листы.
— notebooks/02_train.ipynb: обучение DoRA официальным скриптом diffusers с одной правкой, функция потерь.
— notebooks/03_figures.ipynb: генерация всех фигур, сравнение с моделью без обучения, этапы обучения, сила LoRA.
— tools/met_cards.py: поиск игральных карт в открытом API Метрополитен-музея.
— tools/make_deck.py: вёрстка колоды и файлов для печати.
— tools/fonts/: шрифт Old Standard TT и его лицензия (SIL Open Font License).
— data/selection.json: 50 карт выборки: номер в музее, колода, дата, техника, ссылка, подпись.
— data/sources.csv: источник, лицензия и размер каждой картинки датасета.
— data/train_config.json: все параметры обучения.
— data/figures.json: восемнадцать фигур и их промпты.
— data/log.json, data/chosen.json: промпты и параметры всех 108 вариантов и итоговый выбор.
— lora/final/: веса DoRA (91 МБ).

1. The Metropolitan Museum of Art. Open Access and Collection API. https://metmuseum.github.io
   2. The Metropolitan Museum of Art. Playing cards «Jeu d’Or» and «Costumes des Peuples Étrangers», France, 18th century. Department of Drawings and Prints. https://www.metmuseum.org/art/collection
   3. Liu S.-Y. et al. DoRA: Weight-Decomposed Low-Rank Adaptation. 2024. arXiv: 2402.09353.
   4. Hu E. J. et al. LoRA: Low-Rank Adaptation of Large Language Models. 2021. arXiv: 2106.09685.
   5. Podell D. et al. SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis. 2023. arXiv: 2307.01952.
   6. Hang T. et al. Efficient Diffusion Training via Min-SNR Weighting Strategy. 2023. arXiv: 2303.09556.
   7. Old Standard TT. The Old Standard Project Authors, SIL Open Font License 1.1. https://github.com/googlefonts/OldStandardTT