Идея проекта
Нейросеть, обученная на цианотипиях Анны Аткинс 1843 года, составляет гербарий вещей, которые окружают нас сегодня: проводов, ключей, масок, пакетов.
Анна Аткинс — английский ботаник, которая первой в истории выпустила книгу с фотографическими иллюстрациями, Photographs of British Algae: Cyanotype Impressions (1843–1853). Она клала водоросли прямо на светочувствительную бумагу и выставляла на солнце: там, где лежал образец, бумага оставалась белой, всё остальное становилось берлинской лазурью. Получался точный отпечаток формы без камеры и без перспективы.
Через 180 лет у берега находят уже не только водоросли, но и пакеты, сети, крышки от бутылок. Проект предлагает продолжить книгу Аткинс: собрать «британские водоросли» антропоцена — предметы, которые стали настолько повсеместными, что ведут себя как природа.
Спутанные наушники ветвятся как нитчатые водоросли, пакет в воде плывет как медуза, дорожки на плате телефона повторяют рисунок кораллины. Нейросеть используется в виде способа проверить, где проходит граница между природной и технической формой, если смотреть на обе одним и тем же взглядом.
Тип задачи: обучение стилю. Модель запоминает манеру — синий фон, белый силуэт, фактуру бумаги, раскладку образцов на листе, а предметы я задаю текстом.
Инструменты
• Stable Diffusion XL + DreamBooth LoRA — обучение нейросети стилю Аткинс и генерация серии;
• Google Colab — запуск кода на видеокарте;
• Google Drive — хранение чекпоинтов и результатов;
• Hugging Face — базовая модель SDXL и скрипт обучения;
• Met Open Access API — исходные изображения и проверка лицензии;
• Claude — ассистент;
• Photoshop — вёрстка обложки и сравнительных коллажей.
Датасет
Датасет лежит в папке на Google Drive и подключён к ноутбуку. Его можно и собрать заново прямо в ноутбуке: код сам скачивает листы из музея, проверяет лицензию, кадрирует и подписывает.
Источник и права
Листы взяты из The Met Open Access: музей публикует изображения работ в общественном достоянии под Creative Commons Zero, без ограничений на использование. Каждый лист проверен по полю isPublicDomain в API музея; список со ссылкой на каждую работу — в файле dataset_sources.csv. Аткинс умерла в 1871 году, авторские права давно истекли.
Отбор
Из 157 объектов по запросу «Anna Atkins» остались 135:
• убраны служебные страницы — титул, посвящение, списки видов, список опечаток;
• убраны листы с почти невидимым или крошечным образцом — в квадрате они давали просто синий фон;
• убраны листы, где рукописная этикетка неизбежно попадала в кадр, чтобы модель не училась рисовать псевдонадписи.
Один лист — не водоросль, а растение (Spiraea aruncus, 1851–54): он оставлен намеренно, чтобы стиль не сводился к «только водоросли».
Кадрирование
В музее сфотографирован разворот книги: серый фон, корешок, обрез страниц, этикетка с латинским названием. Скрипт находит синий лист по цвету, отрезает поля и нижнюю полосу с этикеткой, затем строит квадрат вокруг светлой формы образца и масштабирует его до 1024 px из исходных ~3000 px.
Подписи
В учебном ноутбуке подписи делает BLIP, но на цианотипиях он почти всегда пишет одно и то же — «a blue and white photo of a plant». Поэтому подпись собирается из трёх частей:
Формы делятся на четыре типа: нитевидные (50 листов), перистые (39), широкие полупрозрачные (28), лентовидные (17). Всё, что одинаково на всех листах, — синий цвет, фактура бумаги, плоский силуэт, — в подпись не попадает: это и должен впитать токен. А латинское имя в конце подписи позволяет потом давать выдуманным «видам» свои имена.
Описание процесса обучения
Модель — LoRA-адаптер для Stable Diffusion XL, обученный методом DreamBooth в Google Colab. За основу взят учебный ноутбук курса; LoRA не меняет саму SDXL, а добавляет к ней небольшие обучаемые матрицы.
1. Подготовка окружения. Сначала проверяется видеокарта и ставятся библиотеки diffusers, transformers, accelerate, peft, bitsandbytes, загружается скрипт train_dreambooth_lora_sdxl.py. Затем подключается Google Drive: туда сохраняются чекпоинты, чтобы обучение не пропало при отключении Colab.
2. Датасет. Датасет можно загрузить архивом или собрать заново прямо в ноутбуке: код сам скачивает листы из музея, проверяет лицензию, кадрирует и подписывает.
3. Подписи. У каждого листа — своя подпись в файле metadata.jsonl. Общий для всех токен ATKNS cyanotype стоит первым: именно в него «уходит» стиль.
4. Обучение. В учебном примере стояло разрешение 512 и 500 шагов. Для цианотипий разрешение поднято до 768 — иначе теряются тонкие нити водорослей, а ранг LoRA увеличен с 4 до 16, чтобы модель запомнила фактуру бумаги и край силуэта. Чекпоинты сохраняются каждые 200 шагов, чтобы потом сравнить стадии обучения. Все параметры — в разделе «Техническая реализация».
