Микроорганизмы

Микроорганизмы представляют собой уникальный объект для визуального исследования благодаря чрезвычайному разнообразию форм, структур и оптических свойств. Фотографии микроорганизмов, получаемые с помощью различных методов микроскопии, часто обладают высокой эстетической привлекательностью и одновременно служат важным научным материалом.

В данной работе исследуется способность модели Stable Diffusion XL после дообучения на ограниченном датасете генерировать изображения микроорганизмов, визуально близкие к реальным микрофотографиям.

Промпты:

1. «in BATERIA style, bioluminescent bacteria glowing in dark water, microscopic view, abstract patterns of light»
2. «in BATERIA style, colony of cyanobacteria forming intricate spirals and filaments, vibrant cyan and green colors»

Промпты:

1. «in BATERIA style, extremophile archaea near deep sea hydrothermal vent, heat-resistant microorganisms, red and orange tones»
2. «in BATERIA style, ciliate protozoa with colorful organelles, transparent cell membrane revealing internal structures»

Промпты:

1. «in BATERIA style, volvox colonies forming green spheres with daughter colonies inside, freshwater algae, intricate patterns»
2. «in BATERIA style, streptomyces bacteria forming chains and producing antibiotics, soil microorganisms, filamentous structures»
3. «in BATERIA style, mixed culture of microorganisms in a drop of water, dynamic movement, diverse shapes and sizes»
4. «in BATERIA style, biofilm formation with diverse bacterial community, extracellular matrix visible, complex ecosystem»
5. «in BATERIA style, paramecium with visible cilia and contractile vacuole, detailed cell anatomy, microscopic life»
6. «in BATERIA style, diatom algae with geometric silica shells, symmetrical patterns, golden-brown pigments»

В процессе обучения модель усвоила ряд визуальных характеристик, которые проявляются во всех полученных изображениях. Прежде всего, это эффекты биолюминесценции и свечения: модель научилась добавлять точечные источники света на темном фоне, мягкое свечение вокруг клеток и подсветку внутренних структур. Второй важный элемент — прозрачность и слоистость, характерная для микроскопии: видны внутренние органеллы, наложения структур друг на друга, градиентная прозрачность мембран. Третья характеристика — текстурное разнообразие: модель воспроизводит гладкие мембраны бактерий, реснички и жгутики инфузорий, минеральные панцири диатомей с геометрическим узором, нитевидные структуры стрептомицетов. Цветовая палитра также варьируется в зависимости от типа микроорганизма: сине-зеленые тона для цианобактерий, красно-оранжевые для термофильных архей, золотисто-коричневые для диатомей, разноцветные органеллы у инфузорий.

После получения серии изображений закономерным этапом исследования стала оценка их прикладного потенциала — визуализация того, как сгенерированные образы могут быть интегрированы в различные носители.

Для реализации этой задачи были отобраны бесплатные шаблоны мокапов из открытых источников, предназначенные для некоммерческого использования.

При генерации каждого изображения происходит следующий процесс: текст запроса передается в текстовый энкодер модели, который преобразует его в векторное представление; LoRA-веса, полученные при обучении, модифицируют работу кросс-аттеншн слоев, направляя генерацию в сторону усвоенного стиля; денойзинг-процесс за 30 шагов постепенно превращает случайный шум в осмысленное изображение; VAE-декодер преобразует латентное представление в финальное изображение. Параметр lora_scale=0.8 определяет силу влияния обученных LoRA-весов: при значении 0.5 влияние стиля слабое, при 0.8 достигается оптимальный баланс, при 1.0 влияние максимальное, но могут возникать искажения. Выбор 0.8 позволил сохранить разнообразие форм — промпты про разные микроорганизмы дают разный результат, но при этом все изображения визуально принадлежат одной семье.