МАШИННЫЙ МЕТОД СТИЛИЗАЦИИ

Основной интерес для нас в рамках темы представляет статья китайских студентах, описывающая созданный ими алгоритм по трансформации рисунков и фотографий в 3D-сцены, «StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning». По сути, статья представляет из себя описание методики, по которой студенты создали свой искусственный интеллект, обрабатывающий на входе реальные фотографии и стилизованную 2D картинку. От фотографий интеллект брал объёмы, форму и композицию, а из картинки цвет, текстуры и характер линий.

На практике это выглядело так:

Они предложили новую структуру взаимного обучения для стилизации 3D-сцен, которая сочетает в себе сеть стилизации 2D-изображений и NeRF, чтобы объединить возможности стилизации сети 2D-стилизации с согласованностью NeRF в 3D.

NeRF — это «neural radiance fields» — метод машинного обучения, при котором происходит генерация новых ракурсов изображений на основе уже готовой небольшой базы с фотографиями.

Методика довольно современная и была представлена впервые на конференции ECCV весной 2020. Хоть сейчас уже были предложены новые способы решения подобных задач, эта методика до сих пор является актуальной.

Почему она так называется? Принцип работы заключается в том, что из начальной точки координат (взгляда смотрящего на объект человека, например) отходят лучи и как только они «сталкиваются» с объектами на картинке, то они определяют границы объёма, и за счет обработки фотографий с различных ракурсов картина объёма вырисовывается целиком.

В случае описываемого выше исследования в начале студенты брали несколько фотографий одного объекта с разных ракурсов и при помощи NeRF делали 3D-модель. Дальше они подключали именно стилизацию 3D-сцен.