Рисуя звук

Мы привыкли думать о звуке как о чём-то принципиально невидимом. Его можно услышать, почувствовать телом, запомнить, записать, но нельзя просто поставить перед собой как предмет. Звук всегда ускользает: он существует во времени, исчезает сразу после появления и оставляет после себя только след — в памяти, на носителе, в записи или в изображении. Поэтому почти вся история работы со звуком связана с попытками дать ему форму: записать его нотами, начертить волной, разложить на частоты, превратить в дорожку, диаграмму, спектрограмму или интерфейс.

Но в какой-то момент изображение перестаёт быть только способом объяснить звук. Оно начинает вмешиваться в сам процесс его создания. Это принципиальный сдвиг: картинка больше не показывает то, что уже прозвучало, а становится тем, из чего звук возникает. Линия, пятно, орнамент, плотность, свет, координата или движение начинают работать как акустический материал. В этом месте граница между зрительным и слуховым становится нестабильной: изображение уже нельзя назвать только изображением, потому что машина способна его прочитать как звук.

Именно эту нестабильность я и постарался исследовать. Меня интересует не просто история нарисованного звука и не набор редких технических изобретений. Для меня важнее другое: как меняется само положение изображения в звучащем искусстве. В традиционной логике изображение вторично: оно иллюстрирует музыку, сопровождает звук, объясняет структуру, фиксирует результат. В логике звучащего изображения всё наоборот: визуальная форма становится активной. Она может производить звук, управлять им, редактировать его, кодировать данные, задавать параметры генерации или становиться сценой, которую машина должна озвучить.

Это особенно важно сегодня, потому что современные медиа всё меньше разделяют зрение и слух. Экран больше не является только визуальным слоем, а звук — только дорожкой сопровождения. В цифровой среде они всё чаще существуют как взаимно переводимые данные. Спектрограмма позволяет редактировать звук как изображение. Сонификация превращает карты, снимки и числовые массивы в слышимую структуру. Приложения работают с фотографиями и видео как с материалом для синтеза. Системы построенные на искуственноминтелекте уже не просто считывают форму, а пытаются интерпретировать сцену: понять, что происходит в кадре, какое движение должно звучать, какая атмосфера соответствует изображению.

Поэтому звучащее изображение — это не только исторический эксперимент авангарда. Это способ посмотреть на современную культуру интерфейсов, данных и генеративных медиа. Вопрос «как звучит изображение?» сегодня относится не только к плёнке, орнаменту или спектрограмме, но и к научной визуализации, видео, нейросетям, архивам, реставрации, доступности и дизайну информации. Изображение становится не финальной картинкой, а переходной формой: его можно смотреть, считывать, проигрывать, анализировать, переводить и генерировать заново.

В этом исследовании изображение рассматривается как медиум, который постепенно получает акустическую функцию. Оно может быть следом звука, его схемой, инструкцией для машины, интерфейсом композиции, картой данных или промптом для генерации. Такая перспектива позволяет иначе прочитать историю звучащего искусства: не только как историю новых инструментов и техник синтеза, но как историю того, как визуальная форма становится слышимой. Главная проблема здесь не в том, что звук можно «красиво изобразить», а в том, что изображение может перестать быть изображением в привычном смысле и начать работать как звук.

До того как изображение начало производить звук, он сам должен был стать изображаемым. Технические медиа сделали звук не только чем-то слышимым, но и графической формой: дорожкой, волной, спектром, следом света. Так в системе звука на плёнке свет проходит через оптическую дорожку, изменения светового потока попадают на фотоэлемент и превращаются в электрический сигнал. Он существует как визуальная структура, которую можно увидеть, увеличить, изучить и технически воспроизвести.

Оптическая звуковая дорожка актуальна не только как этап истории кино. Она меняет сам способ понимания звука: он оказывается записан не в виде нот и не в виде исполнительского жеста, а как изменение света, плотности и формы на материальном носителе. В этом смысле киноплёнка становится местом, где изображение и звук оказываются технически связаны: кадр занимает одну часть плёнки, а звуковая дорожка — другую, но оба элемента считываются машиной как визуальная информация.

Именно здесь возникает один из главных вопросов: где проходит граница между записью звука и созданием звука? Обычная оптическая дорожка фиксирует уже существующее звучание. Но как только художник или композитор начинает рисовать форму дорожки самостоятельно, изображение фактически становится его источником.

Здесь изображение ещё в основном фиксирует звук: оно делает его видимым, анализируемым и машинно считываемым. Но уже внутри этой технической формы заложен обратный ход. Если фотоэлемент может прочитать изменение света как звук, значит художник может создать визуальную форму, которую машина затем озвучит.

Одной из ранних форм этого перехода стали эксперименты с графическим звуком конца 1920-х и начала 1930-х годов. В советском контексте важны опыты Арсения Авраамова и Евгения Шолпо, а в немецком — параллельные разработки Рудольфа Пфеннингера и Оскара Фишингера. Здесь изображение впервые перестаёт быть иллюстрацией и становится акустической причиной: орнамент, геометрическая фигура или нарисованная волна читаются устройством как звуковая дорожка.

Арсений Авраамов, «Орнаментальная звуковая анимация» (Ornamental Sound Animation), 1930-е.

Именно поэтому такие изображения нужно рассматривать не как абстрактный декор, а как визуальные сценарии для воспроизведения: повторяющийся рисунок указывает на стабильность тембра, плотность и интервалы — на ритм и высотную организацию.

Оскар Фишингер, «Этюд № 8» (Study no. 8)

Эта логика особенно ясно проявляется у Нормана Макларена. Фильмы Dots и Loops можно описать как работы, в которых и изображение, и звук были созданы прямым рисованием на плёнке.

Норман Макларен, «Точки» (Dots), 1940.

Норман Макларен, «Петли» (Loops), 1940.

В документальном фильме Pen Point Percussion Макларен буквально показывает зрителю цепочку преобразования: от осциллограммы и оптической дорожки к нарисованному звуку.

Фрагмент из фильма Норман Макларен, «Удар пером» (Pen Point Percussion), 1951.

А в «Синхрономии» он делает следующий шаг: переносит структуру звуковой дорожки в видимую область кадра, так что зритель действительно «видит то, что слышит».

Норман Макларен, «Синхромия» (Synchromy), 1971.

Во второй половине XX века изображение начинает работать уже как способ управления звуком. Эта трансформация хорошо видна в системах Oramics, АНС и UPIC.

В Oramics Дафны Орам рисунок на 35-мм плёнке распределяется по нескольким параметрическим дорожкам, в АНС Евгения Мурзина процарапанное изображение на стекле становится спектральной партитурой, а в UPIC Яниса Ксенаксиса рисунок переводится в компьютерную композицию через графический планшет.

Во всех трёх случаях принцип один и тот же: изображение больше не объясняет звук после его появления, а задаёт его форму заранее. Рабочие поверхности Oramics, АНС и UPIC показывают, как графика превращается из способа фиксации звука в способ его проектирования.

Яннис Ксенакис, «Микены-Альфа» (Mycenae Alpha), 1978. Видео демонстрирует композицию, созданную с помощью UPIC: графические линии превращаются в звуковую структуру.

После Oramics, АНС и UPIC идея звучащего изображения перестаёт быть привязанной только к уникальным машинам и лабораторным системам. У Ксенакиса рисунок уже существует не на плёнке и не на стекле, а в компьютерной системе, где жест, линия и координата становятся способом организации звука. В последующие десятилетия эта логика не исчезает, а меняет носитель: графическая композиция постепенно переходит в программные интерфейсы, спектральные редакторы и экранные секвенсоры.

Один из самых прямых примеров этой логики — MetaSynth. Её секвенсор изображений является изображенческим немузыкальным MIDI-секвенсором: пользователь может сочинять музыкальные фразы и ритмические петли через изображение, а затем превращать их в звук.

MetaSynth, видеодемонстрация импровизации. Экранное изображение используется как поле композиции: визуальная форма становится способом организовать синтез и музыкальное развитие.

Похожую, но ещё более радикальную позицию занимает Photosounder. Это первый аудиоредактор с полностью изображенческим подходом к созданию и редактированию звука. Его можно не только слушать, но и стирать, дорисовывать, деформировать, переносить и изменять как изображение.

Photosounder, видеодемонстрация превращения изображения в звук. Программа считывает визуальную структуру как спектральный материал: изображение становится основой для синтеза аудио.

«Lena’s face in sound», видеодемонстрация спектрограммного изображения. Лицо кодируется в аудиофайл и становится видимым при просмотре звука как спектрограммы.

Особенно ясно связь с историческими инструментами видна в Virtual ANS. Это программный симулятор уникального российского синтезатора АНС — фотоэлектронного музыкального инструмента Евгения Мурзина. Оригинальный АНС позволял рисовать музыку в форме спектрограммы, без живых инструментов и исполнителей, а современная программа расширяет возможности инструмента: в ней можно превращать звук в изображение, загружать и проигрывать картинки, рисовать спектральную музыку.

Virtual ANS, цифровой симулятор синтезатора АНС. Музыка рисуется как спектрограмма, которую программа может проигрывать как звук.

Более простой и почти демонстрационный пример — Coagula. Его можно определить как программу-синтезатор изображений, то есть одновременно простой редактор изображений и программу для создания звука из этих изображений. Coagula использует строки изображения как набор звуковых элементов: одна линия может соответствовать синусоиде, отдельная точка — короткому звуковому импульсу, а цвета управляют распределением сигнала по каналам или характером звучания.

Coagula, интерфейс программы.

После цифрового поворота эта история не исчезает, а разветвляется. Один путь показывает проект The Visual Microphone.

«Визуальный микрофон» (The Visual Microphone), 2014. На схеме показан принцип восстановления звука из видео: звуковая волна вызывает микровибрации объекта, камера фиксирует эти едва заметные движения, а алгоритм переводит их в спектрограмму и частично восстанавливает исходное звучание.

Здесь звук не синтезируется из графики, а восстанавливается по почти незаметным визуальным вибрациям поверхности. Изображение становится не партитурой, а чувствительным прибором, способным «услышать» мир через колебание предметов, так зрительный сигнал начинает функционировать как звуковой.

Проект «Изображения, которые звучат» (Images that Sound).

Другой путь представлен современными моделями, которые объединяют визуальный и акустический синтез: авторы «Изображения, которые звучат» (Images that Sound) предлагают создавать визуальные спектрограммы, которые одновременно выглядят как естественные изображения и звучат как естественное аудио. Обычные спектрограммы выглядят не как привычные изображения, а первые при проигрывании как спектрограммы звучат неестественно; задача проекта — совместить эти два режима в одной форме.

Проект «Изображения, которые звучат» (Images that Sound).

Переходным примером между инструментом и AI можно считать VOSIS. Это не нейросеть, а приложение для сонификации изображения, но оно показывает важный сдвиг: звучать может уже не только подготовленное изображение, а фотография, видео или поток с камеры. VOSIS сканирует данные яркости пикселей и превращает визуальную форму в сложные волновые таблицы.

VOSIS, интерфейс приложения для сонификации изображения.

FoleyCrafter и Google DeepMind показывают уже не ручной, а модельный способ порождения звука из визуального потока.

FoleyCrafter, пример сгенерированного звука.

FoleyCrafter точнее показывает прикладную задачу: оживить немое видео реалистичными звуковыми эффектами. Система генерирует звук, который должен быть связан с тем, что видно в кадре, и синхронизирован с действием во времени. Это особенно важно для кино, игр, анимации и пользовательского видео: шаг, удар, трение, падение или движение объекта могут быть достроены автоматически.

Google DeepMind V2A можно описать как технологию, которая объединяет пиксели видео и текстовые промпты для генерации звуковых ландшафтов, звуковых эффектов, музыки или диалога, синхронизированных с экранным действием. Здесь машина должна понять не только форму изображения, но и сцену: что движется, что происходит, какой звук должен соответствовать действию.

Google DeepMind, «V2A Dinosaur», 2024. Демонстрация технологии «видео-в-аудио»: система анализирует видеоряд с вылупляющимся динозавром и генерирует синхронизированное аудио по промпту «милые звуки детёныша динозавра, атмосфера джунглей, треск яйца».

Отдельную, но важную соседнюю ветвь образует сонификация данных. В отличие от оптического синтеза, где изображение прямо проигрывается как звук, здесь немые структуры переводятся в слышимую форму через набор правил соответствия.

NASA / Hubble, сонификация объекта The Mice Galaxies. Яркость и положение элементов изображения сопоставляются с громкостью и высотой звука.

Особенно наглядно это видно в проектах NASA, где астрономические изображения переводятся в звук. В таких проектах космический снимок не просто иллюстрируется музыкой, а считывается как набор данных: яркость, положение, цвет или интенсивность могут быть связаны с акустическими параметрами. Такие проекты работают не только как эффектная популяризация науки, но и как способ сделать данные доступнее для разных аудиторий, включая незрячих и слабовидящих людей.

Эта логика отличается от раннего оптического звука, но сохраняет общий принцип перевода. В рисованном звуке машина считывала физическую форму на плёнке; в сонификации программа считывает данные изображения и переводит их в заранее заданную акустическую систему. В обоих случаях изображение перестаёт быть только объектом зрения. Оно становится структурой, которую можно услышать.

Другой современный пример — спектрограммное искусство. Спектрограмма сама по себе является изображением звука: она показывает распределение частот и интенсивности во времени. Но в цифровой культуре возникает и обратная практика: изображение можно специально построить так, чтобы при воспроизведении оно звучало, а при просмотре спектрограммы давало узнаваемую визуальную форму. Поэтому спектрограмма становится двойным объектом: её можно видеть как картинку и слышать как звук.

Так можно просмотреть, как далеко ушла идея, начавшаяся с рисованного звука на плёнке. В XX веке художник буквально рисовал форму, которую машина затем считывала как акустический сигнал. В XXI веке машина уже не только считывает форму, но и интерпретирует сцену, достраивает звук, подбирает атмосферу и синхронизирует аудио с движением. Перспектива таких технологий связана не только с кино и генеративным видео, но и с архивами, реставрацией, доступностью, играми, музейными интерфейсами и инструментами для дизайнеров. Звучащее изображение становится не отдельным экспериментом, а общим принципом медиапроизводства: любая визуальная форма потенциально может быть услышана, озвучена, восстановлена или превращена в аудиовизуальное событие.