суббота, 27 октября 2012 г.

Зримое и слышимое: немного о "графическом звуке"

За последнее время как-то совершенно не мог найти момента, чтобы написать то, что давно собирался, а постить всякую чушь желания не возникало. Попытаюсь наверстать упущенные три недели.

В течение последних нескольких месяцев мне неоднократно попадались музыкальные приложения, так или иначе связанные с преобразованием визуальных образов в звук. Решив покопаться в этом направлении, я понял, что схватился за торчающую из земли ниточку, за которую сначала за хобот вытянется очень большой слон, а под ним обнаружится ещё и разверстая бездна, звезд полна, звездам числа нет, бездне дна. Речь идёт, собственно, о так называемой "светомузыке". Нет, речь не идёт о дискотечных устройствах, перемигивающихся цветными огнями в такт с музыкой, и даже не о мудрёных клубных осветительных системах. Речь о буквальном получении некоего набора звуков из какого-либо изображения.

Из соответствующей статьи в Википедии становится ясно, что идея преображения слышимого в зримое и наоборот волновала умы с древних времён, а теории «перевода» музыки в свет на основе аналогии «спектр - октава» начались с Исаака Ньютона и его младшего современника Луи Бертрана Кастеля. В то время как в русскоязычной Википедии о Кастеле - три строки, и те из "Брокгауза и Ефрона", в англоязычной можно найти чуть более крупную статью, посвящённую его работе, и "цветовому клавесину" в частности. Причина создания Кастелем его инструмента здесь объясняется следующим образом:

 В XVIII веке жил да был во Франции монах-иезуит Луи-Бартран Кастель, увлекавшийся научной деятельностью. Будучи сердобольным, он сильно переживал за глухих, лишенных возможности приобщаться к самому божественному из искусств - музыке. Ознакомившись с "Оптикой" Ньютона, где великий физик нечаянно сравнил октаву со спектром - сравнение, заметим, не оправданное ни с точки зрения физики, ни с точки зрения искусства, - Кастель и предложил впервые создавать на основе этой наивной аналогии "музыку для глаз", которую мог бы воспринимать и глухой... 


В сообществе Livejournal.com "Природа цвета и цвета природы" нашлась заметка, посвящённая цветовым системам, и, в частности, объясняющая устройство "окулярного клавесина" Кастела:

Иезуит, отец Луи Бертран Кастель, примерно в 1730 году построил окулярный клавесин, который состоял из 6-ти футовой квадратной рамки, надстроенной над нормальным клавесином, рамка включала в себя 60 маленьких окошек, каждое из стекла разного цвета, и небольшой занавески, соединенной блоком с конкретной клавишей таким образом, что при каждом ударе по конкретной клавише занавеска на короткое время приподнималась и появлялась вспышка соответствующего цвета.

Вокруг работы Кастеля было очень много споров. Они, в общем-то, продолжаются и сегодня. Одни восторгались его инструментом, другие бранили за "внеэстетичность". Так или иначе, в 1740 году немецкий композитор Георг Филипп Телеманн специально приехал во Францию, чтобы поглядеть на творения Кастеля, и в итоге даже сочинил несколько пьес для него.

В 1877 году изобретатель Бэйнбридж Бишоп запатентовал собственный "Цветовой орган" (на илл.), представлявший собой комбинацию из акустического органа и цветных проекторов, отбрасывавших цветные блики на экран. Бишоп построил три таких инструмента, но, к сожалению, все три погибли в огне.

В 1983 году британский художник Александр Уоллес Римингтон изобрёл инструмент Clavier à lumières ("светоклавесин" или "цветовой орган"). Этим инструментом живо интересовались Рихард Вагнер и сэр Джордж Гроув. В некоторых источниках говорится, что именно Clavier à lumières Римингтона использовал Александр Скрябин в качестве визуального сопровождения своего "Прометея" на премьере в Нью-Йорке (1915 год, Скрябин скончался в том же году), однако, есть сведения, что на самом деле Скрябин использовал "Хромолу" инженера Престона Миллара, инструмент, очень похожий на то, что изобрёл Римингтон.

Вот как это выглядело в версии Анны Гоубой, докторанта Йельского музыкального института и Йельского симфонического оркестра (непосредственно исполнение начинается после девятой минуты, но то, что инициаторы проекта рассказывают, интересно само по себе - для знающих английский, естественно):


В то время, как гений Скрябина, казалось бы, поставил в этом художественном направлении - если не точку, то уж точно точку с запятой, эксперименты продолжались и позже.

В 1916 году русский художник-футурист Владимир Баранов-Россине представил свой оптико-акустический инструмент "Оптофон" (он же - "оптофоническое фортепиано") - аппарат с системой клавиш, позволяющий проецировать на экран более трех тысяч оттенков спектра. Два цветовизуальных концерта были даны им в 1923-1924 годах в театрах В. Мейерхольда и Большом театре в Москве. Информации об этом изделии немного, и та, что есть, очень противоречива. Где-то утверждается, что инструмент вообще не мог издавать никаких звуков, в других источниках указывается, что прибор был-таки оснащён простым генератором звука, высота тона которого варьировалась, в зависимости от яркости света, который, пройдя через все фильтры внутри инструмента, попадал на фотоэлектрический элемент. Также говорят, что генераторы звука, которые использовал Баранов-Россине, существенно походили на то, что использовал Лев Сергеевич Термен при создании своего терменвокса.

В 1918 году американская пианистка Мэри Холлок-Гринуолт изобрела инструмент, получивший название Sarabet - разновидность цветового органа, где, впрочем, никакого соответствия "октава-спектр" не было уже и впомине. Интересно, что Гринуолт, в процессе разработки инструмента, получила аж девять патентов (включая патент на нелинейный реостат, за нарушения прав на который она успешно судилась аж с General Electric). Sarabet и сам по себе был чем-то вторичным для Гринуолт: не более чем инструмент для реализации более глобальной творческой идеи - создания собственной аудиовизуальной формы искусства, которую Гринуолт называла Нуратар (Nourathar - два арабских слова, обозначающих "свет" и "сущность").

К сожалению, визуально её работы так и не были задокументированы, так что о содержании её произведений можно судить только по печатным источникам, включая ею самой написанную книгу Nourathar; The Fine Art of Light Color Playing.

Огромное количество экспериментов в области звука, в том числе, "графического", проводились в Советском Союзе в 1920-1930-е годы. Огромный архив данных по этой теме собран на сайте "Поколение Z", и достаточно самого поверхностного ознакомления с ним, чтобы вновь вспомнить цитату из Ломоносова - "Открылась бездна, звезд полна". Проект создан при непосредственном участии Андрея Смирнова, научного сотрудника Московской Государственной консерватории, руководителя Термен-центра и, по сути, высшего авторитета в этой области.

Солидная часть материалов посвящена и так называемому "графическому звуку". Приведу цитату из соответствующего раздела:

"Техника графического звука — уникальный метод синтеза звука с помощью света и искусственно созданной графики звуковых дорожек. В 1929 году композитор Арсений Авраамов, конструктор Евгений Шолпо и режиссер-аниматор Михаил Цехановский работали над озвучиванием одного из первых советских звуковых фильмов — «План великих работ» Абрама Роома. Когда были проявлены первые ролики пленки, Цехановский, восхищаясь красотой узоров звуковой дорожки, высказал идею: «Интересно, если заснять на эту дорожку египетский или древнегреческий орнамент — не зазвучит ли вдруг неведомая нам доселе архаическая музыка?». Это был момент открытия. Участники группы пришли к идее техники рисованного звука, позволявшей синтезировать любые звуки и эффекты, записывать сложные полифонические произведения без участия исполнителей, основываясь на данных акустики и математики. Созданные вскоре лаборатории стали первыми в мире прообразами будущих исследовательских центров компьютерной музыки. В декабре 1930 года Цехановский писал в своей статье: «С развитием же так называемого „мультипликационного“, т. е. рисованного метода записи звука (этим заняты А. Авраамов в Москве, тт. Шолпо и [Георгий] Римский-Корсаков — в Ленинграде), перед нами возникает реальная возможность построения звуковой рисованной фильмы по методу еще более совершенному: зрительная и музыкальная канва будут строиться одновременно от первого до последнего кадра»... В Москве серьезные исследования проводил коллега и ученик Арсения Авраамова, художник и акустик Борис Янковский, занимавшийся анализом и синтезом спектров звуков, основанных на принципах, к которым музыкальная технология пришла только в середине 1980-х годов в результате быстрого развития компьютерных технологий..."

Комментарии тут, пожалуй, излишни. "Поколение Z" явно подлежит самому вдумчивому изучению; особенно рекомендуется поклонникам и исполнителям современной электронной музыки.

Отсюда перейдём к самому значимому, наверное, советскому изобретению в области электронной музыки после "терменвокса" - синтезатору АНС, названному его изобретателем Евгением Мурзиным в честь Александра Николаевича Скрябина. Название, мягко говоря, неслучайно: АНС представляет собой фотоэлектронный оптический музыкальный инструмент, чуть ли ни первый в мире многоголосный музыкальный синтезатор.

Из Википедии:

Принцип действия устройства основан на используемом в кинематографе методе фотооптической звукозаписи, позволяющем получать видимое изображение звуковых волн — сонограмму (спектрограмму звука), а также наоборот — синтезировать звук из искусственно записанного изображения звуковых волн.

Более детальное описание принципа работы АНС можно найти на сайте "Термен-центра":

Композитор записывает нужные ему звуки на стекле, покрытом непрозрачной несохнущей краской, снимая резцами краску в определенных местах. Это стекло является своеобразной партитурой инструмента. Записанные последовательности кодов звуков могут быть тут же исполнены на аппарате, прослушаны композитором и, если нужно, подправлены.

На одном стекле партитуры мож.но записывать как все возможные голоса, так и многоголосия и любые шумы. Все звучания синтезируются композитором на партитуре как сочетания чистых звуковых тонов с выбранными законами изменения их силы. Для этой цели в распоряжении композитора находятся 720 управляемых генераторов, перекрывающих 10 октав высоты звучания. Основной звукоряд инструмента представляет собою членение октавы на 72 интервала. При работе с прецизионными магнитофонами с применением монтажа возможна работа с делением октавы на 144 интервала и даже на 216 интервалов. Столь широкий спектр исходных тонов обеспечивает синтез любых звуков.


Интересно, что именно те же принципы используются сегодня во многих, если не в большинстве, программных разработках (виртуальных синтезаторах - Camel Audio Cameleon 5000/Alchemy, Photosounder и так далее), связанных с преобразованием изображения в звук. Импортированные изображения считываются именно как спектрограмма звука). Наиболее "химически чистым" тут можно назвать российскую программную разработку Александра Золотова VirtualANS - программный эмулятор синтезатора АНС.

В интервью "Компьютерре" Золотов поясняет:

[Графическая] информация интерпретируется по следующим правилам: ось X — время; ось Y — тональность от самой низкой ноты к самой высокой; яркость точки — амплитуда синусоиды. Например, если высота картинки — 720 пикселей, то во время её проигрывания мы будем слышать 720 синусоид, играющих одновременно.


И вот что получается:




Исходя из собственного опыта, вынужден констатировать, что VirtualANS - "дело тонкое", и что "тут подход нужен". Более подробное описание программы будет в отдельном посте.

Комментариев нет:

Отправить комментарий