Проект «Т|А»: дуэт человека и компьютера
Аннотация
Цель проекта «Т|А» – исследовать потенциал компьютерной системы как «виртуального» музыканта-ис-
полнителя («агента»), её возможности в создании и трансформации музыкального материала в художествен-
ных и процессуальных условиях, строящихся на перцепции и анализе звукового воплощения творческого
замысла и внешнем выражении эмоций человека – «реального» исполнителя. Специально созданное для
проекта программное обеспечение позволяет реализовать интерактивный дуэт «реального» и «виртуально-
го» музыкантов, где последний воспринимает звучание партии исполнителя-человека и, используя генетиче-
ский алгоритм, складывает в звуковой «ландшафт» собственной музыкальной партии. «Реальный» музыкант
управляет процессом исполнения «агента» при помощи изменения выражаемых лицом эмоций. Каждая смена
эмоционального состояния находит отражение в корректировке тембровых и реверберационных характери-
стик используемых компьютерной системой звуковых элементов и трансформации звучания всей «виртуаль-
ной» партии. Основываясь на научных трудах об особенностях корреляции звуков определённой высоты и/
или тембра и вызываемых ими эмоциональных состояний, а также проведённых непосредственно в рамках
проекта слуховых тестах, в статье приводится структура соотношения ключевых эмоций с частотными и про-
странственными параметрами звучания. На примере двух музыкальных композиций в работе даётся описание
алгоритмических и творческих человеко-машинных процессов, а также обсуждаются проблемы и перспективы
подобного интерактивного ансамбля.
Ключевые слова: человеко-машинное взаимодействие, распознавание эмоций, генетический алгоритм, интерактивная музыка.
Полный текст:
PDFЛитература
Krasnoskulov A. V. Ansamblevoe muzitsirovanie v tsifrovom mire [Ensemble Performance in a Digital World]. Muzykal’noe iskusstvo v sovremennom sotsiume: sb. nauch. st. [The Art of Music in the Modern Society: A Compilation of Scholarly Articles]. Rostov-on-Don: Publishing House of the Rostov Conservatory, 2014, pp. 278–288.
Krasnoskulov A. V. Evolyutsionnoe modelirovanie muzyki: printsipy, podkhody, problemy [The Evolutional Modeling of Music: Principles, Approaches, Issues]. Yuzhno-Rossiyskiy muzykal’nyy al’manakh [South-Russian Musical Anthology]. 2016. No. 1 (22), pp. 24–30.
Krasnoskulov A. V. Evolyutsionnye vychisleniya v interaktivnoy muzyke [Evolutionary Computations in Interactive Music]. Vestnik muzykal’noy nauki [Herald of Musical Scholarship]. 2016. No. 2 (12), pp. 54–59.
Chau C. J., Mo R., Horner A. The Correspondence of Music Emotion and Timbre in Sustained Musical Instrument Sounds. Journal of the Audio Engineering Society. 2014. Vol. 62, no. 10, pp. 663–675.
Chau C. J., Mo R., Horner A. The Emotional Characteristics of Piano Sounds with Different Pitch and Dynamics. Journal of the Audio Engineering Society. 2016. Vol. 64, no. 11, pp. 918–932.
Chau C. J., Wu B., Horner A. Timbre Features and Music Emotion in Plucked String, Mallet Percussion, and Keyboard Tones. Proceedings of the 40th International Computer Music Conference (ICMC). Michigan, 2014, pp. 982–989.
Evolutionary Computer Music. Miranda, Eduardo Reck; Biles, John Al (Eds.) London: Springer, 2007. 249 p.
Mo R., Wu B., Horner A. The Effects of Reverberation on the Emotional Characteristics of Musical Instruments. Journal of the Audio Engineering Society. 2015. Vol. 63, no. 12, pp. 966–979.
Winters R. M., Hattwick I., Wanderley M. M. Emotional Data in Music Performance: Two Audio Environments for the Emotional Imaging Composer. Proceedings of the 3rd International Conference on Music & Emotion (ICME 3). Jyväskylä, Finland, 11th–15th June 2013. URL: https://jyx.jyu.fi/dspace/bitstream/handle/123456789/41617/R.%20Michael%20Winters%20-%20Emotional%20Data%20in%20Music%20Performance%20-%20Two%20Audio%20Environments%20for%20the%20Emotional%20Imaging%20Composer.pdf?sequence=1.
Wu B., Horner A., Lee C. Musical Timbre and Emotion: The Identification of Salient Timbral Features in Sustained Musical Instrument Tones Equalized in Attack Time and Spectral Centroid. Proceedings of the 40th International Computer Music Conference (ICMC). Michigan, 2014, pp. 928–934.
DOI: http://dx.doi.org/10.17674/1997-0854.2017.2.022-026
Ссылки
- На текущий момент ссылки отсутствуют.
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-NoDerivatives» («Атрибуция — Некоммерческое использование — Без производных произведений») 4.0 Всемирная.