从央视春晚舞台上栩栩如生的沉浸式演出到景区里科技感十足的沉浸式文化项目,近年来,沉浸式成为了文化产业的热门词语。通过多媒体、虚拟现实、三维实境等声光电技术,沉浸式演出将传统文艺表演的舞台形式、视听效果提升到了新的层次,受到观众青睐,也打开了文旅产业的新风口。这不仅表现在市场风向上,更表现在政策支持上。
据《“十四五”文化和旅游发展规划》文件强调,将在“十四五”期间完成“100个沉浸式体验项目”的目标。此外,《关于进一步激发文化和旅游消费潜力的意见》也明确提出“促进文化、旅游与现代技术相互融合,发展基于5G、超高清、增强现实、虚拟现实、人工智能等技术的新一代沉浸式体验型文化和旅游消费内容。”
技术发展、政策鼓励、市场需求……多方利好因素造成了沉浸式的井喷,也引出了背后的声光电产业。观众之所以能感受到身临其境般的环绕声以及虚实结合的空间画面,全有赖于音视频系统的支持。剧场剧院等演出行业作为沉浸式最直接的应用场景之一,其音视频系统设备更是凝聚了高端的沉浸式技术。其中,音频系统所应用的沉浸声技术对声场进行本真还原,助力打造完美空间感,已成为剧院剧场不可或缺的重要设备。
关于沉浸声的概念,目前有很多相关名词,如电影领域里说的全景声(特指杜比全景声)、多维声(特指中国多维声),广播电视领域里说的三维声、3D Audio以及VR和游戏领域里说的空间音频,这些名词都是指的沉浸声系统。沉浸声的技术主要有三大类:基于声道的音频(Channel-based Audio,CBA)、基于对象的音频(Object-based Audio,OBA)和基于场景的音频(Scene-based Audio,SBA)。基于对象的技术是目前主流的沉浸声技术,如电影领域的杜比全景声、DTS∶X、AuroMAX、HoloSound、Wanos全景声等,以及在广播电视领域的MPEG-H、AVS2-P3等。基于场景的技术则主要用于游戏和VR领域。用于剧场剧院和演出行业的沉浸声系统,有的也使用高阶Ambisonics(简称HOA)技术作为底层技术,如英国Cadac、音王等,还有的使用波场合成WFS技术,如IOSONO、HOLOPHONIX、Astro Spatial Audio等。
从声音重播效果来看,只有多声道三维沉浸式音频技术(Ambisonics)能给听者营造出接近于现场的真实感受。Ambisonics是二十世纪70年代,以牛津大学教授Michael Gerzon(1945-1996)的理论成果为基础,由英国国家研究发展公司(British National Research Development Corporation)主持开发的世界上第一种三维声场还音技术体系。Ambisonics是最早也是最彻底的基于人耳听觉特性基础上建立起的一整套三维声场重建技术,真正实现三维度全覆盖的360°沉浸式全景环绕声音,,完全拟合了人类听觉系统在真实空间中的听觉感受,播放效果远胜Dobly Atoms。
Ambisonics主要技术优势如下:
1. Ambisonics信号与播放系统的扬声器安装位置和数量非常灵活,不受场地条件限制
2. Ambisonics可以通过增加传输通道扬声器的方式来获得任何所需的空间分辨率
3. Ambisonics是各向同性的:它完全还原双耳聆听自然的、外部空间的声音的真实感受,来自任何方向的声音信息被平等地对待。而不是像传统技术一样,假设声音的主要来源是正面的,并将后置声道仅仅用于环境或特殊效果
4. Ambisonics大大增加了剧场中最佳听音区域的面积,如果采用7阶64通道的扩声系统,则几乎全部观众席都可以获得最佳的聆听体验
在Ambisonics基础之上,音王旗下品牌英国CADAC历经数十年的技术研究,运用Ambisonics球谐函数算法逻辑作为空间音频编码技术的有效理论依据支撑。将Higher-Order Ambisonics既HOA (高阶Ambisonics) 算法,用以矢量模拟不同多维度虚拟空间信息。并采用先进的HOA沉浸声算法和领先的技术设计路径,成功开发出了独特的多维声技术。向下兼容单声道、立体声、5.1、7.1等现有音频格式,向上更是可以扩展到64-128通道。该沉浸声技术应用场景包括: 剧场剧院,沉浸声元宇宙项目,沉浸式演出、体育馆、演播厅、多功能厅、主题公园、博物馆、大型阶梯教室、露天沉浸声音乐会、中大型会议厅等应用场景。Cadac沉浸声系统包括CADACMAP、MAP/R(带可变混响)主机以及MAP/B热备机,CP66通用型沉浸声处理器等。产品研发思路均基于ambisonics沉浸式技术精髓,遵照ITU国际电信联盟沉浸音频国际标准技术体系,至此,不负多年耕耘,国内专业音频龙头企业——音王打通了沉浸声系统从声音拾取、声道编解码到渲染还音整个技术链条。
音王旗下多系列沉浸式音频产品,采用基于IETF、(Internet Engineering TaskForce)RFC6716标准的成熟高效的传输压缩编解码器,以及经市场检验,基于多声源的空间测量与校准技术专利,其技术领先全球的声学空间校准算法。针对压缩编码的音质损耗,采用创新的方法对算法损失的高频谐波和中低频抽值进行模型反向学习。利用NPU的反向卷积实现对原声的精确重放并支持多通道环绕声与沉浸声编码,其多通道环绕声的实现技术基础为VBAP(基干矢量的振幅定位)和VBAP3D,同时加入HOA(高阶空间算法),支持7阶64通道的高精度声场再现。
1. 沉浸式剧场剧院专用处理器——MAP/R可变混响沉浸声处理器搭配MAP/B沉浸声备机
MAP/R可变混响沉浸声主机
CADAC MAP/R沉浸声可变混响处理器是CADAC剧场剧院专用沉浸式音频处理器系列的重要一员。
不同于一般意义上的沉浸式系统,虽然看似都是由许多组音箱构成,但都是基于VBAP和VBAP3D。CADAC沉浸声从根基上就是基于HOA的场合成重构,这种基于球谐拟合的声场重构方式用局部的分散能量在所有音箱覆盖到的范围内合成一个整体的高能量的声场。带来的好处是其声音覆盖并不需要强大的声压来保证覆盖的均衡性,因此对建声的要求并不苛刻。
HOA的优势是天生就具有均匀的覆盖和均衡声场响应,这也是实现大空间可变混响的有利条件。在此基础上,CADAC MAP\R加入了基于HOA的可变混响处理功能。它可以在既有声像分配模式下,自动的在全部音箱的参与下渲染出接近自然的空间混响效果。目前可以拟合从几百至上万立方的空间规模,空间混响时间最长可达数秒。
MAP/B沉浸声备机
网络化音频在超多通道沉浸声音频系统中已经具有举足轻重的作用。
从信号条份系统架构而言,网络音频传输协议改变了信号的传输方式和连接模式。
从传输方式来说,它替代了模拟信号线,以更低的成本和更高的通信数据量,让大规模系统的实施变得更为轻松;从连接模式来说,它打破了音频系统信号“从输入到输出”的串行模式,变为以网络交换机为核心的“星型模式”。这种演变使得网络交换机成为了系统的重要节点。
CADAC MAP主机与MAP/B备机通过交换机与所有音频设备主备网口进行连接,主备网络音频传输链路的最大优势在于其信号切换完全自动,且切换过程几乎不被听觉感知。不仅如此,信号的分配也变得更加灵活。只要将设备接入网络交换机中,就能够从系统的任意环节提取信号,这极大地提升了系统组合的灵活性。
2. 沉浸式剧场剧院专用处理器——MAP沉浸声主机处理器搭配MAP/B沉浸声备机
MAP可变混响沉浸声主机
MAP沉浸声处理器基于HOA沉浸式技术内核,符合ITU国际电信联盟沉浸音频国际标准技术体系,该处理器主要用于新建或改扩建剧场剧院,并针对剧场剧院实时性对稳定性严苛的使用要求,专门做了双备份系统设计。
基于HOA声场重构的原理,根据声场还原阶数的不同,可利用不同数目的扬声器进行声场重放,具有很高的灵活性和可扩展性。
其声场还原精度目前可支持7阶64通道,可以展现足够细腻的声场过渡表现,在此基础上,根据剧场剧院应用的特殊要求,在音频接口的设置上做了更加符合使用需求的整合设置,并能通过CADAC C-Link数字音频传输协议进行音频信号冗余备份,使系统可靠性大大增加。
3. 沉浸式音频处理器——CP66沉浸式音频处理器
CP66沉浸声处理器基于HOA沉浸式技术内核,符合ITU国际电信联盟沉浸音频国际标准技术体系,该处理器主要用于新建或改扩建剧场剧院,并针对剧场剧院实时性对稳定性严苛的使用要求,专门做了双备份系统设计。
基于HOA声场重构的原理,根据声场还原阶数的不同,可利用不同数目的扬声器进行声场重放,具有很高的灵活性和可扩展性。其声场还原精度目前可支持7阶64通道,可以展现足够细腻的声场过渡表现。
总结
沉浸声技术、XR技术等声光电科技手段的运用,使得文化演出增强了互动性和趣味性,突破了传统的观看模式,实现观众对视听的极致要求,创新了艺术形式,推动了沉浸式文旅业态的发展,相信未来沉浸式将重新定义剧场剧院的视听文化。