|
8 o& f* _2 }: z9 P
原标题：声声声声临其境，一起坠入阿里云超音感空间 p, B/ w1 C# J6 B) L
( M# u, r( v; f( r" H1 ^' [
+ N. M+ `6 R$ X2 m- a) h4 l- q
: c5 G! A# l/ m# L! d, P 大众对沉浸体验的追求，不再仅局限于“视觉”。声之切，境尤升。$ u% B+ F" z% l+ t' q7 d
# J2 o, y; M3 h4 K( T- H
: P; X4 \2 U" _$ u
随着硬件技术的升级、软件内容的丰富以及5G网络环境的优化，推动几经浮沉的VR产业走向正循环。 ; V' @% O, ^: D9 ?: D8 a9 ?
就在去年，「Roblox上市」、「Facebook更名为Meta」、「微软收购暴雪」等将元宇宙相关产业推向风口，而Oculus Quest 2（VR一体机）出货量破千万台的成绩，更是一件将沉浸式VR从概念落地场景实践的标志性事件。
8 p1 \6 d: F) g1 X7 t; `; ^ 在本次云栖大会阿里云视频云的8K VR视频技术展台，体验者通过佩戴Pico VR头显，感受清晰度高达8K的360度VR视频，实时捕捉超高清细节。
! p0 G6 o5 C9 s" [ 不仅如此，体验者还能以“声”临其境，感受令人惊艳的全景声技术带来的沉浸式视听体验。 / j, Z$ w8 p1 N2 `+ A* a
4 `" \: J7 M/ c4 B8 C$ g+ @$ Q; P6 i' _ 
7 q' i# g. J- m- U2 A* | 01“视”之外的沉浸之“声”
9 A, p9 H2 X0 D8 `* Y9 K$ H( m1 x( P 「沉浸式视听体验」一词已多次出现在大众视野，究竟什么是沉浸式视听体验呢？
: Y4 o% z+ w& K2 K3 c, t3 \" f' } “沉浸式视听体验”是指通过视频、音频及特效系统，构建大视角、高画质、三维声特性，从而具备画面包围和声音环绕的主观感受特征，观众在所处位置就能获得周围多方位的视觉、听觉信息，带来身临其境之感。 8 k# L, `( R7 S( z# n9 V% ~
听觉作为仅次于视觉的重要感官通道，对沉浸式的视听体验至关重要。随着用户对视听体验的极致追求，在“视”之外，沉浸之“声”技术应运而生。 6 v& \" h4 f3 |/ [- z; g5 u6 X3 W
「沉浸式音频」是指能够呈现空间的还音系统的声辐射，至少能覆盖观众的前、后、左、右、上五个方位。除此之外，还能真实地营造出声场的水平纵深和垂直高度，即从听者角度能精准地定位声音的方向和位置。
$ m w$ ?8 W8 R 从技术角度是如何实现呢？ 0 g. }' g5 ]6 m
其实，真实世界的声音来自环境的四面八方，人耳往往可以通过声波的时间差、强度差、相位差、频率差等辨别声音的方位。 ; w8 u$ M9 x, \9 U- |, O
但现有的立体声和5.1环绕声只能呈现部分方向传来的声音信息，若想获得声音带来的沉浸感，需要尽可能全方位再现真实世界的声音，也需要一种沉浸式音频技术来实现。 9 a5 [: j- g( ^
 图片来源于网络
; z" }" }) F8 J' Y ~# }
02一个「球面」的声场？
+ R* i4 B- H9 z6 u, ^/ a 沉浸式音频主要技术有三大类: 基于声道 Channel Based Audio（CBA）、基于对象Object Based Audio （OBA）、基于场景 Scene Based Audio（SBA）。 . Z5 J/ e, C( c) m, Q& w7 N* j
❖ 基于声道技术（CBA）：在传统 5.1 环绕声的基础上，增加了 4 个顶部声道，通过增加声道的方式来补充空间中的声音信息，但只能呈现部分方向来的声音信息。
" a- J5 O2 g4 @4 |3 { ❖ 基于对象的技术（OBA）：是目前主流技术，并在电影领域已广泛应用，如 Dolby Atmos 全景声。该技术会产生大量的数据和运算，除了声道的音频外，还有关于声源的元数据Metadata，即：声源（位置/大小/速度/形状等属性）、声源所在的环境（混响Reverb/回声Reflection/衰减Attenuate/几何形态等），该技术在VR领域只适合主机VR上的大型游戏，对于普通移动端的硬件设备来讲，算力及带宽承载具有较大压力。
. o! @5 W3 C* U8 N, g% e+ e ❖ 基于场景的技术（SBA）：用来描述场景的声场，其核心的底层算法是Ambisonics 技术,可被映射到任意扬声器布局中。Ambisonics技术的特点是：声源贴在提前渲染好的全景球上，即所有声源将被压缩在了这个球上。 7 [" L+ A4 x" ?1 B; @
 图片来源于网络
; L2 w6 \, r# g
本文的音频体验展示便采用了Ambisonics的录制格式（文末体验DEMO）。
* N( c8 `: C- S; F4 p" J Ambisonics作为全景声的一种录取格式，在上世纪70年代就已经问世，但一直没有获得商业上的成功。
' s7 P6 O( X, B! q5 f 随着近几年VR，AR等相关领域的兴起，Ambisonics开始逐渐被讨论。与其它多声道环绕声格式不同，Ambisonics传输通道不带扬声器信号，允许音频工作者根据声源方向而不是扬声器的位置来思考设计，并且为听众提供了用于播放扬声器的布局和数量，因此，大大增加了灵活性。
, e! |& R/ k5 L Ambisonics音频格式可以解码任何扬声器阵列，并且可以完整地、不间断地还原音源而不受任何特定编解码播放系统的限制。
) t' V3 ]7 y* x& I9 E+ j 下图是一个一阶的Ambisonics结构，4个MIC垂直部署在一个四面体上，播放效果与Dolby Atmos类似，但和Dolby Atmos不同的地方是：Dolby Atmos 只解决了半球的声场。
7 j9 s3 q; Q4 E, P' I9 p2 J 而Ambisonics除了水平环绕声音，还可以支持拾音位置或者听众上下的声源，即整个球面的声场。
9 S/ q# Z4 w9 E- W2 J6 p9 N7 J! L) H 
6 U8 ?- N" x% v2 b8 X& Q  图片来源于网络
9 z: U7 ^7 X9 \8 a( V# I
03实现声声入耳的引擎：AliBiAudio: U7 A6 h) ^) v1 U
全景声不仅仅是增加几个声道那么简单，而是把整个声音系统架构都颠覆了，从之前基于声道来混音的技术上升为基于对象的音频处理技术，使人在环境中的听觉感受与现场实际声音一致。
8 @/ u3 d, G& H" s, V 将全景声音频重建成用户可测听的形式有两种途径，一种是多扬声器重建，即电影院或家庭影院中的音响系统，其本质是将全景声音频转换到5.1.4或7.1.4格式；另一种是耳机重建，即将全景声音频通过双耳渲染技术转换为双声道音频，并保留其全部空间信息。 / A" F2 h$ w- ]0 E" g, [
相对于多扬声器重建，耳机重建成本低、易部署、效果好。
9 B2 d! o9 N) ? 不言而喻，耳机重建全景声音频，需要一个双耳渲染的过程，以此来通过两个立体声通道创建空间和维度的听觉感知效果。 : V4 B4 p$ B; e/ e' h$ E7 X& ~
" U4 D! R# n1 |* z& d% I AliBiAudio 就是一个阿里自研的双耳实时渲染引擎，结合头部跟踪坐标，可以达到人转动，声源位置不动的效果。当前双耳渲染引擎，具有支持全平台、多场景、易部署等特性。该引擎既可以部署在移动端，也可以部署在云端，并支持三大场景的渲染。 ' ]" E& x( J! o3 s& W; j' @
❖ 单声道输入：用于虚拟会议场景，可将不同位置的人，渲染在不同的角度发声，通常部署在服务端。
+ j3 o; c. Q e, ~ ❖ 5.1/7.1 输入：用于影视剧渲染，得到更逼真的环绕声，类似优酷中的“帧享”音效。既可以部署在端上（如：Apple Music 空间音频），也可以部署在服务器上（如：作为媒体处理，将多声道数据下混成2路数据）。
o/ [: c8 }9 l4 W3 a ❖ Ambisonics输入：对Ambisonics格式进行渲染，用于VR直播，VR点播，当前部署在Aliplay中。
; u# c$ v4 u1 K3 Z7 S* G 
+ E, ?+ H" a* p! B$ |- G. Y2 | 04如何让声音跟随脑袋一起摇摆* ]2 T, b7 W+ N+ H- }# W: w
❖ HRTF # p* b7 t' u; C: H- s. r& [, @
双耳渲染引擎的核心模块是人头传递函数HRTF（ Head-related Transfer Function ）。
1 ?0 v% H3 r+ a 每一方向都有两个HRTF，分别代表音源到左右耳的房间冲击响应，通过720度扫描可以得到一个球形的HRTF库，如下图是一个ARI HRTF 数据库的分布。 - L+ q d0 Q M. i, U6 Q3 o
" j$ m$ U, T. y) I ARI HRTF 数据库
2 [! j% a% h" i/ d, B. a, o: J9 L 在渲染时，通过输入的角度信息，先从数据库中选出当前角度的HRTF对。然后再将输入数据分别和HRTF对进行卷积得到左右耳信号。为了得到更逼真效果，还可以添加一定量的房间混响如下图所示：
' a" ?0 `! i) J3 N( s6 v8 k 
/ F% j& @7 J9 c" O( ^- m5 B
本项目对大量HRTF库进行筛选，获取到一个最优的数据库。 & Y4 v, M( j# q! l2 u
❖ Ambisonics数据格式
$ m$ `' e& D& ~ Ambisonics 的基础功能是让来自不同方向点声源，作为360度的球面来处理，这个中心点，就是麦克风放的位置。当前广泛用于VR 和 360 度全景视频的Ambisonics 格式，是一个叫做Ambisonics B-format的4声道（还有另一种格式叫A-format）。由W, X, Y and Z组成。对应着360度球面的，中心，左右，前后，上下。
( C" y. H" ?; C( w0 v' [8 [7 i" q' H% z* j1 ~; G
W 是一个全向+ t. F# [2 U. z) w3 c) }
X 是一个双极 8 字指向，代表前后
* R b J( e# G7 X) ]4 t3 z Y 是一个双极 8 字指向，代表左右
* G9 b9 o# b! o$ \, @ Z 是一个双极 8 字指向，代表上下( x" D6 [* t# P$ [5 R0 R+ J
( ^2 t# U! R% \3 i. P' n: u% ?6 ] B-format 有两种格式分别是ambix 和fuma（它们只是排列顺序不同），而A-format 代表4个mic 采集的原始数据。B-format和A-format的关系如下：
% Q0 ^( d3 f8 v# z! M  图片来源于网络
, z) h6 b6 ^4 f# z
❖ 头部跟踪 3 H7 d& j, q3 M) K) x% i; M
该技术利用了某些特定款式耳机中的传感器信息，如：加速度计和陀螺仪，从而更好地跟踪头部运动，并做出相应的音频调整。 - k" ]1 c3 c6 d$ r9 b# C
Apple已经从 iOS 15 开始通过兼容耳机带来支持头部跟踪的空间音频功能，目前Android 13的发布预览版已完全支持在兼容设备上使用头部跟踪的空间音频。本次云栖大会的展台体验便主要利用了Pico头显设备中陀螺仪的信息。
t0 [+ k% z$ X+ E, K  图片来源于网络
' f+ P4 g9 _6 ]; E, O) U+ d2 t# h0 {, d
05一起「声」临其境& s" ?& k* \ z) ^# a' v/ |
「佩戴耳机」体验全景声，效果更好哦！ ' M6 l, l+ C: w# {' c
现场体验中，声音的变化会随着头部的转动而转动，本次线上DEMO体验将依靠手动界面移动来模拟头部转动。
& [4 [7 {% |% U2 H, d r1 S, o* I: W 01听：无人机掠过头顶
8 G4 A, \9 s' r) ~6 ~: b# ~4 d. ]
无人机逐渐升起从头顶掠过，当视角跟随（模拟）无人机时，声音相应地实时变化。
+ T R* Y4 q% S: m6 Q 02听：滴答滴答
# N0 ?% B5 N0 o6 l+ u
3 d9 e2 a+ O+ j1 c% M. r- N 聆听水滴的同时，发现左方有无人机的声音，视角随声而转，一路跟随，感受无人机由近及远的变化。
9 U; `0 d3 b, c' u3 l/ Y3 u 03听：沉浸游园
5 ~; M0 _: {5 X; Z) a% j; E4 v0 ?; y* j2 a$ m
主持人在介绍园区时，用户向四周左右观看（模拟），在此过程中，主持人的声音呈现与他在你视角的位置始终保持对应。 & h. S: A" e2 e: N* K) `- E" F
04听：PING PANG之声 / _$ P( ?8 Y/ \1 B( f
0 I \( ]+ E. @; b$ @ 沉浸式场景怎能少了运动！一转头，乒乓之声已被“抛之脑后”。
5 p3 {1 t6 B' e- ^ F: F5 q# i& m ^ 06音频的未来，炫到无法想象
/ K0 s% m/ R3 k3 Q: {5 ]) @: e 除此之外，全景声双耳渲染技术还可运用于多个场景，带来沉浸视听的无限想象力。
6 W q5 o' O, u% R ❖ VR演唱会 $ P$ H j- J$ y* } b
现场混合360度视频和全景声音频， 同时将数据传输到相应的移动平台，并进行实时直播。让观众可以达到“不在现场，胜似现场”的感觉。
2 N) ]! ~ I; [& ^6 u$ R9 j, n( I4 M$ N+ V
❖ 沉浸式影院
# F8 |5 O: _7 Z* e% m: g 也可以称之为沉浸式投影，是一种成熟的高度沉浸式虚拟现实系统。它将高分辨率的立体投影技术、三维计算机图形技术和音响技术等有机地结合在一起，产生一个完全沉浸式的虚拟环境，大大增加观影的沉浸感。
# S; X" z- J# S; u! N1 ^: O ❖ 智慧教育
: B1 W' |3 H3 E6 K7 ^. ~ 沉浸式教学模式逐渐受到教育界的关注。例如，IBM研究院和伦斯勒理工学院联合开发的“认知沉浸室 ”，它能让学生置身于中国的餐馆、商场、园林等虚拟场景，与AI机器人练习汉语对话，大大提升了学生的学习兴趣和专注力。
5 W: a+ X* \8 n4 v) O, B ❖ 虚拟会议 5 v3 A9 i: T2 R1 x, j+ d- B" |. e
以Facebook基于VR开发的虚拟会议为例。而为了更贴近现实，Workrooms还加入了沉浸音频功能，让用户交谈时，声音的发出的方向跟他们所处的房间位置一致，从而进一步增加参会者的沉浸感。 ' K# r- Z! M' K, Y) z
图片来源于网络
$ |( j0 z4 ^9 e& B6 r 未来的沉浸音频技术将如何发展？
% [# {9 w1 ?3 T) p2 S& T 以双耳渲染引擎的核心模块HRTF为例来说，当前的HRTF模型，是一个固定模型，无法适应不同人的声音感知差异，尤其在正前方的外化能力还不够好。若想得到更逼真的声音效果，需对HRTF进行进一步优化，使其适应每个人的个体差异性。 5 s) ^- L% |/ C `' X% M; s8 Q
比如：根据每个人的人头大小，耳廓信息以及肩膀的形状独立建模。在国外HRTF的建模与个性化发展已经成为趋势： / Q; k. F, ^% [# |
3月开始，杜比支持个性化HRTF的定制。 / x* u- g& R, Z8 x& Y1 I) t
图片来源于网络
+ Y* y; F1 h" `% q 9月开始，iPhone升级了ios16，通过人脸扫描，可以定制自己的HRTF。 $ l: c) H# v G, H
图片来源于网络
5 O/ f9 F/ N/ l5 B5 x2 G% x- s X 此外，用机器学习的方法，将面部，耳部图片，转化成HRTF也在火热研究中。 * S. Y/ q& G. w7 o- \6 Y
未来，阿里云视频云将继续探索基于深度学习与信号处理的的音频技术，为VR超高清视频直播带来以「声」临其境的超沉浸之感。
- X4 `* j. t, n2 V. t 参考文献： 5 D T, I: ^. Q! c+ o
[1] 5G 高新视频—沉浸式视频技术白皮书
3 x$ S n& E: Z1 e [2] https://m.fx361.com/news/2018/0326/3298705.html 1 ?0 \0 T: E* g2 p
[3] https://3g.163.com/dy/article/ELBCI2OG053290QL.html?clickfrom=subscribe $ h8 ]; Z7 T8 @" ~' y8 x% I
[4] https://www.birtv.com/Magazine/content/?246.html
8 b9 {) x: X( }7 ? [5] https://m.midifan.com/article_body.php?id=6201
. z$ q v) v/ _ [6] https://sound.media.mit.edu/resources/KEMAR.html
- t) C S6 Z* ?, p- O( q( ? S [7] https://juiwang.com/assets/projects/hrtf_nn_bem/hrtf_nn_bem.pdf
2 G0 }1 m; ~+ Z$ y [8] https://www.tvoao.com/a/208656.aspx返回搜狐，查看更多 5 `( B) T- y8 K! w9 ]
& z7 p& ^% U/ j0 r0 c, l7 }2 u
责任编辑： t7 d1 T( d( b# J. x% I$ Q
3 `8 Q, s1 a d7 t0 o& H2 W" ?' h" }6 j
1 U. l& S- p$ l8 A* n/ k
2 z% d$ b1 ?" H5 h$ t
2 ^( R" Y2 }/ u* O& {( J | 
