|
. @" M* d$ E8 I$ e
原标题：声声声声临其境，一起坠入阿里云超音感空间
+ A9 z6 x9 N0 y3 [; M; K* U. ~
2 g- g9 t) L0 y7 O3 M7 i
5 ?+ \; C; a. i4 K( `
& y( v# p9 l% y0 X# a 大众对沉浸体验的追求，不再仅局限于“视觉”。声之切，境尤升。 i! U7 A7 e* H; M f# T
. V, E% ~0 j6 V/ j' U
0 _3 a( ~8 a+ K 随着硬件技术的升级、软件内容的丰富以及5G网络环境的优化，推动几经浮沉的VR产业走向正循环。
5 ~" g* m$ F1 o) b8 @7 b 就在去年，「Roblox上市」、「Facebook更名为Meta」、「微软收购暴雪」等将元宇宙相关产业推向风口，而Oculus Quest 2（VR一体机）出货量破千万台的成绩，更是一件将沉浸式VR从概念落地场景实践的标志性事件。 : x4 i3 e q2 C. P' [
在本次云栖大会阿里云视频云的8K VR视频技术展台，体验者通过佩戴Pico VR头显，感受清晰度高达8K的360度VR视频，实时捕捉超高清细节。
, C6 O9 J4 \* @8 Z# v k7 @ 不仅如此，体验者还能以“声”临其境，感受令人惊艳的全景声技术带来的沉浸式视听体验。
7 Y' v h. z2 l s' A) E4 W 
& `* T. Y) h3 n7 o
) O9 p% t' S( q5 P- G$ `# z Q
01“视”之外的沉浸之“声”) \% B: M" X- [! k# H
「沉浸式视听体验」一词已多次出现在大众视野，究竟什么是沉浸式视听体验呢？
( y$ _$ T3 q% t+ s- g+ g1 g3 z “沉浸式视听体验”是指通过视频、音频及特效系统，构建大视角、高画质、三维声特性，从而具备画面包围和声音环绕的主观感受特征，观众在所处位置就能获得周围多方位的视觉、听觉信息，带来身临其境之感。 * ~$ |" G: w& {. q& c1 W; _
听觉作为仅次于视觉的重要感官通道，对沉浸式的视听体验至关重要。随着用户对视听体验的极致追求，在“视”之外，沉浸之“声”技术应运而生。 7 ^$ T: F! y. w) x5 [
「沉浸式音频」是指能够呈现空间的还音系统的声辐射，至少能覆盖观众的前、后、左、右、上五个方位。除此之外，还能真实地营造出声场的水平纵深和垂直高度，即从听者角度能精准地定位声音的方向和位置。 : p# D8 X1 C7 M" E
从技术角度是如何实现呢？
5 ~: C, w7 L( z+ X7 w* E0 l( m 其实，真实世界的声音来自环境的四面八方，人耳往往可以通过声波的时间差、强度差、相位差、频率差等辨别声音的方位。
2 M( h9 W4 `. F; F' x' e 但现有的立体声和5.1环绕声只能呈现部分方向传来的声音信息，若想获得声音带来的沉浸感，需要尽可能全方位再现真实世界的声音，也需要一种沉浸式音频技术来实现。
- H4 N& E1 S" R% N7 G' u  图片来源于网络
t! b. N p5 Z% j
02一个「球面」的声场？
4 x' H7 [% m5 T2 O0 ? 沉浸式音频主要技术有三大类: 基于声道 Channel Based Audio（CBA）、基于对象Object Based Audio （OBA）、基于场景 Scene Based Audio（SBA）。 4 c+ N2 Q/ J' M* d/ @6 X- N
❖ 基于声道技术（CBA）：在传统 5.1 环绕声的基础上，增加了 4 个顶部声道，通过增加声道的方式来补充空间中的声音信息，但只能呈现部分方向来的声音信息。
% M- R! N" t; T" o, y0 ~, S* h ❖ 基于对象的技术（OBA）：是目前主流技术，并在电影领域已广泛应用，如 Dolby Atmos 全景声。该技术会产生大量的数据和运算，除了声道的音频外，还有关于声源的元数据Metadata，即：声源（位置/大小/速度/形状等属性）、声源所在的环境（混响Reverb/回声Reflection/衰减Attenuate/几何形态等），该技术在VR领域只适合主机VR上的大型游戏，对于普通移动端的硬件设备来讲，算力及带宽承载具有较大压力。
* O& V1 h: ?6 N( z! m ❖ 基于场景的技术（SBA）：用来描述场景的声场，其核心的底层算法是Ambisonics 技术,可被映射到任意扬声器布局中。Ambisonics技术的特点是：声源贴在提前渲染好的全景球上，即所有声源将被压缩在了这个球上。 , C# p# g. V3 F
 图片来源于网络
# h+ D! F, [9 m2 Z* M9 l
本文的音频体验展示便采用了Ambisonics的录制格式（文末体验DEMO）。
4 R2 u) ^3 K; x& N Ambisonics作为全景声的一种录取格式，在上世纪70年代就已经问世，但一直没有获得商业上的成功。
; b' W) a% Q- w8 C; Y 随着近几年VR，AR等相关领域的兴起，Ambisonics开始逐渐被讨论。与其它多声道环绕声格式不同，Ambisonics传输通道不带扬声器信号，允许音频工作者根据声源方向而不是扬声器的位置来思考设计，并且为听众提供了用于播放扬声器的布局和数量，因此，大大增加了灵活性。
# k- _/ c6 r1 ? j4 v, T Ambisonics音频格式可以解码任何扬声器阵列，并且可以完整地、不间断地还原音源而不受任何特定编解码播放系统的限制。 7 I2 c8 [5 c. D3 [
下图是一个一阶的Ambisonics结构，4个MIC垂直部署在一个四面体上，播放效果与Dolby Atmos类似，但和Dolby Atmos不同的地方是：Dolby Atmos 只解决了半球的声场。 , c- I1 g9 a' i' l- A8 }
而Ambisonics除了水平环绕声音，还可以支持拾音位置或者听众上下的声源，即整个球面的声场。 # }9 ?8 Z% F, b) |4 O y( E
/ ^( x. A. t" j+ ^. c" \
 图片来源于网络
" X) N% H5 D/ g% [ 03实现声声入耳的引擎：AliBiAudio
H0 L0 U3 W: h 全景声不仅仅是增加几个声道那么简单，而是把整个声音系统架构都颠覆了，从之前基于声道来混音的技术上升为基于对象的音频处理技术，使人在环境中的听觉感受与现场实际声音一致。 ! a' a: q' v, H( X/ u0 Z& @
将全景声音频重建成用户可测听的形式有两种途径，一种是多扬声器重建，即电影院或家庭影院中的音响系统，其本质是将全景声音频转换到5.1.4或7.1.4格式；另一种是耳机重建，即将全景声音频通过双耳渲染技术转换为双声道音频，并保留其全部空间信息。 1 m& |, X7 X; N
相对于多扬声器重建，耳机重建成本低、易部署、效果好。 1 O8 a# w) {( [/ v z% ~
不言而喻，耳机重建全景声音频，需要一个双耳渲染的过程，以此来通过两个立体声通道创建空间和维度的听觉感知效果。 & p- c, l1 r6 w: i$ Z& x
# d) H- M8 ?3 R; F+ x4 j8 F1 |
AliBiAudio 就是一个阿里自研的双耳实时渲染引擎，结合头部跟踪坐标，可以达到人转动，声源位置不动的效果。当前双耳渲染引擎，具有支持全平台、多场景、易部署等特性。该引擎既可以部署在移动端，也可以部署在云端，并支持三大场景的渲染。
# I7 L! Q: ? {4 d& o7 r ❖ 单声道输入：用于虚拟会议场景，可将不同位置的人，渲染在不同的角度发声，通常部署在服务端。
, V% w l( a" h0 A- F* g8 z1 Y ❖ 5.1/7.1 输入：用于影视剧渲染，得到更逼真的环绕声，类似优酷中的“帧享”音效。既可以部署在端上（如：Apple Music 空间音频），也可以部署在服务器上（如：作为媒体处理，将多声道数据下混成2路数据）。
2 v. j9 ^) Y# C/ Q& L3 c3 K, z ❖ Ambisonics输入：对Ambisonics格式进行渲染，用于VR直播，VR点播，当前部署在Aliplay中。 / d- I5 J% J. G, W; b. Z1 X
; g% J' W, b3 M
04如何让声音跟随脑袋一起摇摆( V: y5 c1 s% d8 z' e; ]( h5 p# Q
❖ HRTF
% d# l- W0 ^7 w1 ]+ t 双耳渲染引擎的核心模块是人头传递函数HRTF（ Head-related Transfer Function ）。 9 Z# S f7 W q. I
每一方向都有两个HRTF，分别代表音源到左右耳的房间冲击响应，通过720度扫描可以得到一个球形的HRTF库，如下图是一个ARI HRTF 数据库的分布。
/ ^0 t7 E1 M6 k0 P) ^% ~( Y 
+ j- e1 @7 [2 Q: Y ARI HRTF 数据库 1 I7 {8 k1 Y, i" j6 ]# N( s
在渲染时，通过输入的角度信息，先从数据库中选出当前角度的HRTF对。然后再将输入数据分别和HRTF对进行卷积得到左右耳信号。为了得到更逼真效果，还可以添加一定量的房间混响如下图所示：
! d6 \- u" w1 U0 u( ]1 s1 ^' G* H 
* M4 x6 v& Q: U) }8 Q+ n* ^
本项目对大量HRTF库进行筛选，获取到一个最优的数据库。 " f# B, `; S+ [$ _
❖ Ambisonics数据格式 : A. T8 u: q m' }( A
Ambisonics 的基础功能是让来自不同方向点声源，作为360度的球面来处理，这个中心点，就是麦克风放的位置。当前广泛用于VR 和 360 度全景视频的Ambisonics 格式，是一个叫做Ambisonics B-format的4声道（还有另一种格式叫A-format）。由W, X, Y and Z组成。对应着360度球面的，中心，左右，前后，上下。 ( D' F+ b+ a* ~; ?
. ]5 E( z% y, \" I `% u
W 是一个全向
( d1 M$ G" W; m% ?* m X 是一个双极 8 字指向，代表前后
" o0 Y+ @# h; B: i$ N1 ^ Y 是一个双极 8 字指向，代表左右
. R0 V2 l% R0 q2 ]5 v) @7 } Z 是一个双极 8 字指向，代表上下
; w" ]' r" X. J, j% l2 U/ C+ @
! @0 Y( k$ w8 h$ x- L B-format 有两种格式分别是ambix 和fuma（它们只是排列顺序不同），而A-format 代表4个mic 采集的原始数据。B-format和A-format的关系如下： # r& }& Y0 ^+ |- h4 l H! b/ J% V
 图片来源于网络
# m Y) Q& x! x9 l$ ` ❖ 头部跟踪 - M, k& s( q: {: O3 [/ n
该技术利用了某些特定款式耳机中的传感器信息，如：加速度计和陀螺仪，从而更好地跟踪头部运动，并做出相应的音频调整。
7 V1 D/ W. B; Y" C. k Apple已经从 iOS 15 开始通过兼容耳机带来支持头部跟踪的空间音频功能，目前Android 13的发布预览版已完全支持在兼容设备上使用头部跟踪的空间音频。本次云栖大会的展台体验便主要利用了Pico头显设备中陀螺仪的信息。
?5 V$ `7 j/ {: j  图片来源于网络
" j. d/ p0 k% k' r( W! V" I: t7 F. w 05一起「声」临其境1 U$ J( S, J; ?' M: ~5 ~
「佩戴耳机」体验全景声，效果更好哦！ 1 S# ~2 M$ k$ z) X: }! Z
现场体验中，声音的变化会随着头部的转动而转动，本次线上DEMO体验将依靠手动界面移动来模拟头部转动。
6 S4 A% v5 }0 s 01听：无人机掠过头顶
1 R0 o2 U$ N( a% K& w
3 s3 Y1 r y" A3 g$ C# u 无人机逐渐升起从头顶掠过，当视角跟随（模拟）无人机时，声音相应地实时变化。
5 P; n2 @$ q2 P, h 02听：滴答滴答 5 N3 |1 w( J F
+ C# p. K; m* R' N6 V& E
聆听水滴的同时，发现左方有无人机的声音，视角随声而转，一路跟随，感受无人机由近及远的变化。 # L) F* h7 ?! h
03听：沉浸游园 9 ], K& y/ F1 B! k" v
8 u8 c8 V: Z# ~
主持人在介绍园区时，用户向四周左右观看（模拟），在此过程中，主持人的声音呈现与他在你视角的位置始终保持对应。 / x5 u+ A" k0 |# ] c5 v. \
04听：PING PANG之声
" s% W2 |( A; ]( a
, V8 Y7 P) S" r8 }, h* m% V 沉浸式场景怎能少了运动！一转头，乒乓之声已被“抛之脑后”。 6 Q7 J- M) _( P3 Y t6 D( y
06音频的未来，炫到无法想象
* |: D6 E. k& i6 [3 u 除此之外，全景声双耳渲染技术还可运用于多个场景，带来沉浸视听的无限想象力。
! l+ ~/ q% w6 O2 H ❖ VR演唱会
; k5 y) o- e& h( z2 c: {% d 现场混合360度视频和全景声音频， 同时将数据传输到相应的移动平台，并进行实时直播。让观众可以达到“不在现场，胜似现场”的感觉。
& M% p0 D: u' H: f" u' l; ~4 U, c# {5 n/ {$ T8 [, ^' F
❖ 沉浸式影院 3 g9 t3 ?; r, L* J* Z: f3 p
也可以称之为沉浸式投影，是一种成熟的高度沉浸式虚拟现实系统。它将高分辨率的立体投影技术、三维计算机图形技术和音响技术等有机地结合在一起，产生一个完全沉浸式的虚拟环境，大大增加观影的沉浸感。 / B# Q1 I) s* S! ?0 |: [% n. v- @8 P
❖ 智慧教育
: ?$ L9 Y! {$ X# w2 m) }) u 沉浸式教学模式逐渐受到教育界的关注。例如，IBM研究院和伦斯勒理工学院联合开发的“认知沉浸室 ”，它能让学生置身于中国的餐馆、商场、园林等虚拟场景，与AI机器人练习汉语对话，大大提升了学生的学习兴趣和专注力。 5 }& H- s5 Q v$ d& s4 X9 S5 b2 N
❖ 虚拟会议
: G* m7 p1 @7 s 以Facebook基于VR开发的虚拟会议为例。而为了更贴近现实，Workrooms还加入了沉浸音频功能，让用户交谈时，声音的发出的方向跟他们所处的房间位置一致，从而进一步增加参会者的沉浸感。
" C1 r. D1 w6 R i, i$ i 图片来源于网络 ! J% d8 p1 [* Z$ `! [
未来的沉浸音频技术将如何发展？
4 Q, u. M6 U; n 以双耳渲染引擎的核心模块HRTF为例来说，当前的HRTF模型，是一个固定模型，无法适应不同人的声音感知差异，尤其在正前方的外化能力还不够好。若想得到更逼真的声音效果，需对HRTF进行进一步优化，使其适应每个人的个体差异性。 : T `2 l6 s9 [& R; L0 v# \6 [4 m+ g9 K
比如：根据每个人的人头大小，耳廓信息以及肩膀的形状独立建模。在国外HRTF的建模与个性化发展已经成为趋势： 9 I9 S- M z' z3 H8 C( O) N' z
3月开始，杜比支持个性化HRTF的定制。 : C) g& M* N0 q% T* W/ V
图片来源于网络
% n8 f7 |6 u- Y' k 9月开始，iPhone升级了ios16，通过人脸扫描，可以定制自己的HRTF。
0 |$ i; r5 o" y% p8 L+ t/ O/ K$ h+ e 图片来源于网络
7 x2 a1 M5 V7 h5 W& V+ c$ T 此外，用机器学习的方法，将面部，耳部图片，转化成HRTF也在火热研究中。
9 j) E: z, |. Q( g$ b% ` 未来，阿里云视频云将继续探索基于深度学习与信号处理的的音频技术，为VR超高清视频直播带来以「声」临其境的超沉浸之感。
5 e! C. o2 g/ U, x6 [0 b 参考文献： & c5 u- [/ D! z- R6 O7 Y8 o
[1] 5G 高新视频—沉浸式视频技术白皮书
" ?+ k! J' ?; N6 n, U- g2 G [2] https://m.fx361.com/news/2018/0326/3298705.html
* s5 N2 T0 ~% q% Z/ D2 P9 y9 i [3] https://3g.163.com/dy/article/ELBCI2OG053290QL.html?clickfrom=subscribe ; k3 W* z" R3 S' U0 u# f
[4] https://www.birtv.com/Magazine/content/?246.html
j0 c& L) m- S6 Q [5] https://m.midifan.com/article_body.php?id=6201 : w: ?% [" Q O+ W; y
[6] https://sound.media.mit.edu/resources/KEMAR.html
8 o T2 J* T) \5 S" y8 R [7] https://juiwang.com/assets/projects/hrtf_nn_bem/hrtf_nn_bem.pdf . p9 v: s* c/ V2 [/ q3 m
[8] https://www.tvoao.com/a/208656.aspx返回搜狐，查看更多
% z9 `+ N$ o3 c+ j, p: Z+ X% q1 K! ^- C# m5 A- _) ~) }. N
责任编辑： * _ x( ]) P; Q' w
- \6 Z/ Y* `+ n8 Z0 I/ V7 }
5 _6 O5 b. G" a
# C; a% ?2 V8 \% c/ T# O
) r" u1 {" Q& p) j/ c* C" B2 \4 Z6 a | 
