|
VR讓百年歷史的音頻技術(shù)東山再起
在他燈光溫暖的公寓里，我窩在他起居室的皮質(zhì)沙發(fā)里，眼前一對揚(yáng)聲器赫然可見。Choueiri坐在旁邊的椅子上，滑動(dòng)iPad的屏幕，設(shè)置了一組雙耳音頻演示。過了一會(huì)兒，Amber Rubarth那無拘無束的聲音充滿了整個(gè)房間，她演唱了一首樂器伴奏版的Louis Armstrong的“A Kiss to Build a Dream On”。整個(gè)房間變成了一場近距離的現(xiàn)場音樂會(huì)，音景生動(dòng)有如身臨其境：Rubarth好像就在我右前方，樂隊(duì)則在我另一邊。右邊的大提琴撥動(dòng)著琴弦。幾句深情演唱之后，左邊的小提琴聲又吸引了我的注意。我憑直覺朝那個(gè)方向看了一眼。有那么幾秒，我的大腦甚至就要相信整個(gè)表演就是真實(shí)的現(xiàn)場而不是錄音了。 “你可以聽到鳥兒飛過你頭頂。你可以聽到一只耳朵旁邊的輕聲細(xì)語?！?/p> “它把你帶入到本來最初的那一個(gè)聲音場中，”Choueiri介紹雙耳錄音時(shí)說。“你可以聽到鳥兒飛過你頭頂，你可以聽到一只耳朵旁邊的輕聲細(xì)語。如果你錄制了樂隊(duì)的聲音，那么你將聽到樂隊(duì)演奏時(shí)的精細(xì)位置。” 幾十年來，雙耳錄音還算一個(gè)新事物，并且由于技術(shù)上的低要求而被忽視了。但是隨著虛擬現(xiàn)實(shí)硬件的崛起，比如Oculus Rift,索尼的Morpheus和三星的Gear——這些都是依靠逼真的3D音頻讓用戶身臨其境的系統(tǒng)——雙耳音頻處在了復(fù)興的浪頭上。 雙耳錄音系統(tǒng)的獨(dú)特在于其模仿了人類大腦的工作方式。我們大腦的解剖學(xué)結(jié)構(gòu)對我們?nèi)绾卫斫饴牭降穆曇粲袥Q定性影響：厚厚的頭骨和海綿狀的大腦兩側(cè)各有一只耳朵，我們聽到的聲音在不同的時(shí)間進(jìn)入左右耳。如果一只狗在你左耳邊叫，則叫聲傳到右耳需要多花幾微秒；一邊耳朵聽到的也比另一邊大聲。此外，聲波與聽者的身體結(jié)構(gòu)——耳廓（或外耳）、頭部和軀干——還有周圍的空間相互作用，創(chuàng)造出聽者專屬的聲音變化，這些都有所謂的頭部相關(guān)傳輸函數(shù)。大腦分析這些極小的時(shí)間和強(qiáng)度的耳間差別，從而精細(xì)地定位聲音。 習(xí)慣上錄音有兩種方法：單聲道和立體聲。單聲道使用單個(gè)話筒采集聲音，而立體聲使用兩支分開放置的話筒。雙耳錄音在立體聲錄音的基礎(chǔ)上更進(jìn)一步，在仿真人工頭的兩側(cè)耳狀腔內(nèi)放置兩支話筒。因?yàn)榉抡嫒斯ゎ^重塑了人腦的密度和形狀，所以這些話筒捕捉、加工聲音就和人耳真是聽到的一樣，保留了雙耳之間的差別信號(hào)。使用耳機(jī)聽時(shí)能獲得較佳體驗(yàn)效果，左右耳可以聽出明顯差別。這是一個(gè)簡單的概念，但是通過高質(zhì)量的話筒實(shí)現(xiàn)、并且使用同等高質(zhì)量的耳機(jī)播放后，效果就很神奇：它能夠讓大腦相信聽到的是直接的聲音。 AT&T的 Oscar，一款早期的雙耳錄音仿真頭。 這種錯(cuò)覺創(chuàng)造出3D音頻，但不要與環(huán)繞立體聲混淆了。交換這兩個(gè)術(shù)語的概念最能娛樂——甚至有時(shí)會(huì)惹惱——聲學(xué)家了。環(huán)繞立體聲系統(tǒng)使用了多個(gè)揚(yáng)聲器，在聽者周圍創(chuàng)造出360°的聲場。比如你在看一場環(huán)繞立體聲的電影：你看到屏幕一側(cè)發(fā)生爆炸，那么影院對應(yīng)一側(cè)的揚(yáng)聲器就會(huì)發(fā)出炮火的聲音。配置了Dolby Atmos技術(shù)（公司最近的技術(shù)疊加）的影院有效地全方位包裹住聽眾。但是雙耳音頻是通過精細(xì)重塑指定場景中你耳朵所聽到的聲音，不用使用數(shù)量眾多的擴(kuò)音器，就能實(shí)現(xiàn)更自然的3D聲音。 雙耳音頻的核心技術(shù)可以追溯到19世紀(jì)的法國工程師Clement Ader。1881年，Ader設(shè)計(jì)出了電話戲劇，這是一種使用電話傳送并播放巴黎歌劇秀的系統(tǒng)。成對的麥克風(fēng)有序放置在舞臺(tái)前方，覆蓋了從左到右的整個(gè)范圍。表演的聲音信號(hào)通過電話接收器傳輸給另一端的聽眾。一對接收器分別戴在兩只耳朵上，聽眾就可以聽到Palais de l’Industrie劇場中的特定組曲。 1933年AT&T貝爾實(shí)驗(yàn)室把雙耳音頻帶到芝加哥世界展覽會(huì)上。該公司的聲學(xué)研究部創(chuàng)造了一款名為Oscar的機(jī)械人工頭，在其兩頰、耳朵前面放置了麥克風(fēng)。Oscar坐在玻璃房內(nèi)捕捉聲音，而游客聚集在外面使用耳機(jī)精細(xì)地聽到人工頭鎖聽到的聲音。這種技術(shù)改進(jìn)了Ader的經(jīng)驗(yàn)，但是這兩項(xiàng)發(fā)明音質(zhì)都很差。 Oscar第二代，在AT&T的一代人工頭基礎(chǔ)上有了明顯的改進(jìn)。 二戰(zhàn)期間及之后的幾十年內(nèi)，雙耳音頻的發(fā)展面臨著嚴(yán)重的阻礙：原始的技術(shù)無法實(shí)現(xiàn)精密準(zhǔn)確、高保真的錄音。但在1973年，知名德國麥克風(fēng)公司Neumann引入了具有突破性的一款模范雙耳錄音設(shè)備KU-80。Neumann的迭代包含了一個(gè)分離的人工頭，麥克風(fēng)放置在耳膜處，這個(gè)位置捕捉的聲音信號(hào)比之前的設(shè)備更精密準(zhǔn)確。間隔了三代人工頭又出現(xiàn)了KU-100，這一代人工頭于1992年引入，特點(diǎn)是運(yùn)用了全向麥克風(fēng)，巧妙地保留了空間線索和聲音整體的音質(zhì)。它持續(xù)成為雙耳錄音人工頭的核心。 雙耳音頻在某些錄音群體中能夠找到歸宿：這項(xiàng)技術(shù)在廣播劇和實(shí)驗(yàn)性的聲音藝術(shù)中就有很好的效果。同時(shí)，Lou Reed、Thom Yorke和Imogen Heap這些音樂家都體驗(yàn)過雙耳音頻的作品。最近，ASMR（自發(fā)性感知經(jīng)絡(luò)反應(yīng)）團(tuán)體正在使用雙耳錄音，想要觸發(fā)他們認(rèn)為可以起到安撫、舒緩作用的身體反應(yīng)。 現(xiàn)在，幾乎在電話戲劇終結(jié)了一個(gè)世紀(jì)后，投資者又開始把目光轉(zhuǎn)移到3D音頻技術(shù)上：索尼的VR耳機(jī)項(xiàng)目Morpheus的原型包含了在開發(fā)中定制3D音頻雙耳解決方案?！?D音頻增加了現(xiàn)場感，這是我們一直努力在VR中想要實(shí)現(xiàn)的視覺感受，”索尼電腦娛樂美國公司的高品質(zhì)研發(fā)總監(jiān)Richard Marks說，“當(dāng)聲音作為視覺的刺激物從同樣的方向傳來，虛擬體驗(yàn)的可信度就極大增加了。既然完全視覺的VR體驗(yàn)可以實(shí)現(xiàn)，那么再加上3D音頻就能極大地增強(qiáng)VR體驗(yàn)的效果和深度。” 比起視覺上的3D效果，3D音頻提供的體驗(yàn)內(nèi)容更豐富。“與視覺不同，3D音頻不會(huì)受到顯示器的視野局限，它可以帶來‘完整的360度’體驗(yàn)，”Marks說，“VR設(shè)計(jì)的較大挑戰(zhàn)之一就是用戶可以看向任何方向，可能并沒有看到有些重大事件的發(fā)生。但是使用3D音頻作為信號(hào)，就可能把用戶的視覺上的注意力轉(zhuǎn)移到聲音上，類似于現(xiàn)場劇院使用的技巧。” 3Dio的全雙耳錄音裝置 視頻導(dǎo)演Chris Milk——之前為Kanye West、U2和Arcade Fire制作過音樂視頻——他利用雙耳錄音的擬真能力制做出虛擬領(lǐng)域的演唱會(huì)。去年，他把Beck的一場演唱會(huì)制作成了一部革命性的VR電影“Hello, Again”。為了配合360度的視覺體驗(yàn)，Milk開發(fā)了一種雙耳系統(tǒng)，制作了360度方位的聲音?！叭绻易屇銈兛吹矫總€(gè)方向的畫面，聲音只來自于一個(gè)方向可行不通，”他說，“你朝后看的時(shí)候，還能聽到你身體朝前時(shí)的聲音。所以我們需要根據(jù)你視覺上看的位置來動(dòng)態(tài)改變聲音。” 他巧妙地設(shè)計(jì)了一個(gè)系統(tǒng)，使用了8只耳朵的全雙耳人工頭，把4對3Dio的自由空間麥克風(fēng)每90度進(jìn)行植入。然后做了一個(gè)軟件，對這些耳朵捕捉到的聲音進(jìn)行加工，產(chǎn)生所需的效果。戴上VR耳機(jī)觀看時(shí)，耳機(jī)中的雙耳聲音正好配合了Beck視頻中一步步走來的視錯(cuò)覺。 Apollo Studios的總監(jiān)Jean-Pascal Beaudoin很看重3D音頻對VR體驗(yàn)的重要性?！叭绻幸粋€(gè)清晰的聲音從你左邊傳來，你轉(zhuǎn)動(dòng)頭部90度沖那個(gè)方向，這時(shí)你所期待的聲音就應(yīng)該正好在你前面?zhèn)鱽?，”Beaudoinshuo ,“如果沒有，如果聲音還是在你左邊，可能你就會(huì)很出戲，甚至自己都沒有意識(shí)到這個(gè)不好的體驗(yàn)。” Beaudoin為VR做的3D聲音是由Felix & Paul Studios提供的，F(xiàn)elix & Paul Studios是三星Gear委托制作一系列360度實(shí)景真人視頻的VR產(chǎn)品公司?！拔易罡信d趣的是通過創(chuàng)造讓3D音頻在敘事、情感和互動(dòng)方面展現(xiàn)出無限可能性，”Beaudoin說，“我們在融合VR媒介的方面才僅僅做到表面，但是我們做的每個(gè)項(xiàng)目都在建立一種新語法的層面取得了進(jìn)步?！?/p> Thom Yorke在用Neumann仿真人工頭錄音 盡管雙耳音頻存在巨大潛能，但是在VR內(nèi)容的世界里并沒有普及?！霸谥谱鲀?nèi)容的時(shí)候，音頻往往處于次要位置，” Jaunt團(tuán)隊(duì)（Jaunt是一個(gè)捕捉并創(chuàng)造電影虛擬現(xiàn)實(shí)的開發(fā)商和一站式服務(wù)點(diǎn)，基地在帕洛阿爾托）的首席音頻工程師說，“那么多的作品融入了虛擬元素，無論是游戲還是電影，有時(shí)候音頻只是后來加進(jìn)來的。但VR作為一個(gè)有內(nèi)容的媒介來說，很重要的一點(diǎn)是，這個(gè)媒介從一開始就能夠把雙耳音頻植入在其中，這樣內(nèi)容制作者就很容易使用雙耳音頻了?！盝aunt保證在他們的平臺(tái)創(chuàng)作的每一個(gè)內(nèi)容都會(huì)出現(xiàn)雙耳音頻。 我們再回到曼哈頓，Choueiri正在考慮另一個(gè)問題：自從這項(xiàng)技術(shù)全面開始，就為耳機(jī)保留了雙耳音頻。但是Choueiri想要讓外部揚(yáng)聲器系統(tǒng)也能實(shí)現(xiàn)這項(xiàng)技術(shù)，這樣就有更廣的觀眾群。挑戰(zhàn)在于，用了揚(yáng)聲器，右耳不光聽到右邊的信號(hào)，同時(shí)也聽到了專為左耳準(zhǔn)備的信息。“信號(hào)混在一起，這樣是聽不到3D聲音的，大腦只能定位揚(yáng)聲器的位置，”Choueiri這樣說，“這就像看3D電影的時(shí)候不戴3D眼睛?！?/p> 盡管很慢，但是可以肯定的是雙耳音頻正變成虛擬現(xiàn)實(shí)發(fā)展中的關(guān)鍵。 幾十年來，揚(yáng)聲器之間的混亂串聲問題一直困擾著音頻制作團(tuán)隊(duì)。但是Choueiri的BACCH SP濾波器可以保留一對揚(yáng)聲器的聲音信號(hào)，為聽眾創(chuàng)造出3D音頻的感覺。Jawbone在過去的兩年里采用了普林斯頓大學(xué)的算法，為他的無線藍(lán)牙揚(yáng)聲器Jambox制作了一個(gè)現(xiàn)場音頻的濾波器。裝上這個(gè)迷你揚(yáng)聲器，數(shù)字濾波器優(yōu)化了音頻，就能創(chuàng)造出3D的聲音體驗(yàn)。盡管很有效，但是這種3D效果的體驗(yàn)只局限在一個(gè)較佳聽音位置——設(shè)備需要放在聽者的中心位置。聽者只要離開這個(gè)位置，3D聲音體驗(yàn)就會(huì)立即崩壞。Choueiri說這款軟件有一個(gè)版本是BACCH-dSP，它加入了頭部追蹤的特點(diǎn)，無論聽者頭部如何運(yùn)動(dòng)都能保持3D效果，實(shí)現(xiàn)了在筆記本電腦上體驗(yàn)3D音頻。 盡管很慢，但是可以肯定的是雙耳音頻正變成虛擬現(xiàn)實(shí)發(fā)展中的關(guān)鍵。Oculus最近的原型Crescent Bay上個(gè)月在消費(fèi)電子展上初次公開，它結(jié)合了雙耳技術(shù)與Rift的頭部跟蹤技術(shù)，實(shí)現(xiàn)了聽覺-視覺的融合。雖然索尼的項(xiàng)目Morpheus還沒有公布產(chǎn)品的最終規(guī)格，但它們把重點(diǎn)放在3D音頻上是顯而易見的。正如Jaunt的Adam Somers所說，“雙耳音頻對于在VR內(nèi)容中創(chuàng)造身臨其境的體驗(yàn)至關(guān)重要。我們認(rèn)為音頻在整個(gè)體驗(yàn)中占據(jù)了50%的比重?！?/p> （部分內(nèi)容來源網(wǎng)絡(luò)，由音平資訊網(wǎng)整理發(fā)布） |
|
|
