移動(dòng)音頻三大挑戰(zhàn)下，OPPO自研芯片“破冰”

音頻需求正在強(qiáng)勢上漲，Luminate 2022年上半年報(bào)告顯示，全球流媒體音樂同比增長了24.7%，而視頻流媒體播放增長28.1%。QuestMobile 2022上半年報(bào)告顯示，中國移動(dòng)音樂用戶規(guī)模已達(dá)到龐大的7.06億。

龐大的用戶需求，也推動(dòng)了在線音樂平臺(tái)曲庫數(shù)量持續(xù)增長。如網(wǎng)易云音樂和騰訊音樂，2021年第一季度的曲庫數(shù)量為5500萬，到2021年底就達(dá)到了1.4億，增速達(dá)到150%以上。

移動(dòng)音頻的快速發(fā)展趨勢下，一些創(chuàng)新需求也浮出水面：產(chǎn)品同質(zhì)化、用戶需求高端化、體驗(yàn)精細(xì)化——成為行業(yè)需要共同面對(duì)的三大問題。如何通過底層技術(shù)創(chuàng)新打破僵局，用關(guān)鍵技術(shù)解決用戶痛點(diǎn)？成為未來創(chuàng)新的關(guān)鍵。

在OPPO看來，無損音質(zhì)與個(gè)性化體驗(yàn)將推動(dòng)音頻體驗(yàn)走向高質(zhì)量發(fā)展。也正是基于這一洞察，OPPO今日宣布推出第二顆自研芯片馬里亞納 MariSilicon Y。

它具有三大關(guān)鍵技術(shù)突破：第一，12Mbps全球最快藍(lán)牙速率，突破傳統(tǒng)藍(lán)牙連接質(zhì)量；第二，590 GOPS最強(qiáng)算力NPU，用AI突破傳統(tǒng)音頻的計(jì)算范式；第三，領(lǐng)先二代的N6RF制程工藝，突破藍(lán)牙音頻設(shè)備的能效標(biāo)準(zhǔn)，首次將192kHz/24bit無損音頻帶入藍(lán)牙設(shè)備，帶來母帶級(jí)的高品質(zhì)音質(zhì)的同時(shí)，也提供了更先鋒的個(gè)性化音頻體驗(yàn)。

堅(jiān)持自研芯片的必經(jīng)之路

OPPO為什么堅(jiān)持自研芯片？并且涉足藍(lán)牙音頻這種高度細(xì)分的芯片領(lǐng)域？

OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波表示，OPPO認(rèn)為端對(duì)端的連接技術(shù)，是硬件能力重特別重要的基礎(chǔ)性技術(shù)。OPPO強(qiáng)調(diào)萬物互融，未來一定會(huì)在短距通信、端到端的體驗(yàn)上做很多探索和改進(jìn)。這顆芯片雖然小，但是OPPO首次在端到端，通過私有協(xié)議實(shí)現(xiàn)了連接，這個(gè)連接的基礎(chǔ)能力是OPPO一定要建立的。

其次，盡管這顆芯片無論是成本投入，還是市場ROI，從商業(yè)角度看似乎都非常不劃算的。但是，N6RF工藝是未來必然要掌握的。在前代6nm的基礎(chǔ)上，馬里亞納MariSilicon Y更進(jìn)一步拓展至N6RF工藝制程，代表OPPO掌握了將先進(jìn)制程工藝應(yīng)用于射頻系統(tǒng)的能力，拓展了先進(jìn)制程下的芯片設(shè)計(jì)專長。

OPPO芯片產(chǎn)品高級(jí)總監(jiān) 姜波

也就是說，第一是連接能力的掌握，第二是先進(jìn)射頻工藝的掌握，都是OPPO自研芯片必須探索的方向。姜波補(bǔ)充，從整個(gè)商業(yè)角度看，采用第三方方案的確更節(jié)約成本，但馬里亞納MariSilicon Y所代表的自研能力是無法通過第三方芯片獲得的。

馬里亞納 MariSilicon Y作為OPPO 首個(gè)SoC芯片解決方案，可以完整地負(fù)責(zé)一個(gè)藍(lán)牙音頻設(shè)備的所有功能。這不僅標(biāo)志著OPPO首次打開了連接芯片設(shè)計(jì)的新領(lǐng)域，具備了藍(lán)牙連接的軟硬件全套能力，也意味著OPPO首次具備了計(jì)算+連接能力的藍(lán)牙SoC平臺(tái)設(shè)計(jì)能力，在前一代自研芯片影像整合的基礎(chǔ)上，增加了藍(lán)牙連接的整合，為萬物互融奠定必備的底層連接能力。

高質(zhì)量音頻核心創(chuàng)新點(diǎn)：無損音頻和個(gè)性化

根據(jù)《2022音頻產(chǎn)品使用現(xiàn)狀調(diào)研報(bào)告》顯示，超過58%的受訪者表示希望獲得高解析度或無損音質(zhì)。61%的消費(fèi)者希望獲得比MP3更好的音質(zhì)，包括CD音質(zhì)（44.1KHz/16bit）、高解析音質(zhì)（高于96KHz/24bit）、無損音質(zhì)。此外，有66%消費(fèi)者認(rèn)為無損音質(zhì)會(huì)決定他們是否購買設(shè)備。

無損音頻開始逐漸走進(jìn)主流消費(fèi)者，不再是只限于發(fā)燒友群體的稀有體驗(yàn)。隨著近年來全球流媒體音樂在線平臺(tái)加速升級(jí)曲庫質(zhì)量，毫無HiFi經(jīng)驗(yàn)的普通消費(fèi)者，也可以輕松地獲得世界每個(gè)角落的高品質(zhì)音樂。

除了無損音頻的高清晰度和高保真度體驗(yàn)，高品質(zhì)音頻還包括了個(gè)性化的體驗(yàn)，在這方面，計(jì)算音頻在邁入個(gè)性化的第二階段。

計(jì)算音頻這一概念自2019年興起，隨著蘋果公司推出H1芯片與AirPods Pro開始獲得更大關(guān)注。目前以主動(dòng)降噪和空間音頻為代表的智能計(jì)算音頻體驗(yàn)，正在為用戶創(chuàng)造良好的聲音體驗(yàn)。如主動(dòng)降噪功能，讓用戶可以完全根據(jù)自己所處的環(huán)境，選擇自己的聲音體驗(yàn)是隔離外界還是開放通透；空間音頻創(chuàng)造的沉浸式體驗(yàn)，可以讓用戶在轉(zhuǎn)動(dòng)頭部的時(shí)候，聲音獲得跟隨的效果，實(shí)現(xiàn)用戶與內(nèi)容的獨(dú)特交互。

隨著消費(fèi)者市場的成熟和技術(shù)的發(fā)展，計(jì)算音頻開始邁入第二階段。這一階段的最大特征便是個(gè)性化。如空間音頻，傳統(tǒng)上虛擬空間的渲染是基于一套預(yù)設(shè)模型，就像購買成衣西服，雖然精致，但細(xì)節(jié)處難免還會(huì)有不合身。

而新一代的空間音頻，可以根據(jù)用戶個(gè)人的頭型和耳廓形狀，定制HRTF模型（Head Related Transfer Function，頭部相關(guān)傳遞函數(shù)），獲得最符合個(gè)人的聽感，就像高級(jí)定制的西服，每一處細(xì)節(jié)都為用戶的獨(dú)特身材量身定制。

此外，隨著AI技術(shù)、環(huán)境感知、自然語義處理等諸多先進(jìn)技術(shù)融入計(jì)算音頻領(lǐng)域，更具個(gè)性化的聲音體驗(yàn)呼之欲出。

解決藍(lán)牙音質(zhì)難題

馬里亞納MariSilicon Y通過首創(chuàng)的超高速藍(lán)牙解決方案，集成了比傳統(tǒng)藍(lán)牙快400%，據(jù)稱是行業(yè)最快的12Mbps藍(lán)牙速率，再加上定制研發(fā)性能領(lǐng)先的URLC無損編解碼，首次實(shí)現(xiàn)了192kHz/24bit無損音頻的無線傳輸。

姜波介紹，由于藍(lán)牙速率不足，導(dǎo)致無損音質(zhì)被困在有線中。即使最新的藍(lán)牙5.3標(biāo)準(zhǔn)中，EDR（Enhanced Data Rate）支持的最大速率為3Mbps。而在真實(shí)場景的應(yīng)用中，因?yàn)楝F(xiàn)實(shí)信號(hào)環(huán)境等復(fù)雜因素的影像，理論值最高3Mbps的速率，往往只能發(fā)揮一半，也就是實(shí)際速率僅為1.5Mbps。

這種量級(jí)的速度，是無法承載無損音頻傳輸?shù)臄?shù)據(jù)量的。

以下三種無損音頻：48kHz/24bit無損音頻數(shù)據(jù)量=2.25Mbps, 96kHz/24bit無損音頻數(shù)據(jù)量=4.5Mbps, 192kHz/24bit無損音頻數(shù)據(jù)量=9Mbps。其中，192KHz/24bit是目前主流音樂平臺(tái)能提供的最高規(guī)格。不過，即使經(jīng)過優(yōu)秀的編解碼技術(shù)壓縮至一半的體積，目前藍(lán)牙標(biāo)準(zhǔn)速率最多也只能傳輸48kHz/24bit的無損音頻，對(duì)于更高品質(zhì)的音樂無能為力。

為了解決藍(lán)牙速率不足的核心問題，馬里亞納MariSilicon Y自研了12Mbps的超高速藍(lán)牙，能夠覆蓋目前最高規(guī)格的192kHz/24bit無損音頻的超大數(shù)據(jù)量，被“限高”的無損音頻終于實(shí)現(xiàn)了傳輸“自由”。

具體而言，馬里亞納MariSilicon Y的速率達(dá)到了標(biāo)準(zhǔn)藍(lán)牙的4倍。即使和2022年通用旗艦芯片的8Mbps藍(lán)牙速率相比，馬里亞納 MariSilicon Y也達(dá)到了1.5倍的更快速率。

12Mbps藍(lán)牙速率意味著什么？姜波表示，不僅可以從容傳輸192kHz/24bit無損音頻的數(shù)據(jù)量，還有充足的速率冗余可以承載數(shù)據(jù)重傳、系統(tǒng)開銷（system overhead），承載信號(hào)控制等，實(shí)現(xiàn)整體藍(lán)牙連接質(zhì)量的大幅提升。

如果說更快的傳輸速率，代表為音頻傳輸提供一條“快速路”，那么將大體積音頻壓縮，以更小的體積傳輸，則進(jìn)一步提升了無損音頻的傳輸效率。URLC編解碼協(xié)議，就是OPPO給出的又一個(gè)技術(shù)解決方案。

URLC（Ultra-Resolution Lossless Codec）是OPPO定制的音頻編解碼技術(shù)，將無損壓縮率首次提升至50%，意味著同樣的無損音頻內(nèi)容，URLC可以壓縮至更小體積傳輸。URLC編解碼協(xié)議配合12Mbps超高速藍(lán)牙的設(shè)計(jì)，讓物理硬件和軟件編解碼技術(shù)真正的合二為一，共同服務(wù)于無損音頻的傳輸。

并且，URLC編解碼支持80Kbps～10Mbps動(dòng)態(tài)碼率，相比通用方案，有更大的調(diào)節(jié)區(qū)間，這意味著在充滿不確定性的外部環(huán)境中，馬里亞納MariSilicon Y可以更精細(xì)地調(diào)節(jié)碼率，確保音頻傳輸?shù)牧鲿承?，既不?huì)斷連和卡頓，也不會(huì)大幅傷害音質(zhì)。

可以說，192kHz/24bit無損音頻是馬里亞納MariSilicon Y芯片所帶來的獨(dú)享體驗(yàn)，代表目前無線藍(lán)牙耳機(jī)中高規(guī)格的音頻質(zhì)量（目前其他藍(lán)牙耳機(jī)最高僅支持48/24無損）。此外，馬里亞納MariSilicon Y在跨平臺(tái)設(shè)備連接時(shí)，依然能夠提供出色的音質(zhì)。

正是因?yàn)檫@顆芯片具備高兼容性，支持藍(lán)牙5.3和LE Audio的LC3編解碼，可以很好地兼容下一代所有支持LE Audio的設(shè)備。同時(shí)，馬里亞納MariSilicon Y還支持LHDC、LDAC高清編解碼，兼容傳統(tǒng)OPPO產(chǎn)品和其他品牌產(chǎn)品，此外還兼容傳統(tǒng)的SBC和AAC編解碼，能夠?qū)崿F(xiàn)對(duì)傳統(tǒng)藍(lán)牙設(shè)備的的全面覆蓋。

強(qiáng)勁AI動(dòng)力支持個(gè)性化音頻體驗(yàn)

馬里亞納MariSilicon Y 也是是音頻體驗(yàn)邁入全新 AI 時(shí)代的重要里程碑。

相比于目前芯片普遍采用傳統(tǒng) DSP（數(shù)字信號(hào)處理器）單元處理音頻數(shù)據(jù)，馬里亞納MariSilicon Y首次集成專用的NPU計(jì)算單元，以 590 GOPS 的AI算力為音頻計(jì)算提供強(qiáng)大動(dòng)力。

相比于目前最先進(jìn)的DSP單元，馬里亞納 MariSilicon Y 通過高性能NPU單元，可以提供23倍以上的算力，以及16倍以上的計(jì)算能效，可以高效運(yùn)行此前DSP單元甚至無法執(zhí)行的先進(jìn) AI 音頻算法。

在音頻領(lǐng)域，目前的AI處理基本上是通過DSP去處理的，但算力或網(wǎng)絡(luò)復(fù)雜度其實(shí)相對(duì)有限的?！半S著算法復(fù)雜度要求更高，對(duì)音頻的處理能力要求更高，DSP+NPU就可能成為一個(gè)主流的趨勢”，姜波表示。

他進(jìn)一步解釋，隨著算力復(fù)雜度的提升，如果只用DSP，沒有NPU，很難達(dá)到好的效果。以環(huán)境聲降噪為例，現(xiàn)在有很多基于DSP的方案，當(dāng)追求不同的效果時(shí)，要求的算力會(huì)越來越高。這其中涉及兩點(diǎn)：第一是絕對(duì)算力，第二是在滿足算力要求下功耗的要求。

因此，NPU就成為行業(yè)持續(xù)的趨勢。目前第三方算法在傳統(tǒng)的細(xì)分領(lǐng)域，已經(jīng)用DSP+NPU進(jìn)行聲音的處理，效果比純DSP的方案更好，這在未來會(huì)是一個(gè)循序漸進(jìn)的過程。

通過強(qiáng)大的AI算力，馬里亞納MariSilicon Y具備了聽懂聲音的能力，也首次在音頻端側(cè)實(shí)現(xiàn)了聲音分離技術(shù)，開啟下一代個(gè)性化音頻體驗(yàn)。

通過聲音分離技術(shù)，馬里亞納MariSilicon Y支持自定義全景聲的特性，可以智能識(shí)別和分離音樂中的人聲和樂器組，幫助用戶可自定義控制人聲、鼓聲、貝斯等每一個(gè)音軌的音量和空間位置，比如將人聲放大且拉近到自己耳邊，或?qū)⒐穆曌笥覍?duì)調(diào)，創(chuàng)造屬于自己的獨(dú)特聽感。

此外，馬里亞納 MariSilicon Y還支持萬能全景聲的特性，可以將傳統(tǒng)雙聲道音樂，轉(zhuǎn)化升級(jí)為全景聲的全新效果，將這一高級(jí)聽感的選擇權(quán)從制作端交給用戶端。傳統(tǒng)上，如果音樂在制作時(shí)沒有采用全景聲格式，用戶則無法體驗(yàn)到這一效果。萬能全景聲則可以讓用戶更靈活地匹配自己喜愛的音樂與全景聲效果，實(shí)現(xiàn)更具沉浸感的聽覺感受。

N6RF射頻工藝制程，收獲超前性能與旗艦續(xù)航

面對(duì)傳統(tǒng)低功耗藍(lán)牙音頻芯片存在性能與功耗的矛盾，馬里亞納MariSilicon Y應(yīng)用了全球目前最先進(jìn)的N6RF射頻工藝制程，實(shí)現(xiàn)了全新的能效表現(xiàn)。

據(jù)了解，N6RF 是迄今為止最先進(jìn)的射頻工藝制造技術(shù)，相比于目前主流射頻芯片采用的16nm工藝，N6RF技術(shù)領(lǐng)先2代，幫助射頻晶體管能效提升66%，同時(shí)減小33%的射頻晶體管尺寸。

通過行業(yè)領(lǐng)先工藝，馬里亞納 MariSilicon Y在實(shí)現(xiàn)192kHz/24bit無損音頻以及先進(jìn)AI 音頻能力的同時(shí)，實(shí)現(xiàn)旗艦水平的續(xù)航表現(xiàn)。

自研芯片的“價(jià)值觀”

姜波表示，系統(tǒng)廠商做自研芯片，好處是對(duì)用戶場景的理解比較深刻，更容易把控技術(shù)方向，做性能取舍時(shí)清晰地知道優(yōu)先級(jí)。同時(shí)，OPPO作為系統(tǒng)廠商，非常注重垂直整合價(jià)值，同時(shí)也兼顧用戶價(jià)值，即這個(gè)價(jià)值是用戶認(rèn)可和能夠感知的。

他指出，端側(cè)產(chǎn)品尤其是手機(jī)相關(guān)產(chǎn)品，最大的挑戰(zhàn)仍是能效比。為了解決能效問題，自研芯片要注重以下三方面能力：

第一，工藝制程本身是基礎(chǔ)，如果工藝制程底子不好，能達(dá)到的水準(zhǔn)相對(duì)有限，即使芯片設(shè)計(jì)能力再強(qiáng)，12nm變成4nm的能效，肯定是一件不太現(xiàn)實(shí)的事情。特別是手機(jī)主芯片和射頻連接性方面，追逐先進(jìn)工藝的掌握非常重要。

第二，從芯片架構(gòu)上，PPA（Power Performance Aera）的設(shè)計(jì)更重要的，怎么樣通過更好的架構(gòu)來支撐低功耗，譬如針對(duì)某些IP，通過調(diào)壓節(jié)省功耗。

以MariSilicon Y采用的NPU為例，由于是專門針對(duì)音頻的NPU，跟以往影像應(yīng)用中的NPU，架構(gòu)設(shè)計(jì)是完全不一樣的。對(duì)影像來說，要做很多像素級(jí)的降噪和影像算法；但從音頻結(jié)構(gòu)來看，比較側(cè)重于時(shí)域的處理，可以根據(jù)時(shí)序信息做AI推算，所以從這個(gè)視角來看，對(duì)音頻NPU的內(nèi)存設(shè)計(jì)是很重要的?？偠灾槍?duì)不同應(yīng)用，架構(gòu)設(shè)計(jì)是需要著重考慮的。

第三，IP層面的優(yōu)化。因?yàn)槊款w芯片都有基礎(chǔ)IP，基于制程工藝的基礎(chǔ)IP的優(yōu)化，包括核心的NPU等，都需要通過設(shè)計(jì)考量來進(jìn)行優(yōu)化。

對(duì)于馬里亞納MariSilicon Y當(dāng)前的商用場景，姜波表示，首先是用在耳機(jī)端。其次，也可以放在手機(jī)端，這包括兩種場景：手機(jī)端沒有、而耳機(jī)端采用了這個(gè)芯片，也可以實(shí)現(xiàn)互聯(lián)，因?yàn)樗С謽?biāo)準(zhǔn)藍(lán)牙協(xié)議；但是，要獲得最旗艦的功能，比如192kHz/24bit這樣的功能，耳機(jī)和手機(jī)都要具備這顆芯片，打通無損音頻的高品質(zhì)體驗(yàn)。