OPPO造芯第二步,馬里亞納Y為什么是“計算音頻”?
12月14日,在OPPO INNO DAY 2022期間,OPPO正式發(fā)布了自己的第二款自研芯片:馬里亞納??MariSilicon Y(以下簡稱馬里亞納Y)。
在此之前,OPPO的第一款自研芯片馬里亞納X,發(fā)布于2021年12月,是一顆主要瞄準“計算影像”領域的NPU。
而本次發(fā)布的馬里亞納Y,則是著眼于“計算音頻”領域,是一款旗艦級的藍牙音頻SoC。
從X到Y,從影像到音頻,從NPU到SoC,OPPO造芯的一盤大棋已經徐徐展開。
【1】
近幾年來,自研芯片已經成為每一家手機大廠的兵家必爭之地。
到目前為止,已經發(fā)布的自研芯片,絕大部分都集中在研發(fā)入手容易,用戶需求迫切的“計算影像”領域。
但這并不意味著,其他領域沒有機會。
OPPO此次率先布局的“計算音頻”,正是一個極具應用潛力的方向。
首先,它有廣闊的市場需求。
Luminate報告數據顯示,在2022年上半年,全球流媒體音樂同比增長了24.7%,而視頻流媒體播放增長了28.1%。
在中國,移動音樂用戶規(guī)模更是達到了7.06億。
同時,“計算音頻”也正在越來越多領域,為用戶創(chuàng)造前所未有的聲音體驗。
比如主動降噪功能,讓用戶可以根據所處的環(huán)境,選擇聲音體驗是隔離外界還是開放通透。
比如空間音頻創(chuàng)造的沉浸式體驗,可以讓用戶在轉動頭部的時候,聲音獲得跟隨的效果,實現用戶與內容的獨特交互。
目前,全球的科技公司和研究機構,都已經在加速下一代的計算音頻探索。
比如谷歌,已經發(fā)布了全新的音頻生成框架AudioLM,只需要簡短的音頻樣本,就能學習生成逼真、高質量的語音和音樂。
在這些趨勢下,傳統(tǒng)的音頻硬件已經逐漸成為短板。
比如藍牙的傳輸速率。
基于強大的便捷性和低功耗優(yōu)勢,藍牙是手機音頻最主要的無線傳輸方式。
但目前的藍牙標準,在現實環(huán)境里基本無法傳輸高于48kHz/24bit品質的無損音頻。
同時,藍牙耳機的播放、EQ調整、編解碼等絕大部分音頻計算處理,都是通過DSP(數字信號處理器)來完成,算力和功耗都無法為AI提供足夠支持。
上游芯片巨頭也已經意識到這些問題,并通過優(yōu)化音頻芯片編解碼、提升無線傳輸速率、主控SoC向音頻開放賦能等方式,強化手機音頻體驗;比如高通推出了S5 Gen 2和S3 Gen 2這樣的獨立藍牙音頻芯片。
而OPPO基于對用戶需求和應用場景的深入理解,專門研發(fā)推出了馬里亞納Y,或許意味著“計算音頻”將成為“計算影像”之后的下一個大潮流。
【2】
瞄準傳統(tǒng)藍牙音頻設備的痛點,馬里亞納Y實現了三大核心突破:
針對藍牙傳輸速率瓶頸:
馬里亞納Y通過自研技術,實現了12Mbps的全球最快藍牙速率。
怎么理解這個數據呢?
目前,最新的藍牙國際標準5.3,支持的最大理論速率僅有3Mbps。
聯發(fā)科最新推出的天璣9200平臺,藍牙音頻傳輸速率的理論峰值,也只有8Mbps。
目前,192kHz/24bit是主流音樂平臺上,無損音樂的最高規(guī)格。但由于傳輸速率限制導致的延遲和卡頓,用戶無法通過藍牙設備來欣賞這個質量的無損音樂。
而現在,馬里亞納Y的12Mbps的傳輸速率,第一次讓藍牙設備可以從容傳輸192kHz/24bit無損音頻,讓用戶獲得最巔峰的音樂體驗。
值得注意的是,據OPPO芯片產品高級總監(jiān)姜波透露,馬里亞納Y中的藍牙模塊,從協議定義、架構設計、技術實現,乃至對其他低速藍牙協議的兼容,全部都是由OPPO自研完成的。
此外,馬里亞納Y也首次采用了OPPO自研的音頻編解碼技術URLC,將無損壓縮率首次提升至50%,并支持80Kbps~10Mbps動態(tài)碼率。
這意味著,它可以用更小的體積,傳輸更大的無損音樂文件,并在受到外部環(huán)境的信號干擾時,也能更好地確保流暢、穩(wěn)定。
針對計算音頻支撐乏力:
作為首個在耳機側集成NPU單元的藍牙音頻SoC,馬里亞納的算力堪稱恐怖。
僅僅是它的NPU單元算力,就達到了超前的590 GOPS(科技雜談注:1GOPS=每秒10億次計算)。
此外,馬里亞納Y集成的DSP單元,算力也達到了25 GOPS,位于當前全行業(yè)性能最強之列。
一個更容易幫助我們理解的對比是,目前全球銷量最高的耳機芯片,算力只有9 GOPS。
即使對比目前最先進的DSP單元,馬里亞納Y也能提供23倍以上的算力,以及16倍以上的計算能效。
這意味著,大量的計算工作可以在音頻設備內實時完成,而不用在耳機與手機之間傳輸,從而最大限度降低延遲。
而且,面向未來更多的AI音頻應用,音頻設備也有了持續(xù)升級的可能。
比如,依托強大的NPU,馬里亞納Y已經首次在音頻端側實現“聲音分離”技術。
該技術可以從一段完整的音頻數據中,識別和分離人聲或其他特定樂器的聲音,并生成獨立的音軌。
過去,這樣的操作需要專業(yè)人士,通過多軌音頻工程才能實現,而現在,AI就可以幫助用戶輕松完成。
用戶可以自定義修改每一條音軌的音量,在虛擬聲音空間中的位置,自由定制只屬于自己的全景聲聽感;也可以無視音頻原本格式,將老音樂重新轉化為立體聲、環(huán)繞聲或者全景聲。
據OPPO透露,在目前階段,“聲音分離”最多可分離生成四條獨立音軌——人聲、鼓聲、貝斯、其他。
但顯然,這僅僅只是一個開始。
毫無疑問,有了超強的算力和先進的AI算法,馬里亞納Y有望引領一場全新的計算音頻大潮。
針對功耗過高:
為了解決傳統(tǒng)低功耗藍牙音頻芯片大量存在的性能與功耗矛盾,馬里亞納Y率先將N6RF制程工藝引入到了藍牙芯片當中。
N6RF是目前全球最先進的射頻芯片工藝,能幫助射頻芯片減少33%的面積,能效提升更是高達66%。
得益于N6RF的制程,馬里亞納Y能夠令音頻設備在獲得更高性能的同時,兼得更低的能耗和更長的續(xù)航。
【3】
就目前來看,無論馬里亞納X,還是馬里亞納Y,都令人驚艷。
在此之前,馬里亞納X以傳統(tǒng)算法難以企及的強大能力,讓實時視頻首次達到了4K清晰度和實時景深計算,幫助首次搭載這顆芯片的OPPO Reno8手機收獲無數好評。
現在,馬里亞納Y,也可以用一張圖來總結它的顛覆:
但對于OPPO來說,它們都只是起點。
在12月14日的OPPO INNO DAY 2022上,OPPO副總裁、OPPO研究院院長劉暢表示,OPPO已經布局了三大核心底層技術:
馬里亞納是自研芯片計劃,是OPPO面向未來的強勁性能心臟;
潘塔納爾是智慧跨端系統(tǒng),是OPPO與合作伙伴協同創(chuàng)新的共用“中間件”;
安第斯是終端智能云,是OPPO面向未來的智慧大腦和智慧服務平臺。
“這三大技術是價值最高、最先進、也是難度最大的核心技術,是OPPO必須啃下的硬骨頭?!眲痴f。
依托三大計劃,OPPO以芯片為基礎、以多端為載體、以智能云為大腦,“芯-端-云”三位一體,協同發(fā)展,從而實現算力融合與數據流轉,最終帶來一場“芯云一體、多端融合”的智能設備體驗革命。
不久前,OPPO創(chuàng)始人兼首席執(zhí)行官陳明永也曾公開表態(tài):“我們必須在底層硬件上有自己的能力,最重要的就是做好芯片?!?/p>
這意味著,在OPPO的造芯路上,馬里亞納X和馬里亞納Y只是漫漫長征路上的一個起點。
對OPPO來說,這兩顆芯片落地的最大價值,不僅僅在于大幅提升終端產品能力,更在于為后續(xù)的更多自研芯片趟出一條路。
研發(fā)芯片是一項投入極高、風險極大的工程。OPPO甚至特意用地球最深海溝“馬里亞納”命名其芯片計劃,來體現自研芯片這項工程的艱難程度。
而兩年時間,OPPO以極其強大的魄力與實力,拿出了以上兩顆芯片。
其中挑戰(zhàn)之大,真的令人震憾。
馬里亞納X雖然只是一個獨立的NPU單元,但從前端設計、后端設計、IP設計、內存架構、ARM CPU設計方案、算法、到供應鏈流片,全部都是由OPPO自己的團隊完成的。
馬里亞納Y更是直接從影像領域跨到了音頻領域,從獨立的NPU單元擴展到了完整的SoC,甚至直接挑戰(zhàn)行業(yè)公認技術最先進、難度最高、風險也最高的N6RF射頻工藝制程,并取得成功。
即使對有著深厚芯片開發(fā)經驗的團隊,這些挑戰(zhàn)都具有極大風險。
但也正因如此,馬里亞納X和馬里亞納Y的成功完成,讓OPPO團隊擁有了一個完整的芯片開發(fā)體系,擁有了將先進制程工藝應用于射頻系統(tǒng)的能力。
一個簡單例子是,在馬里亞納Y中,也有NPU單元,但根據計算音頻和計算影像的需求差異,它的架構、吞吐量等設計都和馬里亞納X有所差異,這也體現了OPPO對于芯片研發(fā)的理解深入。
對于以“芯云一體、多端融合”為未來目標的OPPO來說,未來從芯片到跨端系統(tǒng)再到云,各個體系的交互將會越來越深入緊密。
到那時,一個普通用戶,在一個普通場景里的一個普通操作,可能都會同時調動馬里亞納、潘塔納爾和安第斯的全面協同。
所以,前期對于芯片能力積累得越充分,未來構建完整體系的時候,就會越從容。
用陳明永的話來說就是,OPPO這盤棋,正在用一步步的本手積累妙手。
“好的芯片難做,我們做了,才能長期在用戶體驗上形成優(yōu)勢。這個過程不是那么輕松的,需要花時間,過程中還會有很多質疑,但我們必須保持平常心,尊重客觀規(guī)律,一步一腳印走得扎扎實實?!标惷饔勒f。