多媒體顯示需求井噴，視像處理器如何煥“芯”

在科幻小說(shuō)《三體》中，一件白大褂能配合醫(yī)生的表情和情緒，顯示出不同的圖像；手指在墻上輕輕點(diǎn)擊，就能將墻面激活為顯示屏；桌面、椅子甚至水杯、紙巾盒等日常用品，都是帶有操作界面和圖像顯示的動(dòng)態(tài)信息窗口。

視覺(jué)是人類獲取信息的主要途徑，而視頻圖像是人們感知、理解和分享世界的重要載體。PC、手機(jī)、VR/AR、智能汽車等終端，都將顯示屏作為最主要的信息交互窗口。部署AI大模型的數(shù)據(jù)中心里，也存在海量用于AI訓(xùn)練和推理的視頻圖像信息。

而視頻圖像從素材到成片再到播放顯示的每一個(gè)環(huán)節(jié)，都需要大量的計(jì)算。隨著畫質(zhì)提升和AI技術(shù)引入，計(jì)算系統(tǒng)中的CPU資源變得非常寶貴，因此DPU（顯示處理器）和VPU（視頻處理器）作為視頻圖像輸出環(huán)節(jié)和傳輸環(huán)節(jié)的關(guān)鍵元器件，要承擔(dān)更加多樣、密集的工作負(fù)載。

近日，安謀科技發(fā)布了其首款“玲瓏”DPU和新一代VPU。其中，“玲瓏”D8/D6/D2
DPU能夠適配從8K60幀到2K60幀的場(chǎng)景需求，最多可通過(guò)軟件驅(qū)動(dòng)4個(gè)顯示處理并行工作，實(shí)現(xiàn)多屏實(shí)時(shí)輸出?！傲岘嚒盫510/V710 VPU則率先支持最新的H.266視頻壓縮技術(shù)，以更強(qiáng)的編碼性能應(yīng)對(duì)手機(jī)等小型終端、云端AI訓(xùn)練和推理所需的視頻編解碼處理。

多媒體顯示需求井噴但高度碎片化?

DPU適配能力受考驗(yàn)

多媒體顯示終端和應(yīng)用內(nèi)容的迭代革新，正在重塑每個(gè)人的信息獲取和交互體驗(yàn)。在形態(tài)上，電視顯示屏、汽車中控屏的面積越來(lái)越大，手機(jī)三折屏、AR/VR等新的屏幕形態(tài)層出不窮，跨屏顯示、多屏異顯等技術(shù)趨勢(shì)愈發(fā)明顯。在顯示效果上，高清晰度、高畫質(zhì)的市場(chǎng)需求，倒逼分辨率逐步提升，也催生了寬動(dòng)態(tài)、廣色域等一系列畫質(zhì)提升技術(shù)。與此同時(shí)，顯示的應(yīng)用場(chǎng)景和內(nèi)容也更加復(fù)雜，涉及更多的視頻流和圖層界面。

DPU作為決定顯示輸出能力的關(guān)鍵單元，對(duì)于多媒體顯示器的分辨率、HDR、色域等畫質(zhì)提升要素有著重要影響。

面向紛繁多樣的顯示終端和場(chǎng)景應(yīng)用，DPU的適配能力成為擺在產(chǎn)業(yè)界面前的現(xiàn)實(shí)問(wèn)題。安謀科技DPU高級(jí)產(chǎn)品經(jīng)理柴衛(wèi)華向《中國(guó)電子報(bào)》記者表示，在定義“玲瓏”D8/D6/D2 DPU（以下簡(jiǎn)稱“玲瓏”DPU）系列時(shí)，如何使IP適配更多場(chǎng)景，是研發(fā)團(tuán)隊(duì)優(yōu)先考慮的事項(xiàng)。

在這一理念的推動(dòng)下，“玲瓏”DPU一方面提供了從高性能到低能耗、從8K 60幀到2K 60幀的產(chǎn)品矩陣，另一方面基于標(biāo)準(zhǔn)化、模塊化的設(shè)計(jì)以及靈活配置的架構(gòu)，支持用戶通過(guò)配置、軟件的調(diào)度，讓硬件并行工作。比如“玲瓏”D8瞄準(zhǔn)高性能，單核性能可達(dá)每秒8K 60幀，而在多屏實(shí)時(shí)輸出的復(fù)雜場(chǎng)景中，可以通過(guò)軟件驅(qū)動(dòng)4個(gè)4K
60幀的顯示處理并行工作。“玲瓏”D6則主打均衡的PPA，支持8K 30幀或4K 120幀的應(yīng)用需求，單IP可以同時(shí)支持2個(gè)4K 60幀的輸出?！傲岘嚒盌2面向低功耗場(chǎng)景，提供高能效比和該系列最低的面積與功耗開(kāi)銷，單IP支持2K 60幀的顯示輸出。

除了分辨率和刷新率，畫質(zhì)體驗(yàn)還受到HDR（提升對(duì)比度和鮮艷度）、色彩管理等因素的影響。“玲瓏”DPU支持SDR和HDR內(nèi)容輸入輸出，提供前后級(jí)可配置的Gamma（編解碼照度曲線）和Gamut（色域）管理，支持1/6到64倍圖像縮放，以及鏡像與旋轉(zhuǎn)的任意組合。

畫面卡頓是觀看體驗(yàn)的“頭號(hào)天敵”。為了優(yōu)化帶寬和功耗，“玲瓏”DPU內(nèi)置AFBC（Arm標(biāo)準(zhǔn)的幀緩沖壓縮技術(shù)）壓縮和解壓縮模塊，緩解帶寬壓力。此外，“玲瓏”DPU集成了Arm MMU-600和MMU-700中的TBU模塊，與系統(tǒng)的MMU管理無(wú)縫對(duì)接，降低系統(tǒng)管理難度。

不過(guò)，標(biāo)準(zhǔn)化的IP產(chǎn)品即便匹配了主流的顯示場(chǎng)景和規(guī)格，也難以完全滿足高度碎片化的多媒體顯示需求。柴衛(wèi)華向記者表示，許多客戶都追求在共性基礎(chǔ)上實(shí)現(xiàn)差異化優(yōu)勢(shì)。

“我們經(jīng)常被客戶問(wèn)：你們的IP有人用了么？如果我們說(shuō)已經(jīng)有相關(guān)用例，那么客戶就會(huì)接著問(wèn)‘別人也用的話，我們能做出什么新的東西嗎’?！辈裥l(wèi)華告訴記者。因此，“玲瓏”DPU開(kāi)放了可擴(kuò)展的協(xié)處理器接口，客戶可將自身對(duì)圖像顯示、圖片畫質(zhì)的特殊要求和算法接入其流水線，構(gòu)建獨(dú)家競(jìng)爭(zhēng)力。

支持H.266視頻壓縮技術(shù)?

VPU讓更小空間展現(xiàn)更多內(nèi)容

當(dāng)前，視頻已經(jīng)成為互聯(lián)網(wǎng)應(yīng)用中占比最大的數(shù)據(jù)類型，而4K/8K超高清視頻的收看、拍攝和分發(fā)渠道，已經(jīng)從專業(yè)級(jí)高清攝像機(jī)和電視臺(tái)，下沉到一部部輕薄小巧的手機(jī)和移動(dòng)互聯(lián)網(wǎng)平臺(tái)。如何在更小的空間展示更多的內(nèi)容，成為廣大終端廠商、內(nèi)容提供商和平臺(tái)的共同追求。

這一目標(biāo)的實(shí)現(xiàn)，離不開(kāi)視頻壓縮技術(shù)的進(jìn)步。從2003年至今約20年時(shí)間，視頻壓縮標(biāo)準(zhǔn)已經(jīng)從H.264進(jìn)階到H.266。與上一代標(biāo)準(zhǔn)H.265相比，H.266的壓縮比提升了50%，帶寬占用降低了近50%，對(duì)8K超高清、高動(dòng)態(tài)和360度全景視頻等新的視頻類型以及自適應(yīng)帶寬和分辨率的流媒體、實(shí)時(shí)通信等應(yīng)用有了更好的支持，從而降低了視頻數(shù)據(jù)存儲(chǔ)和傳輸成本。

VPU是結(jié)合AI技術(shù)的視頻任務(wù)加速器，內(nèi)置視頻編碼加速專用功能模塊?！傲岘嚒盫510/V710 VPU是中國(guó)市場(chǎng)首批同時(shí)包含H.266編碼和解碼的VPU產(chǎn)品。

相較支持H.265的V6 VPU，支持H.266的V510在三個(gè)維度實(shí)現(xiàn)了代際提升。一是H.264、H.265的編碼性能直接翻倍；二是基于H.266標(biāo)準(zhǔn)實(shí)現(xiàn)編碼質(zhì)量30%的提升；三是相比X265的very slow（清晰度很高但犧牲速度的轉(zhuǎn)碼方式）檔次，編碼質(zhì)量有20%的提升。

但是，H.266帶來(lái)的50%編碼性能提升，若全部?jī)冬F(xiàn)在芯片中，要付出10倍左右的芯片面積開(kāi)銷，這是將設(shè)備面積和物料成本“卷”到極致的終端廠商難以承受的。

為此，“玲瓏”VPU V510除了將編碼質(zhì)量提升控制在30%，以實(shí)現(xiàn)PPA的最佳平衡，同時(shí)還創(chuàng)新地融合了編解碼功能模塊。這一架構(gòu)創(chuàng)新避免了編碼和解碼分離狀態(tài)下各自需要增加內(nèi)存的情況，并在數(shù)據(jù)處理中對(duì)任務(wù)進(jìn)行條帶級(jí)的劃分，實(shí)現(xiàn)多核并行和性能的線性提升，以減小硅面積。

從成本要求苛刻的監(jiān)控場(chǎng)景到數(shù)據(jù)中心用于AI訓(xùn)練和推理的視頻編解碼處理，VPU的應(yīng)用場(chǎng)景跨度較大，對(duì)于配置的要求也極其多樣?！傲岘嚒盫510/V710

VPU采用了多核多格式編解碼融合的可編程處理架構(gòu)，基于firmware固件，“玲瓏”V510/V710 VPU在流片之后還可以對(duì)碼率控制、主觀質(zhì)量等進(jìn)行調(diào)整優(yōu)化。

“經(jīng)過(guò)三年多的發(fā)展，‘玲瓏’VPU系列授權(quán)了30多家合作伙伴，幾乎每一個(gè)合作伙伴都需要一定的定制服務(wù)。我們?cè)谟布用娌粩嗯c客戶溝通和打磨，固件調(diào)優(yōu)頻率可以按周計(jì)?！卑仓\科技VPU高級(jí)產(chǎn)品經(jīng)理董峰說(shuō)。

自研矩陣與技術(shù)授權(quán)組合

助力本土企業(yè)把握國(guó)內(nèi)外“芯“機(jī)遇

中國(guó)是推動(dòng)生成式AI等新興技術(shù)超大規(guī)模應(yīng)用的熱土，也是全球科技創(chuàng)新的重要高地。目前，我國(guó)骨干企業(yè)旗下手機(jī)、PC高端產(chǎn)品基本具備在端側(cè)部署數(shù)十億級(jí)別參數(shù)大模型的能力，為智能終端領(lǐng)域開(kāi)啟新一輪增長(zhǎng)周期發(fā)揮重要帶動(dòng)作用。數(shù)據(jù)顯示，2024年中國(guó)市場(chǎng)上的AI終端占比將達(dá)到55%，搭載AI功能的終端設(shè)備將超過(guò)70%。

IP核這一代表芯片設(shè)計(jì)行業(yè)垂直分工的產(chǎn)物，從誕生起就擔(dān)負(fù)著提升芯片設(shè)計(jì)效率、加快芯片產(chǎn)品上市的使命。當(dāng)前，生成式AI引領(lǐng)的新終端、新應(yīng)用如雨后春筍般涌向市場(chǎng)，面向不同場(chǎng)景高效推出芯片產(chǎn)品，已經(jīng)成為市場(chǎng)對(duì)半導(dǎo)體企業(yè)的普遍訴求。

近兩年來(lái)，在AI終端、智能汽車、智能視覺(jué)等熱點(diǎn)應(yīng)用中，不乏安謀科技的IP產(chǎn)品。今年7月，此芯科技正式推出其首款A(yù)I PC芯片“此芯P1”，異構(gòu)集成了Armv9 CPU核心、Arm Immortalis GPU以及安謀科技自研“周易”NPU。其中，基于第三代“周易”架構(gòu)設(shè)計(jì)的NPU能夠?yàn)锳I PC提供端側(cè)AI應(yīng)用的算力資源，以及多核多Cluster的算力擴(kuò)展。在芯擎科技的7納米智能座艙芯片“龍鷹一號(hào)”中，“周易”NPU提供了AI算力、處理效能和可編程性。在2023年面世的Arm智能視覺(jué)參考設(shè)計(jì)中也集成了“玲瓏”V5 VPU，以提高視覺(jué)應(yīng)用設(shè)備的處理能力和機(jī)器學(xué)習(xí)能力。

據(jù)悉，安謀科技已經(jīng)推出了包含“玲瓏”多媒體系列、人工智能處理器“周易”NPU、嵌入式處理器“星辰”CPU、信息安全解決方案“山?！盨PU在內(nèi)的自研產(chǎn)品矩陣。安謀科技自研產(chǎn)品客戶數(shù)量已超過(guò)220家，并且均已實(shí)現(xiàn)高質(zhì)量交付，助力客戶成功流片和量產(chǎn)。本土客戶基于自研業(yè)務(wù)產(chǎn)品芯片出貨量突破5億顆，自研業(yè)務(wù)核心技術(shù)專利數(shù)量達(dá)到150余項(xiàng)。

此外，為進(jìn)一步向國(guó)內(nèi)企業(yè)提供更具性價(jià)比的產(chǎn)品組合和服務(wù)支持，今年，“Arm技術(shù)授權(quán)訂閱”模式正式落地中國(guó)。其中，Arm Flexible Access模式打破了“按件收費(fèi)“的傳統(tǒng)IP授權(quán)模式，使企業(yè)以預(yù)付、免成本或低成本的方式，獲取包含Arm IP、工具及訓(xùn)練課程的組合包，直到流片之前才需要為最終在芯片設(shè)計(jì)中使用的IP支付授權(quán)費(fèi)用。而Arm Total Access模式面向復(fù)雜芯片系統(tǒng)的研發(fā)需求，使企業(yè)通過(guò)單個(gè)訂閱一站式獲得Arm最新最全的技術(shù)和工具，包括IP、工具和模型、支持和服務(wù)、軟件、物理設(shè)計(jì)等。目前已有超30家中國(guó)客戶采用了Arm技術(shù)授權(quán)訂閱。

基于自研業(yè)務(wù)技術(shù)創(chuàng)新與Arm技術(shù)授權(quán)，安謀科技一方面為中國(guó)本土企業(yè)提供包含NPU、CPU、SPU以及多媒體處理所需的DPU和VPU等自研產(chǎn)品，以及與客戶共同定制、聯(lián)合調(diào)優(yōu)的本地化服務(wù)；另一方面助力中國(guó)企業(yè)以更加靈活的方式獲取Arm技術(shù)，更高效地融入國(guó)際生態(tài)，把握國(guó)內(nèi)外智算產(chǎn)業(yè)的“芯“機(jī)遇。

作者丨張心怡編輯丨趙晨美編丨馬利亞監(jiān)制丨連曉東