多媒體產(chǎn)業(yè)開辟新航道，國產(chǎn)DPU與VPU IP加速落地

多媒體產(chǎn)業(yè)歷久彌新。從粗糙像素畫面到超高清視覺盛宴，從有限色彩到廣色域、高動態(tài)范圍的精準呈現(xiàn)，從單一影像記錄到沉浸式虛擬現(xiàn)實體驗……多媒體技術(shù)的每一次進步都在重塑我們感知世界的方式。

如今，多媒體產(chǎn)業(yè)正處在技術(shù)的關(guān)鍵交匯點，傳統(tǒng)應(yīng)用生命力不減，又迎來了5G、AI等創(chuàng)新技術(shù)驅(qū)動的變革浪潮。在云、邊、端全場景覆蓋下，多媒體技術(shù)深度融入可穿戴設(shè)備、手機、平板、汽車、家居、機器視覺、服務(wù)器等領(lǐng)域，走向更加智能化、高效化和沉浸式的未來。

在這個快速發(fā)展的領(lǐng)域，圖像顯示處理器（DPU）和視頻處理器（VPU）的作用愈加突出，它們不僅是實現(xiàn)高清晰度、高幀率視頻的關(guān)鍵，也是推動沉浸式體驗和實時互動技術(shù)發(fā)展的核心驅(qū)動力；它們不僅決定了內(nèi)容的顯示效果，還直接影響著用戶體驗和多媒體應(yīng)用的發(fā)展，對多媒體產(chǎn)業(yè)的未來至關(guān)重要。針對產(chǎn)業(yè)需求，安謀科技日前推出了旗下首款本土自研的圖像顯示處理器——“玲瓏”D8/D6/D2 DPU，以及新一代高效視頻處理器——“玲瓏”V510/V710 VPU。

“卷”起來的多媒體市場，前景如何？

在多媒體應(yīng)用這個越來越“卷”、甚至有些領(lǐng)域已經(jīng)廝殺成一片紅海的市場，現(xiàn)在推新品是不是一個好時機？例如在安防監(jiān)控等領(lǐng)域，由于市場相對成熟、玩家眾多、利潤空間較為有限，“卷”就體現(xiàn)得更為突出。

安謀科技DPU高級產(chǎn)品經(jīng)理柴衛(wèi)華認為，這首先和產(chǎn)品形態(tài)本身有關(guān)，因為圖像視頻應(yīng)用通常是直接面對用戶的，為了實現(xiàn)更好的用戶體驗，必須要從整體系統(tǒng)優(yōu)化的角度來進行設(shè)計，這是讓從業(yè)者覺得“卷”的一個因素。第二，不同場景的需求確實不同，這就非常考驗IP的場景化能力。

安謀科技VPU高級產(chǎn)品經(jīng)理董峰談到了不同場景的差異化挑戰(zhàn)：比如端側(cè)的共性邏輯是盡可能降低成本，同時還要保持甚至提升質(zhì)量；而云端市場，VPU的設(shè)計重點在于提高效率和降低主CPU的工作負載，同時支持虛擬化和軟件生態(tài)的一體化；再看汽車領(lǐng)域，VPU還需要滿足功能安全要求等等……這些多種多樣的要求都要求VPU 的IP架構(gòu)足夠靈活，能夠適應(yīng)不同場景的需求。

安謀科技多媒體處理器研發(fā)負責人周華分享道，“‘極致性價比’是端側(cè)市場必須要面對的一個挑戰(zhàn)，我們和監(jiān)控領(lǐng)域的客戶一起摳畫質(zhì)細節(jié)好幾年，來來回回兩千多封郵件，全都是關(guān)于細節(jié)的溝通和優(yōu)化討論，包括內(nèi)存空間、DDR空間、帶寬等等。但如果能省出來一顆DDR芯片，成本馬上會下降很多，這對于應(yīng)用很關(guān)鍵，客戶和我們都非常重視這些過程?！?/p>

“不過，這并不是多媒體市場的全貌，隨著技術(shù)的不斷進步和應(yīng)用場景的擴展，整個行業(yè)充滿了新的機遇和增長點”，他強調(diào)。

僅以汽車電子為例，第三方數(shù)據(jù)顯示，2022年國內(nèi)車載攝像頭的搭載量為5046萬顆，預(yù)計2025年將超過1億顆，年復(fù)合增長率為25.7%。此外，大屏化、多屏化、高清化將帶動車載顯示市場規(guī)模穩(wěn)固上升，其中HUD和電子后視鏡將貢獻主要增量市場，預(yù)計2025 年車載顯示市場規(guī)模可達1208.3億元。

此外，產(chǎn)業(yè)正處于向8K升級的關(guān)鍵時期，隨著8K內(nèi)容的逐漸豐富和8K顯示設(shè)備的普及，對能夠處理更大數(shù)據(jù)量的高性能圖像視頻處理器的需求也在增加，行業(yè)正在開啟新一輪發(fā)展周期。

本土自研首款DPU，單一IP滿足多元需求

圖像顯示處理器（Display Processing Unit, DPU）是影像設(shè)備和視覺系統(tǒng)的核心組件，隨著圖像顯示技術(shù)的應(yīng)用邊界不斷拓寬，超高清、大屏、跨屏聯(lián)動、多視頻流/多圖形界面顯示、數(shù)據(jù)安全等，給DPU帶來了新的技術(shù)挑戰(zhàn)。

此外，還有廣泛應(yīng)用覆蓋下所面臨的碎片化問題，給芯片IP開發(fā)帶來了不小的挑戰(zhàn)。因為IP是一個極度強調(diào)規(guī)模效應(yīng)的領(lǐng)域，只有需求量足夠大的時候，才能體現(xiàn)出經(jīng)濟效應(yīng)。這也意味著DPU需要“以一當百”，在單一IP中平衡好通用性和差異化。

柴衛(wèi)華介紹說，“‘玲瓏’DPU產(chǎn)品架構(gòu)是基于標準化、模塊化的設(shè)計，我們在開發(fā)時保持了優(yōu)良架構(gòu)的延續(xù)性，對微架構(gòu)進行了細調(diào)，以適配更多的場景化因素，保證了高效性和差異化的同時，實現(xiàn)了架構(gòu)的靈活可配置?！?/p>

“玲瓏”D8/D6/D2 DPU單核性能可達每秒8K60幀，如果客戶需要比較復(fù)雜的多顯示輸出，可以通過軟件驅(qū)動讓4個每秒4K60幀的顯示處理并行工作，從而達到4個顯示同時輸出。除了架構(gòu)本身，安謀科技也充分考慮了各類場景的豐富應(yīng)用，最多可以支持16層的內(nèi)容輸入，有效促進系統(tǒng)資源的利用和管理。

此外，“玲瓏”DPU實現(xiàn)了完整的系統(tǒng)支持，內(nèi)置Arm AFBC幀壓縮和解壓縮模塊，這使得它在確保整體系統(tǒng)方案的高性能和高畫質(zhì)的前提下，最大限度地節(jié)省了帶寬及功耗；集成的MMU-600/700中的轉(zhuǎn)換緩沖單元（TBU）模塊，可針對不同顯示場景進行專門優(yōu)化，以進一步降低系統(tǒng)訪問延時。此外，“玲瓏”D8/D6/D2 DPU還支持Arm TrustZone媒體保護（TZMP）架構(gòu)，實現(xiàn)了軟硬一體化設(shè)計，能夠為顯示數(shù)據(jù)的安全性提供強力保障。

為了確?？蓴U展性，“玲瓏”DPU架構(gòu)中還預(yù)留了一個接口（Coprocessor Interface），用于給客戶做接入。

“玲瓏”DPU架構(gòu)圖

基于靈活可配置的架構(gòu)，“玲瓏”DPU系列實現(xiàn)了從高性能到低能耗應(yīng)用的廣泛覆蓋，同時在性能、面積和功耗等維度上實現(xiàn)了較好的平衡。其中，“玲瓏”D8系列主要面向高性能顯示的應(yīng)用場景，可實現(xiàn)每秒8K60幀的實時顯示處理，或者單IP核支持4個每秒4K60幀的實時顯示輸出；D6系列則針對性能能效優(yōu)化顯示的應(yīng)用場景，可實現(xiàn)每秒8K30幀或者4K120幀的實時顯示處理，或者單IP核支持2個每秒4K60幀的實時顯示輸出；D2系列則用于注重能效比顯示的物聯(lián)網(wǎng)場景，可實現(xiàn)每秒2K60幀的實時顯示處理。

“DPU使我們的多媒體產(chǎn)品線拼圖更加完整，能夠給客戶帶來更好、更完整的解決方案”，周華表示，“DPU未來的優(yōu)化方向之一是利用AI來提升畫質(zhì)，比如超分辨率和畫質(zhì)增強等技術(shù)。同時，AI技術(shù)產(chǎn)生的大量數(shù)據(jù)對顯示設(shè)備的實時性和連貫性提出了更高要求，DPU設(shè)計需要考慮如何在帶寬方面提供對AI的支持。簡言之，AI技術(shù)的融合將是DPU產(chǎn)品性能提升的關(guān)鍵，智能化將成為圖像顯示芯片一個重要的發(fā)展方向?！?/p>

編解碼融合，國內(nèi)首批包含H.266的VPU

隨著視頻應(yīng)用越來越廣泛，更高清的視頻分辨率、更高效的視頻壓縮技術(shù)、更先進的視頻編解碼算法成為了主流趨勢。與此同時，視頻標準也在不斷地迭代升級。最新的國際視頻編碼標準H.266能夠提高4K和8K超高清視頻的壓縮效率，且在同等畫質(zhì)下，比上一代標準節(jié)省約50%的流量，使得高清視頻的傳輸和存儲成本得以顯著降低。

“玲瓏”V510/V710 VPU是國內(nèi)首批同時包含H.266編碼和解碼的VPU產(chǎn)品。相較于前代， “玲瓏”V510/V710 VPU的編解碼性能均實現(xiàn)了翻倍提升，并且在4K/8K應(yīng)用場景中的編碼質(zhì)量可提高25%以上，新增了屏幕顯示菜單OSD前處理功能，能夠更好地兼顧主流市場和新興應(yīng)用的實時編解碼需求。

其中，V510系列主要面向4K及以下視頻的應(yīng)用場景，最多可支持4核配置；V710系列則針對高端的8K視頻應(yīng)用場景，最多可支持8核配置。

據(jù)董峰介紹，“‘玲瓏’V510/V710 VPU采用了多核多格式編解碼融合的可編程處理架構(gòu)，單核的編碼或解碼性能可達到每秒4K60幀，能夠根據(jù)端、邊、云等不同場景需求，分別提供1-4核、4-8核等多種配置?！?/p>

他強調(diào)，傳統(tǒng)的編解碼分離架構(gòu)，編、解碼過程各自需要內(nèi)存資源。安謀科技在“玲瓏”VPU中采用了融合架構(gòu)，旨在通過內(nèi)部復(fù)用pipeline來減少資源消耗。在技術(shù)層面，通過加速器和數(shù)據(jù)流層級的優(yōu)化，并結(jié)合MCU控制而非純硬件控制的方式，可以適應(yīng)不同的數(shù)據(jù)流控制需求。

以“玲瓏”V710為例，架構(gòu)中集成有5個MCU，MCU上運行的固件是架構(gòu)實現(xiàn)靈活性的重要原因。這相當于不同的MCU對應(yīng)控制不同的硬件加速器，在spec分析階段，考慮哪些可以固化、哪些可以通過靈活的軟件配置實現(xiàn)。正因如此，“玲瓏”V510/V710 VPU在大幅節(jié)省存儲空間及帶寬成本的同時，還能按需配置，確保系統(tǒng)性能、功耗和面積的最佳平衡。

“玲瓏”V710架構(gòu)圖

在周華看來，芯片一旦流片后，改動的代價非常大。而固件可以在流片后繼續(xù)進行調(diào)整優(yōu)化，比如碼率控制、編碼質(zhì)量的優(yōu)化等，甚至一些硬件bug都可以通過固件來解決，且調(diào)優(yōu)效率更高。此外，固件負擔了和硬件交互的一些工作，也極大地緩解了主CPU的工作量。

不過，MCU固件在帶來靈活性的同時，也增加了大量的驗證工作，需要投入的資源非常多，這也是該架構(gòu)的門檻所在。“VPU在某種程度上類似于SoC，專注于業(yè)務(wù)場景的數(shù)據(jù)流管理。安謀科技在這方面擁有強大的系統(tǒng)級架構(gòu)設(shè)計能力，尤其在IP層面的系統(tǒng)化設(shè)計上具有優(yōu)勢”，董峰強調(diào)。

為了實現(xiàn)多核并行和性能的線性提升，“玲瓏”V510/V710 VPU還創(chuàng)新性地在數(shù)據(jù)處理任務(wù)中實施條帶級劃分，從而更細致地分解和考量架構(gòu)，實現(xiàn)了多核并行處理和性能的線性提升，同時顯著提高了面積效率。在實際應(yīng)用中，“玲瓏”V510/V710 VPU可以根據(jù)客戶需求進行靈活配置，快速響應(yīng)需求。

為幫助開發(fā)者基于各種視頻編解碼標準進行快速部署，“玲瓏”V510/V710 VPU還提供了一整套完備的固件工具及軟件支持，憑借軟硬件交互的架構(gòu)設(shè)計，開發(fā)者后續(xù)還可通過軟件升級對既有硬件進行靈活擴展和優(yōu)化。

目前，國內(nèi)頭部的互聯(lián)網(wǎng)內(nèi)容商已經(jīng)開始在H.266標準層面上展開相應(yīng)的部署，包括H.266數(shù)據(jù)流、從端側(cè)到云端的轉(zhuǎn)碼等，主要是在低碼率以及帶寬變化比較頻繁的場景下，通過H.266技術(shù)帶給用戶更好的實際場景感受。“H.266很可能會成為我們的抓手，明年在客戶產(chǎn)品布局上會發(fā)揮更大的作用“，周華表示。

據(jù)了解，“玲瓏”VPU系列面世超過三年，目前已授權(quán)30多家國內(nèi)合作伙伴，并應(yīng)用于手機終端、PC、智能汽車、智能安防等主流場景。此外，2023年推出的Arm智能視覺參考設(shè)計也集成了“玲瓏”VPU，支持緊湊的、多格式且高效能的視頻編解碼處理。

承擔多媒體產(chǎn)品的“歷史包袱”，賦能本土應(yīng)用創(chuàng)新

回顧從業(yè)經(jīng)歷，周華不無感慨地說，“我在十二三年前成為了一名VPU工程師，應(yīng)該是國內(nèi)首批VPU工程師，對多媒體產(chǎn)品的‘歷史包袱’深有體會。這主要體現(xiàn)在視頻格式和視頻標準的持續(xù)演進，為了實現(xiàn)更小的芯片面積，一個IP往往需要兼容以往的十幾、二十幾種格式，并且每新增一種格式，編、解碼都要重新驗一遍，這個工作量非常龐大，對設(shè)計能力有較大的挑戰(zhàn)?！?/p>

理解并應(yīng)對這些“歷史包袱”對于多媒體產(chǎn)品的持續(xù)發(fā)展至關(guān)重要，“玲瓏”多媒體產(chǎn)品線就在這樣承前啟后的布局中不斷實現(xiàn)了迭代、升級。

周華表示，“‘玲瓏’的成長，其實也是安謀科技自研業(yè)務(wù)持續(xù)進化的一個縮影。通過立足本土市場和客戶需求進行針對性布局，全面發(fā)揮Arm技術(shù)體系的技術(shù)基因和生態(tài)優(yōu)勢，我們能夠從IP上游視角和系統(tǒng)化思維出發(fā)進行全局考量和協(xié)同創(chuàng)新，這是我們不斷成長的關(guān)鍵。要解決歷史遺留問題，這決不是任何一個廠商能依靠單一技術(shù)實力做到的，我們始終在打造基于技術(shù)標準的多樣性和歷史性的技術(shù)生態(tài)。如今，多媒體產(chǎn)業(yè)迎來新的窗口期，作為IP廠商，我們希望賦能更多場景的客戶?！?/p>

談及在中國龐大的多媒體市場中的定位，周華認為安謀科技既是“學徒”，又是“標兵”。從行業(yè)特點看，多媒體業(yè)務(wù)面向的是一個高度碎片化的市場，客戶既要求標準化和適用性，便于快速研發(fā)和靈活擴展；同時也要求一定的差異性，針對特定的市場進行創(chuàng)新。這就需要與客戶密切溝通，可以說客戶是“師傅”，安謀科技是“學徒”，將客戶的行業(yè)實踐積累和自身IP技術(shù)積累進行疊加，實現(xiàn)優(yōu)勢互補。

另一方面，AI、智駕智艙等新技術(shù)，為本土產(chǎn)業(yè)鏈打開了新的增長空間。同時，基于圖像和視頻的數(shù)字多媒體技術(shù)也在不斷發(fā)展和普及，成為終端智能化升級的“加速器”。“巨大的機遇面前，安謀科技希望能夠做好‘標兵’，為本土客戶提供多元化且符合本土產(chǎn)業(yè)需求的產(chǎn)品和解決方案，助力國產(chǎn)芯片廠商在多媒體技術(shù)領(lǐng)域?qū)崿F(xiàn)創(chuàng)新發(fā)展”，周華強調(diào)。