VPU的春天

隨著5G、移動(dòng)端視頻、云游戲、云桌面、VR/AR、元宇宙等行業(yè)的高速擴(kuò)張，市場對專用視頻處理芯片的需求呈現(xiàn)爆發(fā)式增長。近日，騰訊宣布自研的視頻編解碼芯片“滄?！币呀?jīng)量產(chǎn)并投用數(shù)萬片。AMD則宣布推出采用5 納米工藝的視頻處理單元，以應(yīng)對機(jī)器視覺識別時(shí)代的到來。還有消息稱，英特爾將在新推出的第14代酷睿處理器中集成VPU(Video Processing Unit，視頻處理單元）。在以機(jī)器視覺為基礎(chǔ)的人工智能時(shí)代，經(jīng)典計(jì)算結(jié)構(gòu)中的CPU+GPU體系越來越無法滿足海量視頻業(yè)務(wù)處理的需求，專用視頻處理芯片VPU將蓬勃發(fā)展。

眾多公司投注視頻處理芯片

互聯(lián)網(wǎng)內(nèi)容不斷更新迭代，直播、點(diǎn)播、短視頻等視頻應(yīng)用正在“侵蝕”各個(gè)年齡層。據(jù)估算，視頻流媒體內(nèi)容將占到互聯(lián)網(wǎng)流量的80%。與此同時(shí)，用戶對超高清視頻的追求也越來越高。這些變化帶來了對編解碼算力的更多需求。

“傳統(tǒng)上，視頻流媒體業(yè)務(wù)主要由CPU和軟件提供支持。因?yàn)閭鹘y(tǒng)的直播活動(dòng)主要采取一對多的模式，視頻流數(shù)量比較少，時(shí)延相對可控，因而采用傳統(tǒng)方式是可以支持直播服務(wù)的。”AMD視頻戰(zhàn)略與市場開發(fā)主管Sean Gardner表示，“但隨著時(shí)代的發(fā)展，越來越多的直播場景開始采用多對多模式，即每個(gè)人都是主播，他們既是數(shù)據(jù)源，也是接收器，衍生出連線觀賞、直播購物、在線拍賣和社交流媒體等復(fù)雜多樣的應(yīng)用場景。繁復(fù)的應(yīng)用場景要求數(shù)據(jù)的處理更加貼近用戶，原先的視頻處理方式已經(jīng)難以滿足需求，要求專用的視頻處理單元、更強(qiáng)的算力支持，以適應(yīng)新的變化?！?/p>

已經(jīng)有越來越多的公司將目光投到視頻處理芯片VPU之上。近日，騰訊宣布其在2022年3月順利點(diǎn)亮的視頻編解碼芯片“滄?！币呀?jīng)量產(chǎn)并投用數(shù)萬片，應(yīng)用于云游戲、直點(diǎn)播等場景中。通過將視頻預(yù)分析計(jì)算單元卸載到硬件中，滄海芯片可以大幅減少高密度轉(zhuǎn)碼場景下任務(wù)對CPU的依賴，進(jìn)一步提升轉(zhuǎn)碼性能。

英特爾也對視頻處理與機(jī)器視覺業(yè)務(wù)非常重視，去年進(jìn)入獨(dú)立顯卡市場，推出高性能GPU。近日則有消息稱，在今年下半年推出的第14代酷睿Meteor Lake上，英特爾會(huì)首次使用多芯片整合封裝，同時(shí)增加一顆新的視覺計(jì)算單元VPU，以大幅提升視覺處理與AI性能，降低功耗。

AMD也于日前推出一款面向大規(guī)模直播互動(dòng)流媒體的加速器Alveo MA35D，集成兩顆VPU，采用5納米工藝，可支持32路1080p60的轉(zhuǎn)碼密度。此外，谷歌、百度、騰訊等互聯(lián)網(wǎng)大廠均投身視頻處理芯片的自研。

對此，安謀科技（中國）有限公司VPU產(chǎn)品經(jīng)理董峰表示：“視頻應(yīng)用越來越多，使得VPU的市場規(guī)模也不斷增長。目前除去部分傳感器與通用MCU之外，幾乎多數(shù)處理器芯片都具有視頻處理的功能?！绷頁?jù)市調(diào)機(jī)構(gòu)Yole預(yù)計(jì)，到2025年VPU市場規(guī)模將達(dá)18.5億美元。

人工智能與VPU將深度融合

ChatGPT正在全球范圍內(nèi)引發(fā)新一波的AI熱潮，然而大語言模型能夠直接驅(qū)動(dòng)的算力增長實(shí)際上相對有限，未來70%～80%的AI計(jì)算任務(wù)將發(fā)生在機(jī)器視覺與多模態(tài)領(lǐng)域。這就使得專用的視頻處理單元與AI運(yùn)算能力相結(jié)合成為發(fā)展的主要方向。

“我們在Alveo MA35D開發(fā)過程中引入了人工智能分析視頻的內(nèi)容，能夠更好地理解視頻特點(diǎn)，比如視頻的復(fù)雜程度如何、類型如何，是合成的電腦游戲，還是真實(shí)內(nèi)容。有了人工智能獲得的洞見，人們能以更高的效率把這些動(dòng)態(tài)內(nèi)容傳導(dǎo)給編碼器。這樣的方式可以降低帶寬和存儲(chǔ)要求，提高效率?！盨ean Gardner說。

那么，現(xiàn)實(shí)當(dāng)中應(yīng)該如何實(shí)現(xiàn)AI與VPU兩種不同芯片技術(shù)的結(jié)合呢？根據(jù)董峰的介紹，業(yè)界通行的作法有兩個(gè)：一是集成專用的神經(jīng)網(wǎng)絡(luò)加速單元，另一種是將AI處理功能融入VPU當(dāng)中。

“對于互聯(lián)網(wǎng)公司來說，芯片成本往往不是其關(guān)注的重點(diǎn)，重點(diǎn)多是放在降低碼率上面。因而互聯(lián)網(wǎng)公司一般會(huì)選擇在開發(fā)VPU時(shí)融入AI能力。如果是面向終端企業(yè)開發(fā)，AI能力融在VPU當(dāng)中，這部分AI能力就不能被其他業(yè)務(wù)場景用到了，因而會(huì)更加傾向于單獨(dú)設(shè)計(jì)AI單元。”董峰表示。

Sean Gardner則提醒，人工智能和機(jī)器學(xué)習(xí)將扮演重要的角色，但互操作性導(dǎo)致對VPU的開發(fā)在短期內(nèi)不會(huì)全面轉(zhuǎn)向AI。同時(shí)AI的成本很高（是當(dāng)前技術(shù)的5倍），因此還需要謹(jǐn)慎部署。

汽車市場成新增長點(diǎn)

目前，視頻業(yè)務(wù)場景大致可劃分為云端與終端兩個(gè)方向。由于VPU的應(yīng)用領(lǐng)域與關(guān)聯(lián)場景密切聯(lián)系，因此VPU也基于云端與終端兩個(gè)應(yīng)用場景發(fā)展。

具體來看，近年來，云端視頻的應(yīng)用越來越普及，僅從實(shí)況直播市場來看，無論營收還是基礎(chǔ)設(shè)施的部署，增長都非常迅速，目前全球視頻市場超70%的份額由直播內(nèi)容主導(dǎo)。與此同時(shí)，終端對視頻處理能力的需求也在迅速爆發(fā)，越來越多的短視頻制作開始在終端設(shè)備上完成，智能手機(jī)越來越多地扮演內(nèi)容生產(chǎn)者的角色。這些均對視頻處理能力提出了新的需求。董峰表示：“一方面，在云端VPU越來越成為數(shù)據(jù)中心的一部分，以應(yīng)對海量視頻數(shù)據(jù)的加速需求；另一方面，在終端VPU與手機(jī)、安防監(jiān)控、AR/VR設(shè)備相結(jié)合，目的是提高設(shè)備的視頻編解碼性能，降低視頻處理所需功耗與時(shí)延?！?/p>

對于互聯(lián)網(wǎng)廠商來說，必須適配不同的終端設(shè)備，以提供相對統(tǒng)一的用戶體驗(yàn)。因?yàn)樵谥辈鼍爸校藗兿Ｍ吹降氖蔷哂邢鄬y(tǒng)一的清晰度、分辨率和時(shí)延的畫面。高端手機(jī)與低端手機(jī)的解碼能力有差別。這就要求互聯(lián)網(wǎng)廠商能夠基于不同手機(jī)進(jìn)行適配。對于終端設(shè)備廠商來說，要求能夠適應(yīng)多種互聯(lián)網(wǎng)格式，VPU要具有更強(qiáng)的兼容性，更強(qiáng)調(diào)解碼能力，低成本、低功耗與小尺寸等?？傊曨l內(nèi)容越來越多樣化，不同場景、不同內(nèi)容對VPU的要求各不相同。這對VPU開發(fā)者來說是一個(gè)挑戰(zhàn)。

除上述云端與終端兩大市場之外，汽車端的應(yīng)用需求正在迅速增長。汽車被認(rèn)為是繼智能終端、AIoT、安防監(jiān)控之后，VPU最具潛力的終端應(yīng)用場景。以自動(dòng)駕駛技術(shù)為例，障礙物檢測、障礙物跟蹤、交通信號燈檢測、車道線檢測、可駕駛區(qū)域分割、特征跟蹤、行人行為預(yù)測都需要對視頻內(nèi)容進(jìn)行處理，僅憑傳統(tǒng)PC/手機(jī)處理器已無法滿足機(jī)器視覺、深度學(xué)習(xí)的算力需求，需要專用VPU進(jìn)行處理。此外，智能座艙的需求潛力也不容忽視，無論是座艙視覺DMS，還是息娛樂系統(tǒng)（IVI）、行車記錄儀DVR，都有著巨大的發(fā)展?jié)摿Α?/p>

從產(chǎn)品開發(fā)角度來看，車載VPU在性能上沒有太大的差別，但是其更加強(qiáng)調(diào)安全性?！叭绻前惭b在汽車上，必須符合各種車規(guī)芯片的檢測要求?！倍鍙?qiáng)調(diào)。

作者丨陳炳欣

編輯丨邱江勇

美編丨馬利亞

監(jiān)制丨趙晨