256TOPS算力+超大存儲帶寬，燧原第二代云端AI推理卡來了，性能比肩7nm GPU

燧原科技第一代產(chǎn)品規(guī)?；涞兀诙a(chǎn)品走向量產(chǎn)，第三代產(chǎn)品已經(jīng)啟動設(shè)計。

智東西12月7日報道，今日，AI芯片獨(dú)角獸燧原科技正式推出其第二代云端AI推理加速卡云燧i20。這距離燧原科技發(fā)布其第二代云端AI訓(xùn)練加速卡“云燧T20”，僅僅相隔5個月。云燧i20的發(fā)布，標(biāo)志著燧原科技在云端AI算力加速領(lǐng)域，從訓(xùn)練到推理的完整產(chǎn)品線已全面迭代到第二代。

▲燧原科技CEO趙立東和COO張亞林發(fā)布第二代云端AI推理產(chǎn)品

據(jù)悉，云燧i20是業(yè)內(nèi)首個擁有超大存儲帶寬的AI推理加速卡，其單精度張量TF32峰值算力達(dá)128TFLOPS，整型INT8峰值算力達(dá)256TOPS?；陟菰萍嫉淖灾鲃?chuàng)新芯片架構(gòu)，采用12nm工藝制造的新一代“邃思”AI推理芯片實現(xiàn)了媲美業(yè)內(nèi)7nm GPU的計算能力，并可在相同性能表現(xiàn)下提供更高性價比。

很難想象，僅用三年多的時間，燧原科技便憑借極強(qiáng)的團(tuán)隊執(zhí)行力、高效的研發(fā)落地能力，連續(xù)迭代兩代、三款云端AI芯片，在數(shù)十家云端AI芯片玩家中脫穎而出。

如今，搭載第一代邃思芯片的集群規(guī)模落地，其第一代訓(xùn)練及推理產(chǎn)品已產(chǎn)生過億訂單及收入，云燧i20加速卡將于明年第二季度量產(chǎn)。燧原科技累計融資超30億元，其團(tuán)隊也完成新的組織調(diào)整，團(tuán)隊規(guī)模從年初的約400人增至逾650人。它是怎樣做到的？近日，智東西對話燧原科技創(chuàng)始人兼COO張亞林，以期更深層次地了解這個中國AI芯片賽道中尤為獨(dú)特的樣本。

▲燧原科技全新一代“邃思”云端AI推理芯片

01.對標(biāo)業(yè)內(nèi)旗艦GPU訓(xùn)練&推理產(chǎn)品全面進(jìn)入2.0階段

新一代“邃思”云端AI推理芯片和云燧2.0加速卡，讓燧原科技在2.0階段完成了閉環(huán)。“性能趕超業(yè)內(nèi)旗艦GPU的云燧i20正是我們的關(guān)鍵成果之一。”燧原科技CEO趙立東說，“當(dāng)前，我國芯片產(chǎn)業(yè)正處于激烈的成長與蛻變時代。燧原科技以「做大芯片，拼硬科技」時代使命，基于原始創(chuàng)新的軟硬件架構(gòu)，正在不斷加速技術(shù)創(chuàng)新與產(chǎn)品迭代。”

從2018年3月成立至今，燧原科技整個團(tuán)隊像齒輪般嚴(yán)密地咬合轉(zhuǎn)動，精準(zhǔn)執(zhí)行了產(chǎn)品路線圖。在燧原1.0階段，燧原成立18個月即推出第一代云端訓(xùn)練產(chǎn)品，實現(xiàn)從0到1的破冰。如今其第一代訓(xùn)練及推理產(chǎn)品已規(guī)?；涞?，它從客戶處收集到的需求反饋，正被輸入到第二代產(chǎn)品中。2020年，“從1到N”的燧原2.0階段順利推進(jìn)，陸續(xù)完成新融資、集群商用落地、第一代推理產(chǎn)品量產(chǎn)發(fā)布等重要節(jié)點(diǎn)。同年4月，燧原正式啟動新一代“邃思”AI推理芯片及云燧i20的研發(fā)。

自立項起，燧原便定下目標(biāo)，第二代推理產(chǎn)品性能要達(dá)到國際友商前一代旗艦的2.5倍以上，大部分打平甚至在某些方面超越友商的新旗艦產(chǎn)品。為了達(dá)成一年流片的目標(biāo)，燧原將從前期架構(gòu)、設(shè)計、集成、驗證、模擬、軟件適配到量產(chǎn)等全流程分解成多個收斂階段，通過全體工程團(tuán)隊高度協(xié)同、精準(zhǔn)合作，確保每一步按期作業(yè)。應(yīng)對來自晶圓、基板、材料及測試設(shè)備等各層面的全球供應(yīng)鏈挑戰(zhàn)，燧原密集地與全球供應(yīng)商進(jìn)行前期溝通，努力解決意料之外的供應(yīng)鏈問題，最終如期完成計劃。

▲燧原科技第二代云端AI推理卡云燧i20

據(jù)張亞林分享，在多項基準(zhǔn)測試中，云燧i20加速卡的模型性能、能效比均處于國內(nèi)領(lǐng)先水平。浪潮信息與燧原科技通過元腦生態(tài)聯(lián)合創(chuàng)新，在AI整機(jī)系統(tǒng)、AI算力優(yōu)化、場景方案落地等多方面深入合作。浪潮信息副總裁劉軍評價道：“此次云燧i20的發(fā)布，標(biāo)志著燧原從訓(xùn)練到推理全面進(jìn)入2.0時代，這也是國產(chǎn)AI算力發(fā)展的里程碑。”

02.業(yè)內(nèi)首個超大帶寬推理加速卡打出軟硬協(xié)同系統(tǒng)組合拳

與第一代推理產(chǎn)品云燧i10相同，云燧i20主要面向泛互聯(lián)網(wǎng)、傳統(tǒng)行業(yè)和新基建等賽道。該AI推理加速卡支持視覺檢測跟蹤分類、語音識別與合成、自然語言處理等主流AI應(yīng)用場景，并進(jìn)一步提升了模型覆蓋和泛化支持能力。搭載于云燧i20的新一代“邃思”采用12nm工藝、第二代高性能計算核心和數(shù)據(jù)引擎，通過升級其自研架構(gòu)GCU-CARA（通用計算單元和全域計算架構(gòu)），大大提高了單位面積的晶體管效率，實現(xiàn)堪與當(dāng)前業(yè)內(nèi)7nm GPU匹敵的計算能力。

得益于12nm成熟工藝帶來的成本優(yōu)勢，云燧i20在相同性能表現(xiàn)下更具性價比優(yōu)勢，且供應(yīng)鏈體系更加穩(wěn)定成熟，能及時滿足客戶的業(yè)務(wù)需求。從算力規(guī)格來看，其目標(biāo)實現(xiàn)得相當(dāng)不錯：

計算方面，云燧i20全面支持從FP32、TF32、FP16、BF16到INT8的計算精度，并在兼顧全精度算力的同時，大幅提高了整型運(yùn)算。

其單精度FP32峰值算力達(dá)到32TFLOPS，單精度張量TF32峰值算力達(dá)到128TFLOPS，整型INT8峰值算力達(dá)到256TOPS。通過軟硬件技術(shù)多重優(yōu)化，云燧i20大幅提升了推理性能，浮點(diǎn)算力較云燧i10提升到1.8倍，整型算力提升到3.6倍。與主流旗艦GPU相比，云燧i20的模型性能可以對標(biāo)英偉達(dá)A10，是T4的2.5~3倍，并在性能深度優(yōu)化能力、成本方面更具優(yōu)勢。

存儲方面，云燧i20擁有迄今業(yè)內(nèi)最大的云端AI加速卡存儲帶寬。此前燧原科技第二代云端AI訓(xùn)練芯片在國內(nèi)率先支持HBM2E高帶寬存儲方案。如今云燧i20推理加速卡更進(jìn)一步，基于HBM2E可提供超越同類產(chǎn)品水平的819GB/s超大存儲帶寬，為各類云端推理業(yè)務(wù)提供高吞吐、低延時的性能。

如今神經(jīng)網(wǎng)絡(luò)參數(shù)越來越多，無論是語音識別、圖片識別、視頻內(nèi)容分析等感知類應(yīng)用，還是內(nèi)容推薦、欺詐交易攔截等決策類AI應(yīng)用，在云端大部分都是以實時在線的方式提供服務(wù)，對數(shù)據(jù)帶寬的需求不斷上漲。而速度更快、密度更高的內(nèi)存，有助于高端處理器兼顧高帶寬和低延遲，保障AI相關(guān)服務(wù)準(zhǔn)確、平穩(wěn)、高效的運(yùn)行。

軟件方面，根據(jù)客戶反饋的需求，燧原將其推理軟件棧馭算進(jìn)一步升級，使其在性能、開發(fā)效率和模型覆蓋面上得到大幅提升。

馭算引入了通用高層圖優(yōu)化和大規(guī)模算子融合技術(shù)，充分釋放了大容量片內(nèi)存儲和高帶寬存儲的利用率，將模型平均性能提升3.5倍，硬件算力利用率平均提升2倍。

為了更加匹配客戶開發(fā)習(xí)慣，馭算通過升級的編程模型以及算子自動分片、自動生成技術(shù)，使得自定義算子開發(fā)效率翻倍，大大降低模型遷移成本。馭算還增強(qiáng)了對動態(tài)性的支持，使云燧i20在檢測、語音識別、語義理解等場景更具競爭力。

在經(jīng)濟(jì)效益和部署靈活性層面，基于虛擬化和多實例加速技術(shù)，云燧i20能夠?qū)崿F(xiàn)單卡多用戶，同時支持6個業(yè)務(wù)互不干擾、安全隔離運(yùn)行。這讓更多云端推理應(yīng)用同時享受專有的算力加速，為客戶業(yè)務(wù)架構(gòu)帶來輕耦合、靈活可靠的實現(xiàn)方式，顯著提升資源利用率與投入產(chǎn)出比。作為一家數(shù)據(jù)中心基礎(chǔ)設(shè)施提供商，燧原科技已經(jīng)能提供包括算力、數(shù)據(jù)、存儲、互聯(lián)在內(nèi)的一系列系統(tǒng)化解決方案。

03.一代落地、二代量產(chǎn)、三代設(shè)計高效滾動式研發(fā)背后的三大核心競爭力

對于創(chuàng)業(yè)公司來說，云端AI芯片是難攻的高地。一方面，芯片研發(fā)有高壁壘、高成本、低容錯率等特征，任何一個環(huán)節(jié)出現(xiàn)差池，此前投入的數(shù)千萬資金就可能通通打水漂。

另一方面，NVIDIA獨(dú)霸云端AI訓(xùn)練市場，英特爾不斷強(qiáng)化CPU的AI推理性能，其技術(shù)和生態(tài)壁壘均十分深厚。面對殘酷的市場環(huán)境，燧原科技一路高舉高打，快速迭代研發(fā)落地，第一代產(chǎn)品還未量產(chǎn)，第二代產(chǎn)品已經(jīng)開始滾動式研發(fā)。

是怎樣的底氣，讓燧原無懼風(fēng)險，制定如此緊密的產(chǎn)品迭代周期？張亞林將燧原科技的核心競爭力歸納為三點(diǎn)：迭代快、系統(tǒng)化、成熟配置。首先，天下武功，唯快不破。云端AI產(chǎn)品具有共享的、多用戶等特征，每個客戶有差異化的場景及業(yè)務(wù)模型，與對AI芯片架構(gòu)的通用性提出了更高要求。相比芯片采用幾納米工藝、什么技術(shù)，云端AI客戶更關(guān)注遷移成本、降本增效和性價比是否能達(dá)到自身應(yīng)用的要求。

“當(dāng)我們開始工程化AI產(chǎn)品的時候，一定要把客戶的終極訴求和用戶使用習(xí)慣帶進(jìn)去，而不是一味地講紙面參數(shù)。”張亞林認(rèn)為，只有進(jìn)入客戶整個業(yè)務(wù)系統(tǒng)，才能夠真正理解其需求。因此，對于一家創(chuàng)業(yè)公司，最重要的不是產(chǎn)品參數(shù)，而是盡快觸達(dá)客戶，拿到反饋，再將其優(yōu)化思路應(yīng)用到下一代產(chǎn)品中，通過快速迭代，把芯片與工具鏈打磨至成熟，并構(gòu)筑自家客戶生態(tài)。

燧原科技即是按照這樣的邏輯，緊鑼密鼓地推進(jìn)產(chǎn)品迭代：當(dāng)前其第一代產(chǎn)品規(guī)?；涞?，第二代產(chǎn)品走向量產(chǎn)，第三代產(chǎn)品已經(jīng)啟動設(shè)計。隨著其第二代訓(xùn)練及推理產(chǎn)品成熟，燧原科技可以針對客戶的業(yè)務(wù)場景，提供具有高性能及性價比的“訓(xùn)練+推理”完整解決方案，并支持國產(chǎn)服務(wù)器和操作系統(tǒng)，幫助客戶進(jìn)行云端系統(tǒng)部署。

其次，燧原科技已經(jīng)成長為一家AI系統(tǒng)提供商，儲備了比純芯片供應(yīng)商更廣泛的能力。在云端數(shù)據(jù)中心，AI的發(fā)展不再局限于單點(diǎn)的軟件或硬件，計算范式正趨于系統(tǒng)化、集成化。這要求AI公司不僅能提供AI基礎(chǔ)設(shè)施，也要能提供更高集成度、性價比和能效比的系統(tǒng)，更便捷易用的軟件和用戶界面，從而提升用戶的生產(chǎn)力。因此，燧原科技從系統(tǒng)的角度思考AI落地，持續(xù)布局整個數(shù)據(jù)中心的新技術(shù)，包括集群互連方式、分布式計算拓?fù)浣Y(jié)構(gòu)、高級封裝、先進(jìn)制程及軟硬件全棧的高階編譯等。

這些先進(jìn)技術(shù)，構(gòu)成了燧原快速迭代產(chǎn)品的護(hù)城河。在此支撐下，燧原循序漸進(jìn)地搭建出一支包含芯片、板卡、集群、軟件全棧的完整建制團(tuán)隊，以超強(qiáng)執(zhí)行力快速推進(jìn)整體的系統(tǒng)優(yōu)化，并通過計算、數(shù)據(jù)、存儲、互聯(lián)四個維度的平衡，將產(chǎn)品成本結(jié)構(gòu)牢牢控制在自己手中。在千卡液冷集群方面，燧原科技與之江實驗室合作的1280卡高性能計算液冷集群方案正在部署，該集群采用燧原科技第一代人工智能訓(xùn)練產(chǎn)品“云燧T11”，計劃打造符合國家碳中和政策導(dǎo)向的低碳綠色數(shù)據(jù)中心。張亞林稱：“這是我們在整個系統(tǒng)化方面走出的堅實一步。”

燧原的第三重核心競爭力，是完成了燧原2.0組織、人才、流程、規(guī)范制度的全方位底層構(gòu)建，已具備一家較成熟公司的配置。AI芯片流片回來，僅僅走完芯片工程化的30%，另外70%的路要靠工程化、量產(chǎn)化，推動其走向業(yè)務(wù)落地和交付。這背后，要兌現(xiàn)對客戶的承諾，離不開一個成熟組織架構(gòu)的支撐。

目前燧原的研發(fā)組織、供應(yīng)鏈、IT部門、商務(wù)部門、客戶支持部門及運(yùn)營支持團(tuán)隊均組建完備，使其運(yùn)營底座能夠支撐一、二、三代產(chǎn)品間的交疊，從而支持更大范圍的客戶落地。這就形成了一個閉環(huán)。由客戶需求驅(qū)動技術(shù)更新，將技術(shù)價值附著在產(chǎn)品價值上，隨著產(chǎn)品規(guī)模化落地，再快馬加鞭地將客戶反饋融入下一代產(chǎn)品設(shè)計中，進(jìn)而驅(qū)動產(chǎn)品價值的迭代升級。

04.下一代產(chǎn)品將采用更先進(jìn)工藝三個核心生態(tài)已打好地樁

自第一代云端AI推理加速卡云燧i10發(fā)布，燧原科技便著力構(gòu)建原始創(chuàng)新的通用算力和自主生態(tài)。以其國產(chǎn)AI算力產(chǎn)品為核心，以商業(yè)生態(tài)和科研生態(tài)為支撐，燧原科技的云端AI訓(xùn)練及推理產(chǎn)品已實現(xiàn)在國家重點(diǎn)實驗室、互聯(lián)網(wǎng)、智慧城市、智慧金融等多家客戶的商業(yè)落地。

例如在智慧金融領(lǐng)域，燧原科技與上海銀行展開戰(zhàn)略合作，助力上海銀行實現(xiàn)數(shù)字化、智能化轉(zhuǎn)型，將金融科技融入銀行服務(wù)的全流程來優(yōu)化其客戶體驗和服務(wù)品質(zhì)。張亞林也透露了燧原科技的下一步計劃。此前其第一代、第二代芯片均采用12nm工藝，第三代產(chǎn)品則將步入更先進(jìn)的工藝及封裝方式。

盡管頭部IP廠商已經(jīng)推出頗具競爭力的AI加速核心，但張亞林并不為此感到擔(dān)心。相較會造成同質(zhì)化的第三方IP，他相信：“AI最好的架構(gòu)一定誕生在自己的軟硬件聯(lián)合設(shè)計和原生體系之中。”明年燧原科技有兩個重要目標(biāo)：一是更大規(guī)模地落地燧原2.0產(chǎn)品，實現(xiàn)預(yù)期的客戶泛化和商業(yè)價值；二是按照產(chǎn)品路線圖推進(jìn)產(chǎn)品迭代，用更好的技術(shù)和架構(gòu)，在后續(xù)產(chǎn)品中更大化客戶價值。

“我們希望用三年的時間，初步達(dá)成對整個數(shù)據(jù)中心解決方案的統(tǒng)一集成，再用五年，實現(xiàn)從整個用戶界面來看，燧原的數(shù)據(jù)中心解決方案是易用、好用、可以遷移的。”張亞林說。至于如何拓展生態(tài)，張亞林認(rèn)為，從客戶視角思考產(chǎn)品，實現(xiàn)產(chǎn)品可用性，然后才到易用性、可遷移性和可維護(hù)性，是為關(guān)鍵。芯片公司必須非常關(guān)注需求端的前瞻趨勢，包括新的AI算法和應(yīng)用、新的軟硬件技術(shù)，并將相應(yīng)的前瞻性技術(shù)納入到未來產(chǎn)品設(shè)計范疇中，與業(yè)內(nèi)更加通用的、更加前瞻的技術(shù)生態(tài)接軌。

目前燧原科技聚焦于三個生態(tài)建設(shè)：客戶生態(tài)、產(chǎn)品和行業(yè)生態(tài)、技術(shù)生態(tài)。其中，硬件技術(shù)生態(tài)是燧原一直以來的優(yōu)勢，燧原與EDA商、封裝、測試、制造、晶圓商等緊密合作，在包含先進(jìn)集成、封裝及各種高端IP開發(fā)的整個技術(shù)生態(tài)上持續(xù)積累。

燧原科技與上海交大、西安交大、之江實驗室等高校在構(gòu)建通用異構(gòu)計算生態(tài)方面的合作，也都是有的放矢，將為其軟件技術(shù)生態(tài)的增強(qiáng)提供助力。在客戶生態(tài)方面，燧原盡快讓更多不同類型的客戶用起來，在泛互聯(lián)網(wǎng)、傳統(tǒng)行業(yè)、新基建以及產(chǎn)學(xué)研各業(yè)務(wù)線上均已逐步構(gòu)建客戶群和客戶生態(tài)，并持續(xù)收集更多反饋。在產(chǎn)品和行業(yè)生態(tài)方面，燧原與芯片、板卡、服務(wù)器OEM/ODM提供商、云服務(wù)商CSP、算法集成商ISV等均有良好對接，隨著客戶生態(tài)不斷擴(kuò)大，整個行業(yè)生態(tài)也在不斷泛化。

05.結(jié)語：云端數(shù)據(jù)中心日新月異國產(chǎn)AI芯片大有可為

隨著國家加大對科技創(chuàng)新的支持力度，AI芯片發(fā)展進(jìn)入快速通道。無論是更多資本涌向創(chuàng)企，還是芯片巨頭、互聯(lián)網(wǎng)巨頭及更多創(chuàng)業(yè)新秀悉數(shù)入局，都共同撐起云端AI芯片產(chǎn)業(yè)的繁榮。

云端數(shù)據(jù)中心日新月異，新的數(shù)據(jù)中心計算范式正在形成，各類計算、數(shù)據(jù)、存儲、互聯(lián)、視頻加速等解決方案，均有長足發(fā)展空間。“因為這個市場足夠大，我覺得機(jī)會和窗口都還在。”張亞林預(yù)測云端AI芯片市場未來兩三年會出現(xiàn)頭部效應(yīng)，這將給新進(jìn)入的廠商一定壓力，但最終能否通過市場考驗，還是要看產(chǎn)品賦能客戶的速度。

在張亞林看來，任何技術(shù)路線都可能打造出優(yōu)秀的用戶產(chǎn)品，關(guān)鍵在于理解AI應(yīng)用場景的本質(zhì)和規(guī)律，選擇與市場定位匹配的架構(gòu)，真正為客戶帶來AI生產(chǎn)力的提升。因此，創(chuàng)業(yè)者們應(yīng)更加關(guān)注客戶價值及產(chǎn)品落地，盡早打磨產(chǎn)品基本面。“我很期待更多的AI公司走向商業(yè)化之后更好地滿足客戶需求，共同把這個行業(yè)的生態(tài)推動起來。”

作者 |  心緣
編輯 |  漠影