性能提升近一倍！壁仞科技攜手無問芯穹，在千卡訓(xùn)練集群等領(lǐng)域取得技術(shù)新突破

隨著智能算力需求的倍增，到2024年，千卡算力集群已成為國內(nèi)大模型訓(xùn)練的必備場景。壁仞科技，作為國內(nèi)少數(shù)擁有原創(chuàng)訓(xùn)推一體架構(gòu)的高端算力芯片廠商之一，與在AI算力市場具有重要影響力的無問芯穹在千卡訓(xùn)練集群、大模型推理服務(wù)等領(lǐng)域開展了深度的研發(fā)合作。

近日，經(jīng)壁仞科技與無問芯穹聯(lián)合研發(fā)攻關(guān)，成功將壁仞科技的千卡規(guī)模訓(xùn)練集群在無問芯穹Infini-AI異構(gòu)云平臺(tái)上進(jìn)行納管和調(diào)度，已實(shí)現(xiàn)并完整驗(yàn)證了彈性容錯(cuò)、異常節(jié)點(diǎn)探測、檢查點(diǎn)保存與加載、斷點(diǎn)續(xù)訓(xùn)四大功能。

與此同時(shí)，基于壁仞科技BIRENSUPA??軟件工具鏈和無問芯穹大模型訓(xùn)練引擎，雙方通過并行策略層和計(jì)算加速層優(yōu)化，持續(xù)深挖壁仞大算力優(yōu)勢，在壁仞科技GPU上實(shí)現(xiàn)了LLM模型訓(xùn)練性能提升近1倍。

在大模型推理服務(wù)方面，壁仞科技最新發(fā)布的高性能、低功耗壁礪110E推理卡在同機(jī)架高度下，AI算力密度最高可達(dá)到市場主流云端PCIE8卡服務(wù)器方案的1.3倍以上。此外，能耗節(jié)省達(dá)70%，顯著降低整體系統(tǒng)的總擁有成本。

當(dāng)前，壁礪110E推理卡已在無問芯穹Infini-AI異構(gòu)云平臺(tái)的GenStudio大模型服務(wù)平臺(tái)中上線，可廣泛應(yīng)用于大模型多模態(tài)生成、圖像及語音識(shí)別、自然語言處理、搜索與推薦等人工智能推理應(yīng)用場景，支持大規(guī)模分布式推理。在基于壁礪110E的多級(jí)推理平臺(tái)上，結(jié)合無問芯穹GenStudio精選模型開放API，已經(jīng)形成文生圖/圖生圖的秒級(jí)出圖、多模態(tài)大型語言模型（LLM）圖文交互和圖像理解、移動(dòng)端聊天應(yīng)用等多個(gè)大模型推理應(yīng)用場景的商業(yè)級(jí)用戶業(yè)務(wù)支撐能力。

壁礪110E GPGPU卡

目前，壁仞科技的“壁礪106系列”和“壁礪110系列”GPU產(chǎn)品已完成與無問芯穹Infini-AI異構(gòu)云平臺(tái)的全面接入。這些產(chǎn)品支持中間層、大模型算法庫、工具庫和應(yīng)用層的分級(jí)部署、管理、加速等平臺(tái)能力，以及各項(xiàng)優(yōu)化策略。未來，雙方將繼續(xù)攜手，在大規(guī)模自主可控智能算力集群優(yōu)化與運(yùn)營等方面深化合作，進(jìn)一步提升面向商業(yè)化算力客戶場景的聯(lián)合服務(wù)水平。

壁仞科技作為國內(nèi)領(lǐng)先的GPU芯片廠商，秉承“擔(dān)當(dāng)、卓越、協(xié)作、創(chuàng)新、務(wù)實(shí)、共贏”的價(jià)值觀，不斷提升技術(shù)競爭力，并與合作伙伴攜手，從實(shí)際用戶需求出發(fā)，致力于打造性能卓越且具有高性價(jià)比的國產(chǎn)AI訓(xùn)練集群方案。