電視上“見證奇跡的時刻”,背后是魔術(shù)師們精妙的手法和積年累月的練習(xí)。那些人們眼中天翻地覆的新技術(shù),也并非魔術(shù)一樣在瞬間發(fā)生,而是多年努力的結(jié)果。
中國在AI領(lǐng)域的發(fā)展讓世界矚目,特別是在大模型、自動駕駛和科學(xué)計算等關(guān)鍵領(lǐng)域,取得了顯著進(jìn)展。有人說,中國AI產(chǎn)業(yè)的飛躍,好像一場“魔術(shù)”,不知不覺間就領(lǐng)先世界了。其實不然。智能計算不同于傳統(tǒng)計算,需要堅實的基礎(chǔ)設(shè)施作為支撐。分布式存儲,就是其中之一。
在中國AI上演飛躍“魔術(shù)”之前,國內(nèi)廠商已經(jīng)在分布式存儲完成了“清場”,搭建了一個安全可靠、空間寬廣的AI舞臺。
賽迪顧問近期發(fā)布的《中國分布式存儲市場研究報告(2024)》顯示,AI、自動駕駛等新興智能場景,分布式存儲的占比最高。同時,國產(chǎn)存儲斷層領(lǐng)先。華為、中科曙光、聯(lián)通云呈現(xiàn)“強(qiáng)者愈強(qiáng)”態(tài)勢,在較大市場份額的基礎(chǔ)上,仍保持技術(shù)迭代創(chuàng)新,具有更強(qiáng)的競爭力。而Dell&EMC、NetApp、DDN等國外廠商發(fā)展則相對緩慢,在某些行業(yè)和場景中的優(yōu)勢不再突出。
去年AI大模型爆發(fā),很多人擔(dān)心大數(shù)據(jù)、大參數(shù)量,“存力”會不會成為中國發(fā)展AI的短板,會不會掣肘于海外供應(yīng)鏈,今天看來已經(jīng)完全不用擔(dān)心。
目前,全國大型智算中心、自動駕駛頭部客戶、AI大模型頭部客戶、頭部科教機(jī)構(gòu)客戶,都選擇了國產(chǎn)存儲廠商——曙光存儲。數(shù)據(jù)顯示,曙光存儲在AI、教育等細(xì)分市場排名第一,蟬聯(lián)國產(chǎn)分布式存儲市場的“領(lǐng)導(dǎo)者象限”。
由此可見,中國AI的飛躍,其實并非魔術(shù),前提條件之一,是國產(chǎn)存儲強(qiáng)勢“清場”,讓中國AI可以在安全可靠的先進(jìn)存力底座上,為我們帶來“見證奇跡的時刻”。
這場“魔術(shù)秀”究竟是怎么完成的?我們就來做“解謎人”,拆解一下中國逆襲AI、國產(chǎn)存儲先行的幕后故事。
AI魔術(shù)秀,為什么分布式存儲站C位?
為什么分布式存儲對于AI、自動駕駛等智能計算任務(wù),如此重要?可以用一個“魔術(shù)”來理解。
大家一定都看過魔術(shù)師將小球拋在空中的表演。手里只有一個球,就像集中式存儲,所有數(shù)據(jù)都存儲在單一的設(shè)備中,如果設(shè)備發(fā)生故障,就可能導(dǎo)致整個系統(tǒng)不可用,而且一旦數(shù)據(jù)訪問量增加,就可能面臨性能瓶頸,容易存不下、存不全。
拋多個球,就像分布式存儲,數(shù)據(jù)會分布在多個節(jié)點上,每個節(jié)點獨立管理自己的數(shù)據(jù),具有更高的冗余和可靠性,大量并發(fā)訪問可以通過靈活拓展來快速添加更多節(jié)點。
而AI任務(wù),就必須用到分布式存儲這樣多節(jié)點的復(fù)雜“拋球”技能了,為什么呢?
一是大數(shù)據(jù)量。業(yè)界已經(jīng)開始規(guī)劃萬億模型,如此龐大的數(shù)據(jù)與模型,分布式存儲系統(tǒng)的性價比、靈活拓展特性,可以提供充足的存儲空間。
二是高并發(fā)。大模型需要頻繁地讀取和調(diào)用數(shù)據(jù),其中還包括很多非結(jié)構(gòu)化數(shù)據(jù),需要并行讀寫能力。分布式存儲架構(gòu)允許數(shù)據(jù)在多個節(jié)點上并行讀取和寫入,大大提高了數(shù)據(jù)的訪問速度,這對于需要實時處理大量數(shù)據(jù)的AI計算任務(wù)來說至關(guān)重要。
三是高可靠性。大模型訓(xùn)練、科學(xué)計算模型、自動駕駛等任務(wù),一旦存儲系統(tǒng)出現(xiàn)故障,影響到數(shù)據(jù)的連續(xù)性和可用性,所帶來的金錢、時間和其他潛在損失是巨大的。分布式存儲能夠更好地滿足AI計算任務(wù)對系統(tǒng)可靠性的要求。
所以,分布式存儲逐漸成為智算中心、大模型、自動駕駛、AI for Science科學(xué)計算等領(lǐng)域的標(biāo)配。
一場精彩紛呈的“AI魔術(shù)秀”,分布式存儲是至關(guān)重要的環(huán)節(jié)之一。
數(shù)智中國舞臺國產(chǎn)存儲強(qiáng)勢“清場”
AI是很多國計民生行業(yè)及數(shù)智服務(wù)的技術(shù)基礎(chǔ),必須運行在自主研發(fā)、可靠可信的分布式存儲產(chǎn)品和基礎(chǔ)設(shè)施上。
挑戰(zhàn)在于,分布式存儲要協(xié)調(diào)和管理好多個存儲節(jié)點,保證業(yè)務(wù)連續(xù)性和高效運行,就像魔術(shù)師要同時讓多個小球在空中轉(zhuǎn)動,是個高難度技術(shù)活兒。國產(chǎn)廠商能擔(dān)此任嗎?
《中國分布式存儲市場研究報告(2024)》中提到,分布式存儲自研對團(tuán)隊能力要求較高,要重點關(guān)注面向應(yīng)用需求且具備核心自研技術(shù)的廠商,團(tuán)隊核心成員的科研履歷,以及公司既有分布式存儲產(chǎn)品部署的項目經(jīng)驗等。近年來,以曙光為代表的一批國內(nèi)存儲廠商,市場競爭力快速提升,逐漸站在了舞臺的中央,呈現(xiàn)“強(qiáng)者愈強(qiáng)”態(tài)勢。
國產(chǎn)存儲以顯著優(yōu)勢領(lǐng)先于海外廠商,在分布式存儲市場強(qiáng)勢“清場”,到底是怎么做到的?
我們不妨以曙光存儲為例,報告顯示,曙光存儲又一次進(jìn)入分布式存儲的領(lǐng)導(dǎo)者象限,并在新興場景如AI、自動駕駛等登頂?shù)谝弧?/p>
產(chǎn)品方面,曙光存儲通過技術(shù)創(chuàng)新,滿足復(fù)雜智能計算任務(wù)對先進(jìn)存力的迫切需求。比如氣象數(shù)據(jù)不僅體量大,而且種類繁多,科研院所在進(jìn)行氣象預(yù)測時,基于曙光的分布式存儲架構(gòu),數(shù)據(jù)可從任意集群寫入和讀取。新一代ParaStor依托NVMe全閃的技術(shù)優(yōu)化,單節(jié)點帶寬達(dá)到130GB/s,為氣象預(yù)測提供了強(qiáng)有力的數(shù)據(jù)支撐。擴(kuò)容過程中上層業(yè)務(wù)無感知,保障了整個氣象預(yù)測系統(tǒng)的穩(wěn)定性。
市場方面,曙光存儲深入調(diào)研細(xì)分場景,針對性打造更適配AI應(yīng)用的解決方案,吸引了大模型企業(yè)、高校教育機(jī)構(gòu)、自動駕駛廠商等行業(yè)客戶。
在分布式教育場景市場中,曙光存儲加速助力高??蒲薪逃齽?chuàng)新,表現(xiàn)出較強(qiáng)的競爭力,目前已落地華南理工大學(xué)、復(fù)旦大學(xué)、國家氣象局、良渚實驗室、西湖大學(xué)等多所高校和實驗室。
在自動駕駛場景中,曙光ParaStor分布式存儲系統(tǒng)通過靈活配置和自動適應(yīng)功能,滿足自動駕駛各個流程的應(yīng)用需求,保障數(shù)據(jù)安全和訪問合規(guī),加上從2022年到2024年間,曙光存儲連續(xù)為某頭部自動駕駛企業(yè)提供超百PB的存儲資源,積累了系統(tǒng)部署及長期運維經(jīng)驗,為自動駕駛企業(yè)存儲系統(tǒng)穩(wěn)定運行提供堅實保障。曙光存儲帶來的先進(jìn)存力,成為自動駕駛商業(yè)化的加速助力。
類似的場景還有很多。比如金融機(jī)構(gòu)在處理銀行、保險等業(yè)務(wù)時,曙光分布式存儲能夠為復(fù)合型業(yè)務(wù)負(fù)載提供強(qiáng)性能保障,減少系統(tǒng)故障、業(yè)務(wù)中斷。
中國一系列AI技術(shù)和產(chǎn)品蓄勢待發(fā),準(zhǔn)備上演一場科技盛宴。幸好在此之前,曙光存儲為代表的國產(chǎn)存儲,已經(jīng)夯實了應(yīng)對各種挑戰(zhàn)的存力底座。通過關(guān)鍵技術(shù)的自主研發(fā),提供滿足國內(nèi)市場需求的分布式存儲產(chǎn)品,并成功完成了“清場”,減少對海外不穩(wěn)定因素的依賴。
總體來看,國產(chǎn)存儲的發(fā)展和進(jìn)步,為正在上演的精彩科技“魔術(shù)秀”,搭建了一個穩(wěn)固的基礎(chǔ)。
曙光存儲,與AI共舞
AI時代的大幕緩緩拉開,中國AI力量強(qiáng)勢登場,對存儲基礎(chǔ)設(shè)施也提出了新的要求。去年以來,中國存儲行業(yè)在新產(chǎn)業(yè)階段的發(fā)展方向和市場策略是什么?引發(fā)了各方的好奇與關(guān)注。
一年之后,曙光存儲為代表的國產(chǎn)廠商,已經(jīng)給出了答案,那就是與時代共舞,與AI共舞,積極推動存儲技術(shù)變革與AI行業(yè)場景融合創(chuàng)新。
問題來了,在AI技術(shù)迅猛發(fā)展的浪潮中,國產(chǎn)存儲是如何跟上AI的腳步,與行業(yè)客戶的需求同頻,快速而精準(zhǔn)地將分布式存儲帶到一個個行業(yè)場景中的呢?
我們可以從曙光存儲的動作,解析國產(chǎn)分布式存儲的AI進(jìn)擊之路。
上場之前,要有扎實的基本功。
中科曙光是中國領(lǐng)先的信息產(chǎn)業(yè)公司之一,聚集了大量頂尖專家和研究人員,擁有強(qiáng)大的科研技術(shù)支撐。自2004年起,中科曙光就開始自研分布式存儲技術(shù),為后期的技術(shù)突破和成果產(chǎn)業(yè)化應(yīng)用,奠定了扎實的基礎(chǔ)。
大幕拉開,靠頂尖的技術(shù)實力及時登場。
2023年大模型的爆火,以及數(shù)字要素市場化、智算中心建設(shè)等需求疊加之下,國內(nèi)市場對先進(jìn)存力的需求激增,屬于分布式存儲的時代大幕拉開,誰能把握機(jī)遇?
中科曙光憑借引領(lǐng)行業(yè)前沿的分布式存儲技術(shù)能力,為國內(nèi)十余家大模型企業(yè)及智算中心提供數(shù)百PB的存儲資源,并基于多年存儲技術(shù)積累與行業(yè)洞察,推出自動駕駛解決方案,依靠技術(shù)實力快速完成了市場拓展,擁有了“強(qiáng)者愈強(qiáng)”的優(yōu)勢身位。
貼身共舞,用深入的行業(yè)洞察助力AI。
做AI、自動駕駛客戶的“最佳輔助”,曙光存儲不斷尋求極致突破,滿足大模型廠商、自動駕駛企業(yè)、科研機(jī)構(gòu)等客戶,對強(qiáng)性能、高可靠、綠色節(jié)能等的核心需求,升級后的ParaStor分布式全閃存儲更加契合AI相關(guān)業(yè)務(wù)場景,成為“最懂AI的存儲”。
曙光分布式存儲,不僅能夠滿足當(dāng)前國內(nèi)AI市場的存力需求,更為即將到來的“AI is everywhere”階段,預(yù)留了充足的增長空間。
AI,是時代聚光燈下的技術(shù)新星,毋庸置疑地引領(lǐng)著未來。而中國AI在世界舞臺上大放異彩,離不開國產(chǎn)存儲提供強(qiáng)大的后盾。
接下來,我們將看到國產(chǎn)存儲與AI的結(jié)合愈發(fā)緊密,攜手前行,在世界舞臺上綻放中國科技的光彩,創(chuàng)造出無數(shù)個新技術(shù)突破的時刻,讓我們一次又一次“見證奇跡”。