阿里云ODPS升級(jí)為一體化大數(shù)據(jù)平臺(tái) 滿足用戶多元化數(shù)據(jù)計(jì)算需求

2022云棲大會(huì)上，阿里巴巴集團(tuán)副總裁、阿里云計(jì)算平臺(tái)事業(yè)部負(fù)責(zé)人賈揚(yáng)清表示，為滿足用戶多元化數(shù)據(jù)計(jì)算需求，阿里云ODPS升級(jí)為一體化大數(shù)據(jù)平臺(tái)。

升級(jí)后的ODPS支持大規(guī)模批量計(jì)算、實(shí)時(shí)分析等服務(wù)，提供實(shí)時(shí)流式計(jì)算、機(jī)器學(xué)習(xí)等多種計(jì)算能力，可同時(shí)調(diào)度超10萬臺(tái)以上服務(wù)器規(guī)模進(jìn)行并行計(jì)算。ODPS也是目前中國唯一自研、應(yīng)用最為廣泛的一體化大數(shù)據(jù)平臺(tái)。

ODPS升級(jí)：存儲(chǔ)、調(diào)度、元數(shù)據(jù)一體化融合?

隨著數(shù)據(jù)技術(shù)和數(shù)據(jù)應(yīng)用的發(fā)展，催生了多元計(jì)算需求。賈揚(yáng)清介紹，例如交通領(lǐng)域，需要實(shí)時(shí)數(shù)據(jù)計(jì)算，來做城市大腦里面人流車流的優(yōu)化；科研方面，需要AI算法輔助傳統(tǒng)物理化學(xué)生物研究創(chuàng)新；保險(xiǎn)領(lǐng)域，需要大量數(shù)據(jù)聚合來進(jìn)行更準(zhǔn)確的風(fēng)險(xiǎn)精算。?ODPS實(shí)現(xiàn)了存儲(chǔ)、調(diào)度、元數(shù)據(jù)管理上的一體化架構(gòu)融合，支撐上述各類數(shù)據(jù)的高效處理。

自2009年誕生以來，ODPS從突破單集群規(guī)模到通過多租戶隔離打造金融級(jí)云上安全，為突破業(yè)界難攻的技術(shù)難點(diǎn)而不斷升級(jí)架構(gòu)。2017年，ODPS將大規(guī)模批處理引擎MaxCompute以獨(dú)立產(chǎn)品形式對(duì)外提供服務(wù)。2019年，應(yīng)對(duì)數(shù)據(jù)實(shí)時(shí)交互分析的需求，交互式計(jì)算引擎Hologres正式上線。

在剛剛公布的TPC-H?30000GB基準(zhǔn)測試中，ODPS-Hologres刷新世界紀(jì)錄，分?jǐn)?shù)超過2786萬分，領(lǐng)先第二名23%。ODPS-MaxCompute則在TPCx-BB?100TB標(biāo)準(zhǔn)測試中，連續(xù)6年保持性能和性價(jià)比第一。

大數(shù)據(jù)和AI走向融合???小鵬汽車AI訓(xùn)練提速170倍

“大數(shù)據(jù)平臺(tái)和AI平臺(tái)正在走向融合”，賈揚(yáng)清表示，不論是大模型生產(chǎn)應(yīng)用、AI?for?Science、還是傳統(tǒng)的搜推廣服務(wù)，典型的AI應(yīng)用場景背后，都離不開數(shù)據(jù)的高效流轉(zhuǎn)和分析。

例如小鵬汽車與阿里云合作，建設(shè)了大數(shù)據(jù)AI一體化平臺(tái)，實(shí)現(xiàn)從海量路采數(shù)據(jù)的傳輸存儲(chǔ)分析、到AI模型訓(xùn)練推理的全流程提效。此外，基于軟硬件協(xié)同優(yōu)化技術(shù)，小鵬汽車自動(dòng)駕駛核心模型訓(xùn)練提速近170倍，訓(xùn)練性能較開源方案提升30%。 ??

??????

自發(fā)布大數(shù)據(jù)+AI一體化產(chǎn)品體系“阿里靈杰”以來，阿里云不斷推動(dòng)數(shù)據(jù)智能在產(chǎn)業(yè)中廣泛應(yīng)用。機(jī)器學(xué)習(xí)平臺(tái)PAI持續(xù)夯實(shí)AI工程能力，實(shí)現(xiàn)深度學(xué)習(xí)框架和計(jì)算硬件的多樣化兼容，以彈性且穩(wěn)定的云原生AI平臺(tái)服務(wù)，支撐自動(dòng)駕駛、生命科學(xué)、金融等領(lǐng)域創(chuàng)新。此外，達(dá)摩院基于阿里靈杰，推出模型開放生態(tài)?ModelScope?和?AI?開放服務(wù)平臺(tái)?OpenMind，進(jìn)一步推動(dòng)AI普惠。