Cloudera助力上汽大眾車輛數(shù)據(jù)實(shí)時(shí)監(jiān)測(cè)，實(shí)現(xiàn)存算性能升級(jí)

可信企業(yè)AI數(shù)據(jù)公司Cloudera宣布，成功助力上汽大眾搭建車輛數(shù)據(jù)監(jiān)控平臺(tái)，通過其車聯(lián)網(wǎng)業(yè)務(wù)滿足收集和監(jiān)控智能車輛數(shù)據(jù)的監(jiān)管要求。上汽大眾通過部署Cloudera Data Platform（CDP）進(jìn)行車輛數(shù)據(jù)監(jiān)控作業(yè)，在核心跑批作業(yè)性能上實(shí)現(xiàn)了顯著提升。同時(shí)上汽大眾也實(shí)現(xiàn)了數(shù)據(jù)運(yùn)營效率的優(yōu)化，節(jié)省了高達(dá) 67% 的存儲(chǔ)空間，提升了車輛監(jiān)控效率并優(yōu)化了車輛數(shù)據(jù)管理，進(jìn)而推動(dòng)數(shù)據(jù)運(yùn)存的降本增效。

近年來，隨著新能源汽車的迅猛增長，車輛監(jiān)控信息數(shù)據(jù)量呈現(xiàn)出指數(shù)級(jí)的增加；同時(shí)，國家對(duì)于新能源汽車監(jiān)控信息共享也提出了進(jìn)一步號(hào)召，這就需要車企對(duì)相關(guān)數(shù)據(jù)監(jiān)測(cè)有更好的計(jì)算能力、存儲(chǔ)、傳輸和應(yīng)用。

在這樣的背景下，上汽大眾大數(shù)據(jù)平臺(tái)團(tuán)隊(duì)于2017年開始基于大數(shù)據(jù)技術(shù)構(gòu)建全新用于車輛數(shù)據(jù)監(jiān)控的平臺(tái)，以賦能新能源車輛關(guān)鍵業(yè)務(wù)發(fā)展。2022年，上汽大眾將數(shù)據(jù)平臺(tái)升級(jí)，數(shù)據(jù)存儲(chǔ)及作業(yè)性能實(shí)現(xiàn)了進(jìn)一步優(yōu)化。首先，HBase存儲(chǔ)空間減少了約73TB，節(jié)約了67%的空間使用，這得以大大提升其車輛數(shù)據(jù)監(jiān)控的作業(yè)效率；其次，總集群文件數(shù)減少約8千萬，約優(yōu)化原有文件數(shù)的75%。此外，在核心報(bào)表及跑批業(yè)務(wù)上也實(shí)現(xiàn)了明顯的性能提升，批量作業(yè)性能平均提升2.5倍，最高可達(dá)6.6倍。這些性能升級(jí)，均保證了上汽大眾對(duì)車輛監(jiān)測(cè)數(shù)據(jù)鏈可以實(shí)現(xiàn)完整的存儲(chǔ)和詳細(xì)的分析，并且充分滿足國家車輛數(shù)據(jù)管理相關(guān)法律法規(guī)的要求。除此以外，上汽大眾還基于此數(shù)據(jù)平臺(tái)搭建了面向車主的上汽大眾APP，為廣大車主帶來更智能的汽車服務(wù)，包括遠(yuǎn)程查看車輛實(shí)時(shí)狀態(tài)、智能導(dǎo)航服務(wù)等。該平臺(tái)上線不到兩年?戶已達(dá)600萬。

上汽大眾數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)負(fù)責(zé)人謝聰表示：“上汽大眾從2017年起開始引入Cloudera的CDH，并在2018年構(gòu)建了數(shù)據(jù)湖。在2022年，僅用了六個(gè)月的時(shí)間，上汽大眾成功將數(shù)據(jù)平臺(tái)升級(jí)至CDP，成為國內(nèi)汽車行業(yè)中首批升級(jí)的企業(yè)。我們所搭建的車輛數(shù)據(jù)監(jiān)測(cè)平臺(tái)能輕松實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)，完善車輛數(shù)據(jù)監(jiān)測(cè)及分析；而這些數(shù)據(jù)也將進(jìn)一步助力我們更好地服務(wù)車主，并推動(dòng)上汽大眾車聯(lián)網(wǎng)業(yè)務(wù)的持續(xù)發(fā)展。CDP作為成熟的大數(shù)據(jù)平臺(tái)，有效幫助我們解決了日益增長的實(shí)時(shí)數(shù)據(jù)存儲(chǔ)、管理、計(jì)算等難題。未來，我們也將進(jìn)一步解決存算分離問題以及計(jì)算和存儲(chǔ)增速不一致問題，以實(shí)現(xiàn)基于工作負(fù)載的變化達(dá)到最佳的性能資源平衡?！?/p>

Cloudera大中華區(qū)副總裁王剛表示：“在車聯(lián)網(wǎng)市場(chǎng)大力發(fā)展的當(dāng)下，從國家到行業(yè)對(duì)智能汽車的數(shù)據(jù)監(jiān)測(cè)管理都頗為關(guān)注。如何存儲(chǔ)、管理海量數(shù)據(jù)并從中獲得洞察，是汽車企業(yè)發(fā)展的重要課題。實(shí)踐證明，Cloudera為上汽大眾構(gòu)建的數(shù)據(jù)平臺(tái)助其實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)以及批量作業(yè)性能的全面優(yōu)化，為加速構(gòu)建車聯(lián)網(wǎng)生態(tài)奠定了堅(jiān)實(shí)基礎(chǔ)。未來，我們將持續(xù)支持上汽大眾，為新能源汽車及車聯(lián)網(wǎng)發(fā)展提供數(shù)據(jù)驅(qū)動(dòng)力。”

展望未來，上汽大眾還將繼續(xù)擴(kuò)展采用CDP的更多功能，持續(xù)利用湖倉一體優(yōu)勢(shì)升級(jí)監(jiān)測(cè)數(shù)據(jù)平臺(tái)，為智能網(wǎng)聯(lián)汽車服務(wù)創(chuàng)新打下堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。