畢業(yè)季和招生季里的一次次“官宣”,讓華為“天才少年”徹底出圈,也展現(xiàn)出了華為“兇猛”的技術(shù)人才進(jìn)擊態(tài)勢(shì)。
大家在關(guān)注百萬年薪的同時(shí),可別忘記與頂級(jí)薪酬相匹配的頂級(jí)挑戰(zhàn)。拿到高檔 offer 的“天才少年少女”,都選擇加入的華為存儲(chǔ)相關(guān)領(lǐng)域,是十分值得關(guān)注的領(lǐng)域。
存儲(chǔ)究竟有多重要?隨著各行各業(yè)智能化的深入,數(shù)據(jù)基礎(chǔ)設(shè)施自然也需要跟上節(jié)奏。越來越多的企業(yè)需要高效的數(shù)據(jù)存儲(chǔ)與管理系統(tǒng),來實(shí)現(xiàn)海量的數(shù)據(jù)管理與保護(hù),為業(yè)務(wù)發(fā)展與經(jīng)濟(jì)增長提供保障。
而 2019 年,華為曾以“奧林帕斯獎(jiǎng)”為名,鼓勵(lì)科研人員積極創(chuàng)新,解決數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域的技術(shù)難題。而火星的奧林帕斯山,是太陽系已知最高的火山,是珠穆朗瑪峰的三倍,以此來類比,難度可想而知。
攀爬“太陽系之最”的技術(shù)高峰,自然需要專業(yè)且頂級(jí)的精英人才。所以,我們不妨?xí)簳r(shí)放下金光閃閃的高薪標(biāo)簽,來看看這些攀登者們是如何征服存儲(chǔ)這座“奧林帕斯山”的。
遠(yuǎn)眺,萬物智能的數(shù)據(jù)風(fēng)景
拒絕騰訊、阿里和美國存儲(chǔ)巨頭西部數(shù)據(jù)的邀請(qǐng),在四份 offer 中直奔華為的“天才少女”,選擇與自己在校研究方向——新型存儲(chǔ)介質(zhì)(NVM,SMR)、數(shù)據(jù)庫和鍵值存儲(chǔ)系統(tǒng)——相契合的華為存儲(chǔ)相關(guān)工作。
而天才少年也在接受采訪中表示,最終選擇加入華為,是希望能夠和一群志同道合的人做有意義的事,懷抱理想讓世界刮目相看。
存儲(chǔ)如同圣杯,正在成為今天和未來的數(shù)據(jù)狂潮中全社會(huì)新的避難所,也吸引了眾多年輕的有志之士為之奮斗。
目前看來,我們正在經(jīng)歷數(shù)據(jù)三變:
量級(jí)變大:數(shù)字化、智能化產(chǎn)業(yè)趨勢(shì)的興起,IoT 設(shè)備逐漸變得無處不在,5G 即將產(chǎn)生的超級(jí)聯(lián)接,都讓傳統(tǒng)的 IT 基礎(chǔ)設(shè)施面臨著數(shù)據(jù)浪潮沖擊;
價(jià)值變大:數(shù)據(jù)的存儲(chǔ)與融通,已經(jīng)從互聯(lián)網(wǎng)產(chǎn)業(yè)的剛需,變成了各個(gè)行業(yè)未來業(yè)務(wù)增長的生產(chǎn)資料,5G+AI+云時(shí)代的新一代存儲(chǔ)商業(yè)空間已經(jīng)清晰;
產(chǎn)業(yè)之變:數(shù)據(jù)存儲(chǔ)從底層承載平臺(tái),開始向數(shù)據(jù)流動(dòng)、分析、利用的計(jì)算產(chǎn)業(yè)環(huán)節(jié)延伸,對(duì)硬件創(chuàng)新和軟件迭代提出了全新挑戰(zhàn)。
人類的智能時(shí)代已經(jīng)篤定,新一代存儲(chǔ)就成了必須翻越的山脈。
規(guī)劃,向山頂邁進(jìn)
在新一代存儲(chǔ)設(shè)施的宏大挑戰(zhàn)中,NVMe 成了所有攀登者必須抵達(dá)的一座山峰。
2010 年,NVMe(Non-Volatile Memory Express 非易失性內(nèi)存標(biāo)準(zhǔn))標(biāo)準(zhǔn)接口協(xié)議誕生,就注定了會(huì)讓挑戰(zhàn)者高山仰止:
傳統(tǒng)存儲(chǔ)中連接固態(tài)閃存 SSD 的最典型方式 SAS,吞吐量有限,隨著存儲(chǔ)介質(zhì)性能百倍級(jí)以上的提升,已經(jīng)成為限制硬件性能釋放的天花板。
而 NVMe 則革命性地用簡(jiǎn)潔、直接的輕量級(jí)技術(shù)能力,釋放了新的產(chǎn)業(yè)機(jī)會(huì)。
NVMe 協(xié)議替代了原有的 AHCI 規(guī)范,并且軟件層面的處理命令進(jìn)行了重新定義,得以規(guī)范固態(tài)硬盤訪問接口,去掉了 SAS 系統(tǒng)中的 IO Scheduler 和 SCSI 等復(fù)雜的協(xié)議層,利用多核處理器,降低協(xié)議交互時(shí)延。
與單隊(duì)列 SAS 協(xié)議相比,NVMe 協(xié)議可支持多達(dá) 64K 個(gè)隊(duì)列,實(shí)現(xiàn)更高的并發(fā)處理。此外,通過 PCIe 直連,讓 CPU 和 NVMe SSD 直接通信,比傳統(tǒng) SAS 架構(gòu)更精簡(jiǎn)。有數(shù)據(jù)顯示,如果采用 SAS 后端的 SCSI 協(xié)議,一次完整的主機(jī)數(shù)據(jù)寫入請(qǐng)求需要通過 4 次協(xié)議交互,而華為 NVMe 全閃存只需要 2 次協(xié)議交互,處理寫請(qǐng)求的效率比 SAS 全閃存高 1 倍,顯著提高了固態(tài)硬盤的讀寫性能。
用一個(gè)類比來說,就是將原本草木叢生、人車畜共行的林間小道鏟平了,修建一個(gè)更寬、更平坦的高速公路,數(shù)據(jù)自然能在上面快速流暢地通行。
根據(jù) Gartner 預(yù)測(cè),2022 年 NVMe SSD 在存儲(chǔ)中占比將達(dá)到 52%。
聽起來,似乎只要將這個(gè)新協(xié)議用起來就好了,有什么難的?攀登者在前往大本營之前,都會(huì)提前進(jìn)行線路規(guī)劃、了解即將面對(duì)的地形和可能的風(fēng)險(xiǎn),而對(duì)于 NVMe 技術(shù)的落地,其存在的挑戰(zhàn)就在于,想要一路給 SSD“開綠燈”,并不容易。
首先,新技術(shù)從實(shí)驗(yàn)室落地市場(chǎng),需要達(dá)到規(guī)?;瘧?yīng)用的高能效比。NVMe SSD 全閃存陣列在合理成本上發(fā)揮出它的性能極限,從單純的注重性能發(fā)展到真實(shí)降低單位比特成本,才能吸引客戶買單;
其次,需要完整的產(chǎn)業(yè)鏈支持,比如當(dāng)時(shí)的全閃存陣列控制器架構(gòu)都是為了適應(yīng)機(jī)械硬盤而設(shè)計(jì)的,NVMe 面臨著軟硬件適配、運(yùn)維管理的重重阻礙。
另外,只有 NVMe 產(chǎn)品能夠在企業(yè)業(yè)務(wù)中可以釋放出真正的商業(yè)價(jià)值,特別是在分秒必爭(zhēng)的企業(yè)場(chǎng)景,這就需要產(chǎn)品力的加持。
這些,都推動(dòng)著攀登者們?nèi)胬斫?、步步為營、持續(xù)發(fā)力。
攀登,華為存儲(chǔ)的三把“神兵”
在存儲(chǔ)領(lǐng)域,傳統(tǒng)的技術(shù)話語權(quán)柄一直被美國、日本等大國巨頭廠商所把持。但變局在 NVMe 上發(fā)生了。
2018 年,華為在中國存儲(chǔ)與數(shù)據(jù)峰會(huì)上,發(fā)布了華為 OceanStor 存儲(chǔ) Dorado 系列,率先實(shí)現(xiàn)了全系列支持 NVMe 架構(gòu)。
在達(dá)到這一成績(jī)之前,華為也早已拿下了不少小的技術(shù)“據(jù)點(diǎn)”,比如發(fā)布了業(yè)內(nèi)唯一端到端 NVMe SSD 盤、NVMe 閃存控制器和 NVMe 全閃存操作系統(tǒng)等等。
智能存儲(chǔ)的產(chǎn)業(yè)階段,華為 NVMe 全閃存陣列,錘煉出了三把披荊斬棘、無往不利的“神兵利器”:
- 全面覆蓋,化繁為簡(jiǎn),指數(shù)級(jí)性能增長
華為更進(jìn)一步,從網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)全部采用 NVMe Over RoCE 全 IP 組網(wǎng)設(shè)計(jì),使用 TCP/IP 和 RoCE 來部署 NVMe 閃存存儲(chǔ)平臺(tái),讓以往需要在多種協(xié)議(FC/IP/IB/PCIe/SAS)中復(fù)雜交互的局面,用 NVMe 一種協(xié)議完成了整個(gè)網(wǎng)的管理。
這樣從前端網(wǎng)絡(luò)連接、后端硬盤框連接、scale-out 的控制器互聯(lián)均采用同一種網(wǎng)絡(luò)協(xié)議,其優(yōu)勢(shì)也顯而易見:極大降低了存儲(chǔ)時(shí)延,極致時(shí)延可達(dá) 0.1ms;避免復(fù)雜的網(wǎng)絡(luò)協(xié)議和規(guī)劃,簡(jiǎn)化了數(shù)據(jù)中心和企業(yè)網(wǎng)絡(luò)的部署和維護(hù)成本。
- 全面創(chuàng)新,端到端整體護(hù)航高可靠性
作為業(yè)界率先實(shí)現(xiàn)全系列端到端 NVMe 全閃存的廠商,華為自然也搶先交付出了一整套的產(chǎn)業(yè)價(jià)值。
以新一代 OceanStor 分布式存儲(chǔ)、OceanStor 全閃存、FusionData 智能數(shù)據(jù)湖解決方案等為例,就基于智能無損網(wǎng)絡(luò)和硬件,實(shí)現(xiàn)了數(shù)據(jù)在“采、存、算、管、用”整個(gè)生命周期的端到端整合和優(yōu)化,將新一代存儲(chǔ)技術(shù)更全面地融入數(shù)據(jù)基礎(chǔ)設(shè)施。
為此,華為應(yīng)用了一系列創(chuàng)新技術(shù)。
比如針對(duì)商用 NVMeSSD 盤必須快速在線更換的需求,避免暴力熱插拔(PCIe surprise hot plug)可能導(dǎo)致的系統(tǒng)異常、業(yè)務(wù)中斷,華為打造了智能無損網(wǎng)絡(luò)和 OceanStor 全閃存聯(lián)合 NOF+增強(qiáng)方案,采用前端共享大卡在系統(tǒng)內(nèi)實(shí)現(xiàn)故障自動(dòng)巡檢、即時(shí)感知、主動(dòng)修復(fù),鏈路故障感知時(shí)間只有 1 秒,端到端時(shí)延僅為 75μs。與之相比,業(yè)內(nèi)通用的 NOF 故障感知時(shí)間長達(dá) 15 秒,后者顯然對(duì)于極大提升系統(tǒng)可靠性,保障端到端的穩(wěn)定時(shí)延,起到了關(guān)鍵作用。
再比如,存儲(chǔ)單點(diǎn)的可靠性往往需要采用雙控冗余技術(shù)保障,但大部分廠商會(huì)放棄技術(shù)上較難的原生雙 PCIe 端口,而選擇另辟捷徑,導(dǎo)致系統(tǒng)可靠性的降低。
而華為的解決方法是十年磨一劍,攻破了雙端口技術(shù),兩個(gè) PCIe 3.0X2 端口獨(dú)立,互相不影響,為系統(tǒng)修復(fù)和異常處理提供了硬件基礎(chǔ),保證了系統(tǒng)雙控冗余性,提升系統(tǒng)的可靠性。
為了解決硬盤重構(gòu)時(shí)間增長,傳統(tǒng) RAID 技術(shù)無法保障系統(tǒng)可靠性,容易導(dǎo)致盤故障、數(shù)據(jù)丟失的問題,華為采用創(chuàng)新的 RAID-TP 軟件技術(shù),基于 Erasure Code 算法,將校驗(yàn)位做到支持 1、2、3 位可調(diào),容忍同一個(gè) RAID 組內(nèi) 1-3 塊盤同時(shí)失效,在 3 塊盤同時(shí)失效的情況下能夠容忍數(shù)據(jù)不丟失,業(yè)務(wù)不中斷。這是目前美國戴爾、IBM 等廠商都做不到的。
?
(華為支持 NVMe Over Fabric 的端到端方案)
- 軟硬件結(jié)合,從工作流程、工具鏈、產(chǎn)品化的全面升級(jí)
要讓數(shù)據(jù)在整個(gè)生命周期內(nèi)都能滿足時(shí)代訴求,面對(duì)的挑戰(zhàn)還有很多。所以除了僅在硬件產(chǎn)品優(yōu)化上做文章之外,華為也從底層出發(fā),從工作流程、工具鏈到產(chǎn)品進(jìn)行了全方位使能。
舉個(gè)例子,華為率先在 NVMe 全閃存領(lǐng)域?qū)崿F(xiàn)免網(wǎng)關(guān)雙活方案,基于閃存的硬件和軟件優(yōu)化,雙活時(shí)延達(dá)到 1 毫秒,性能業(yè)界最高,保障業(yè)務(wù) 7*24 高可用,并支持從雙活方案平滑升級(jí)到 3DC 方案。
華為 OceanStor 存儲(chǔ) Dorado 系列還開發(fā)一系列自動(dòng)化部署工具,把運(yùn)維工程師從復(fù)雜繁瑣的網(wǎng)絡(luò)部署工具中解放出來,全面提升從網(wǎng)絡(luò)規(guī)劃到實(shí)施的易用性。加上人工智能技術(shù)智能預(yù)測(cè)故障、定位問題、實(shí)時(shí)健康度分析、分析性能和容量趨勢(shì)等等應(yīng)用,大大降低存儲(chǔ)系統(tǒng)運(yùn)行風(fēng)險(xiǎn)和運(yùn)維成本,將存儲(chǔ)管理效率提升 5 倍以上。
通過這一系列組合拳,華為正在將 NVMe 技術(shù)不斷融入到存儲(chǔ)陣列之中,在數(shù)字化升級(jí)的時(shí)代浪潮中,讓各行業(yè)都能直觀地感受前沿技術(shù)帶來的體驗(yàn)質(zhì)變。
沖頂,全球存儲(chǔ),中國時(shí)刻
不出意外,華為的技術(shù)攀登者們成功在一個(gè)個(gè)大本營勝利會(huì)師、安營扎寨。
在技術(shù)分析機(jī)構(gòu) DCIG 的《DCIG 2020 年 -2021 年全閃存陣列購買指南》中,華為 OceanStor 存儲(chǔ) Dorado 系列占據(jù) C 位,位列最佳推薦榜首,超越其他所有競(jìng)爭(zhēng)對(duì)手。
全球權(quán)威機(jī)構(gòu) Gartner 公布的最新數(shù)據(jù)顯示,2019 年華為存儲(chǔ)全球增速第一,成為市場(chǎng)中后勁最足的廠商。
在 2020 年第一季度全球存儲(chǔ)供應(yīng)商普遍出現(xiàn)營收下滑的背景下,華為存儲(chǔ)逆勢(shì)保持 24.7%的高速增長,其中華為全閃存增長率高達(dá) 45.1%,遠(yuǎn)高于市場(chǎng)平均增長率和其他競(jìng)爭(zhēng)對(duì)手。
從 2002 年起步至今,華為存儲(chǔ)從零創(chuàng)業(yè),到如今拿下 NVMe 的技術(shù)高地,加速向全球市場(chǎng)沖鋒,后勁都來自哪些要素?或許可以將其總結(jié)為華為存儲(chǔ)的“四大能量”:
1. 技術(shù)信念。華為在存儲(chǔ)和硬盤領(lǐng)域鉆研多年,是目前業(yè)界唯一自研存儲(chǔ)控制器、SSD 盤和存儲(chǔ)芯片的廠商,充分了解數(shù)據(jù)存儲(chǔ)的全流程,將這些經(jīng)驗(yàn)應(yīng)用在 NVMe 系統(tǒng)中,增長迭變速度越來越快;
2. 創(chuàng)新意識(shí)。不斷將新的技術(shù)、理念、工具融入到存儲(chǔ)領(lǐng)域當(dāng)中,全棧采用 NVMe、芯片級(jí)端到端加速、SCM+分級(jí) / 緩存技術(shù)、智能 AI 算法 FlashLink 等等,每一次創(chuàng)新都轉(zhuǎn)化為向上攀登的強(qiáng)勁動(dòng)能;
3. 尊重市場(chǎng)。無論是人工智能、大數(shù)據(jù)、自動(dòng)駕駛、區(qū)塊鏈等先進(jìn)領(lǐng)域,還是在醫(yī)療、制造、金融等傳統(tǒng)行業(yè),華為存儲(chǔ)對(duì)各行業(yè)的數(shù)據(jù)困境都十分尊重,全系列 NVMe 的產(chǎn)品陣列,降低了用戶使用領(lǐng)先存儲(chǔ)技術(shù)的門檻,提供了更靈活、經(jīng)濟(jì)的選擇,幫助更多企業(yè)快速推進(jìn)數(shù)字化轉(zhuǎn)型。
4. 重視人才。華為在優(yōu)秀人才的吸納上從來都不遺余力,在科研上的投入甚至超過了當(dāng)年的凈利潤。而從任正非的只言片語中我們知道,華為至少有 700 多名數(shù)學(xué)家,800 多名物理學(xué)家,120 多名化學(xué)家,六七千名的基礎(chǔ)研究專家,6 萬多名各級(jí)高級(jí)工程師。華為華為 18 萬員工中,有將近 45%的人在從事基礎(chǔ)研究工作。
從這個(gè)角度看,華為存儲(chǔ)在全球市場(chǎng)的沖鋒,看似是一場(chǎng)短跑沖刺,其實(shí)是一場(chǎng)綿延將近 20 年、砥礪前行的馬拉松。
人類不斷向火星發(fā)起探索,是用夢(mèng)想自我定義能力上限的過程。而華為存儲(chǔ)的一次次技術(shù)上探,其實(shí)是源于一個(gè)偉大夢(mèng)想的無限延伸。