加入星計劃,您可以享受以下權益:

  • 創(chuàng)作內容快速變現(xiàn)
  • 行業(yè)影響力擴散
  • 作品版權保護
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
  • 相關推薦
  • 電子產業(yè)圖譜
申請入駐 產業(yè)圖譜

這群人,破解了Web3的「存力」難題

2022/11/11
1849
閱讀需 14 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

2009年1月3日,位于芬蘭赫爾辛基的一臺小型服務器上,第一個序號為0的“創(chuàng)世區(qū)塊”誕生。六天后,序號為1的區(qū)塊出現(xiàn),與前者相連形成鏈,區(qū)塊鏈的序幕由此拉開。

十多年過去,幕后推手“中本聰”仍是互聯(lián)網上的“神秘人”,而區(qū)塊鏈技術早已風靡全球,走過瘋狂造富、赤身狂奔、幻影泡沫的野蠻生長后,逐漸回歸理性,在不同國度尋找最妥帖的敘事方式。

在我國,這一敘事體是賦能實體經濟、提升公共服務、夯實產業(yè)基礎、打造現(xiàn)代產業(yè)鏈、促進融通發(fā)展的產業(yè)化區(qū)塊鏈。

云棲大會螞蟻數(shù)字科技峰會現(xiàn)場,螞蟻集團資深副總裁、數(shù)字科技事業(yè)群總裁蔣國飛闡述了這樣一個觀點,不管是從機構自身,還是到跨機構的產業(yè)鏈協(xié)作都有旺盛的數(shù)字化需求。

機構自身數(shù)字化解決了IT生產效率提升;產生了大量數(shù)據(jù)后,數(shù)據(jù)要素的流動使得更緊密的產業(yè)鏈協(xié)作成為可能。

“這兩大階段的交錯演進正推動數(shù)字化朝著大規(guī)模的智能化、分布式發(fā)展。”

而在這個過程中,作為第五大生產要素,數(shù)據(jù)、流動的數(shù)據(jù)扮演著重要角色。

IDC對全球數(shù)據(jù)規(guī)模的預測顯示,2025年,全球數(shù)據(jù)總規(guī)模將從現(xiàn)在的70多個ZB增長到175ZB。

大量數(shù)據(jù)和數(shù)字資產在數(shù)字化世界里流轉,使得可信數(shù)據(jù)的“存力”就如同電力網絡的承載力一樣,承載著整個社會“數(shù)據(jù)價值互聯(lián)”基石的重任。

“這對存儲方案提出了更高、更新的要求。”螞蟻集團區(qū)塊鏈技術總監(jiān)閆鶯說道。

一個新的挑戰(zhàn)和機遇正在產生。
 
01
膨脹的數(shù)據(jù),虛弱的存儲
11月3日,在云棲大會螞蟻數(shù)字科技峰會上,螞蟻鏈交出了其歷經四年打磨的一份作業(yè)——自研區(qū)塊鏈存儲引擎LETUS。該產品主要用于可信數(shù)據(jù)在區(qū)塊鏈上的存儲。在很多業(yè)內從業(yè)者看來,這是面向Web3時代的重要基礎設施。

一直以來,存儲成本與性能是區(qū)塊鏈行業(yè)中兩大難以根除的頑疾。

一方面,隨著時間的推移和鏈上交易數(shù)量的增加,存儲容量要求不斷提高,隨之而來的是區(qū)塊數(shù)據(jù)存儲成本的大幅提升。

另一方面,鏈上狀態(tài)數(shù)據(jù)規(guī)模不斷擴大,可驗證數(shù)據(jù)結構持續(xù)膨脹,導致交易性能隨賬戶規(guī)模提升和歷史狀態(tài)數(shù)據(jù)增加而持續(xù)下降。

即便是當前最為主流的解決方案,如以太坊,針對這兩點,也是無解。

螞蟻鏈LETUS技術負責人田世坤認為,以太坊的存儲性能會隨著數(shù)據(jù)規(guī)模持續(xù)增加而快速衰減,面對Web3這樣對數(shù)據(jù)規(guī)模和性能訴求越來越高的應用時,在性能(延時和吞吐)、成本等方面已經沒有太大優(yōu)勢。

閆鶯也表示,以太坊今天的存儲空間是12TB,(數(shù)據(jù))基本上每年以1.5倍速度增長,這意味著,如果一個云盤是16TB,到明年以太坊的數(shù)據(jù)可能就超過這塊云盤的容量上限。

一邊是不斷增長的需求,一邊是現(xiàn)有技術的瓶頸,想要在夾縫中獲得生存,就要開辟一條新的道路。

自研區(qū)塊鏈存儲引擎,開始被螞蟻鏈提上日程。

 
02
歷時四年,自研一個存儲引擎

時間回到2019年4月。

那時,螞蟻鏈的供應鏈金融第一次“跑”成功,不僅是螞蟻鏈的一個新版本,也是第一次全鏈路隱私保護也成功運行。

閆鶯告訴雷峰網,當時她主要負責TEE隱私保護核心技術,因此“印象特別深,很興奮。”

但是,這種興奮并沒有維持多久,隨著程序跑的時間越來越長,問題慢慢暴露出來。供應鏈金融是面向ToB(企業(yè)端)的,不像ToC端隨時都有數(shù)據(jù),可能會在某個時刻,比如每天晚上有一筆狀態(tài)數(shù)據(jù)非常大的交易進來,跑了一個星期后發(fā)現(xiàn)性能越來越慢。閆鶯告訴雷峰網。

期間,團隊也曾試過各種技術方法對它進行優(yōu)化,就像擠牙膏一樣,優(yōu)化一次,情況就得到一些緩解。但反反復復的嘗試之后,團隊發(fā)現(xiàn),隨著數(shù)量增加而出現(xiàn)的性能,是一個繞不開的瓶頸,需要從本質上根本解決。”

于是,螞蟻鏈開始進入第二階段的正式研發(fā)階段。

但第一階段的優(yōu)化并不是一無所獲。

田世坤告訴雷峰網,經過在前期對底層技術問題的逐一剖析、深度對比測試之后,總結了區(qū)塊鏈存儲所面臨的幾大挑戰(zhàn)性問題:

第一,區(qū)塊鏈本身要實現(xiàn)可驗證,它需要可驗證的數(shù)據(jù)結構,而可驗證數(shù)據(jù)結構會帶來讀寫放大。

第二,數(shù)據(jù)局部性。大量哈希編碼讓數(shù)據(jù)在存儲里的分布變更隨機,如賬戶ID,而數(shù)據(jù)的局部性關乎整個存儲性能的效率。如果數(shù)據(jù)分布隨機,對于磁盤來說非常不友好,底層存儲系統(tǒng)為了管理這些分散的數(shù)據(jù),需要做更多額外的處理,比如數(shù)據(jù)排序等。

另外就是常見的成本、性能,以及規(guī)模瓶頸問題。

針對這些問題,不是沒有人試圖去解決。

田世坤介紹,業(yè)界做過很多嘗試,大概可以概括為弱化可驗證可追溯、優(yōu)化kv數(shù)據(jù)庫、優(yōu)化Merkle樹三條路線。但不管哪一路線,面對未來Web3應用發(fā)展所帶來的量級數(shù)據(jù)規(guī)模擴張,都無法提供一個可以徹底解決所有問題的最佳路徑。

而螞蟻鏈推出的區(qū)塊鏈存儲引擎LETUS可以很好地解決這些問題。

一方面,LETUS通過可驗證索引定制、分布式集群擴展、異步并行等技術全面優(yōu)化存儲性能、規(guī)模和成本,可穩(wěn)定支持20億賬戶規(guī)模。

另一方面,LETUS通過智能控溫分層存儲、邊界掃描批量裁剪來進一步降低存儲成本。

LETUS的可驗證技術提供了鏈存儲的數(shù)據(jù)完整性性保障,確保數(shù)據(jù)安全可靠。相同業(yè)務TPS下磁盤帶寬可減少95%、空間占用減少60%、CPU消耗減少70%,區(qū)塊冷熱分層和歷史狀態(tài)裁剪生產可用,支撐進一步降低成本增效。

這是螞蟻鏈用了四年的時間交出的一份區(qū)塊鏈存儲引擎答卷。

在閆鶯看來,在四年的項目周期中,整個團隊也面臨著非常大的壓力。“存儲引擎不同于應用層重構或者簡單性能優(yōu)化,它就是一個完整的數(shù)據(jù)庫。在完整性、性能、安全性生產方面要求非常高。”

與此同時,四年前,Web3、元宇宙的概念還處于混沌不清的狀態(tài),沒人知道未來在哪里?機遇又在哪里?

“我們是朝著基礎設施方向前進的,也在思考價值,要不要堅持做投入?”田世坤告訴雷峰網,中間也有過掙扎,但也確實不能“一口吃成胖子”,只能一步一步走下來。

好在,結果是好的。四年后,Web3、元宇宙、區(qū)塊鏈成為新的“歷史性機遇”,存儲引擎LETUS的性能與“歷史”的需求不謀而合。

而之所以在這個時候公開發(fā)布,是因為它已經在螞蟻內部經過多場景的打磨,具備對外技術賦能的可能性。

2021年6月,基于LETUS存儲引擎的狀態(tài)數(shù)據(jù),在支付寶付款碼皮膚數(shù)字藏品灰度上線,有效地支撐秒殺場景。

2022年6月,存儲引擎LETUS在螞蟻數(shù)字藏品平臺鯨探上全面落地,實現(xiàn)從灰度雙寫切為單寫,并在性能水位提升200%的同時,將生產環(huán)境下存儲成本降低75%。

 
03
在產業(yè)數(shù)字化的浪潮中修路

回顧2020年7月份,螞蟻鏈品牌升級的的發(fā)布會上,蔣國飛曾經給螞蟻鏈標注了一個定位:始于區(qū)塊,鏈接產業(yè)。

如今,回過頭來看,螞蟻鏈一直在踐行這一發(fā)展路徑。

技術上,過去兩年,螞蟻鏈先后發(fā)布區(qū)塊鏈一體機、新一代區(qū)塊鏈高速通信網絡BTN、可信上鏈MaaS模組、數(shù)據(jù)隱私協(xié)作平臺FAIR、區(qū)塊鏈安全芯片等創(chuàng)新技術產品。

在共識協(xié)議、智能合約、網絡傳輸、存儲引擎、跨鏈技術、隱私保護等領域堅持自研并一直處于全球領先水平。

產業(yè)上,落地國際貿易、港航物流、工業(yè)制造、食品溯源等實體場景,形成了成熟的解決方案。2020、2021年,螞蟻鏈連續(xù)兩年位居中國BaaS市場份額第一,并在今年成為唯一入選Forrester中國區(qū)塊鏈平臺領導者象限的企業(yè)。

為解決更多產業(yè)的實際問題,螞蟻鏈正在不斷把握“區(qū)塊鏈”技術多帶來的核心能力——即數(shù)字化世界中的價值確定和轉移能力,來構建一個全面立體化的信任基礎設施,承載數(shù)字化世界的價值流轉體系。

首先,產業(yè)數(shù)字化的升級的第一步是要完成對資產的數(shù)字化改造。

螞蟻鏈聯(lián)合廣和通、移遠通信合作伙伴推出無線通信模組AntChain MaaS,通過基于設備唯一特征的可信根,讓終端設備自動連接區(qū)塊鏈,實現(xiàn)物聯(lián)網數(shù)據(jù)可信上鏈。

這樣一來,大量沉睡的物理設備資產被激活,通過一個小小的模組建立起物理世界到數(shù)字化世界的硬鏈接。

這好比移動支付時代的POS機一樣,解決了顧客、店主、店員三者間的公平交易和委托代理難題,讓本不能發(fā)生的資產交易得以發(fā)生,讓本不能實現(xiàn)的合作得以合作。

華鐵應急是工程設備租賃的龍頭企業(yè),在全國有180多個租賃服務中心,高空作業(yè)平臺等設備資產規(guī)模超100億。如何用“輕辦法”管理好這些“重資產”,是華鐵提高運營能力的關鍵。

華鐵應急與螞蟻聯(lián)合研發(fā)工程機械可信終端T-box,實現(xiàn)高空作業(yè)設備自動連接區(qū)塊鏈,實現(xiàn)設備運營數(shù)據(jù)源頭“上鏈”?;诳尚艛?shù)據(jù),可以將生產方、運營方、承租方和金融機構等關聯(lián)方通過區(qū)塊鏈連接起來,讓資金方實時掌握設備運行情況,強化對設備資產的收益估算和風險控制。同時也讓運營方可以根據(jù)數(shù)據(jù)來提升設備管理和運營效能。

其次,實現(xiàn)資產數(shù)字化與數(shù)據(jù)資產化流轉。螞蟻鏈深度融合隱私計算和區(qū)塊鏈這兩項技術的優(yōu)勢開發(fā)了隱私協(xié)作平臺(FAIR),協(xié)作流程由智能合約驅動,數(shù)據(jù)流轉由隱私計算引擎來解決,并通過區(qū)塊鏈技術確權,登記和交易共識。在數(shù)據(jù)共享過程中有效保護個人信息,實現(xiàn)全流程可記錄、可驗證、可追溯、可審計。

在強調“數(shù)據(jù)流轉”的數(shù)字經濟時代,F(xiàn)AIR平臺的重要性不言自明。

區(qū)塊鏈技術是螞蟻鏈的技術起點。

在蔣國飛看來,區(qū)塊鏈技術發(fā)展的本質,就像鐵路運輸貨物,我們不僅需要一個又一個的小車站,更需要鐵軌、汽車、裝卸、道路安全等要素,以保證流通,而區(qū)塊鏈技術就是一條條交錯復雜的鐵軌。

鐵路運輸貨物,是不會對貨物“挑肥揀瘦”的。

未來,區(qū)塊鏈的應用也應當是泛行業(yè)的,它將在全球范圍內、各行各業(yè)中對現(xiàn)有生產力、生產資料與生產關系進行重塑,讓信任像信息一樣自由流轉、高效、透明、對等協(xié)同。

而站在當下,那仍然是一個宏大的敘事,充滿了迷人的未知。

作為“修路工”的螞蟻鏈,如今在做的就是在基礎技術和創(chuàng)新技術領域持續(xù)投入研發(fā),踏踏實實把路修大、修好。

相關推薦

電子產業(yè)圖譜