IBM Storage Ceph：現(xiàn)代數(shù)據(jù)湖倉的理想技術(shù)底座

作者：周立旸，IBM 大中華區(qū)科技事業(yè)部存儲軟件產(chǎn)品總監(jiān)

北京2024年2月1日?/美通社/ -- 一年前，IBM 將 Red Hat 存儲產(chǎn)品的路線圖及團隊集成至 IBM存儲業(yè)務（IBM Storage）。在此期間，企業(yè)在擴展 AI 時正面臨前所未有的數(shù)據(jù)挑戰(zhàn)：在多個位置、以多種形式存儲的數(shù)據(jù)量飆升，但數(shù)據(jù)質(zhì)量較差。為了幫助客戶解決這一問題，我們需要領(lǐng)先的解決方案對客戶的基礎(chǔ)架構(gòu)進行現(xiàn)代化改造，以支持其數(shù)字化轉(zhuǎn)型。這主要涉及在本地和云環(huán)境中提供一致的應用和數(shù)據(jù)存儲。此外，還需要幫助客戶采用云原生架構(gòu)，實現(xiàn)公有云在成本、速度和彈性等方面的優(yōu)勢。作為業(yè)界領(lǐng)先的開源軟件定義存儲平臺，IBM Storage Ceph（前身為 Red Hat Ceph）正是實現(xiàn)這一目標所需的基石。

周立旸，IBM 大中華區(qū)科技事業(yè)部存儲軟件產(chǎn)品總監(jiān)

IBM Storage Ceph：現(xiàn)代數(shù)據(jù)湖倉的理想技術(shù)底座

在數(shù)據(jù)管理方面，軟件定義存儲 (SDS) 已成為一股變革力量。與傳統(tǒng)的傳統(tǒng)存儲陣列相比，它具有許多優(yōu)勢，包括極高的靈活性與可擴展性，這非常適用于處理生成式 AI 等最新用例。借助 IBM Storage Ceph，用戶可從底層硬件中提取存儲資源，實現(xiàn)數(shù)據(jù)存儲的動態(tài)分配和高效利用。這種靈活性不僅可以簡化管理流程，還有助于提高敏捷性，適應不斷變化的業(yè)務需求，并將隨著新工作負載的增加而擴展計算和容量。這一自我修復和自我管理的平臺可在行業(yè)標準硬件上運行，并大規(guī)模地提供統(tǒng)一的文件存儲、塊存儲和對象存儲服務。[1]?統(tǒng)一存儲可以幫助客戶將在獨立文件或塊存儲上運行的傳統(tǒng)應用，和包含單一設(shè)備對象存儲的通用平臺連接起來。

Ceph 針對大型單站點和多站點部署進行了優(yōu)化，經(jīng)過高效擴展可以支持數(shù)百 PB 級數(shù)據(jù)和數(shù)百億個對象，[2]這對于傳統(tǒng)工作負載和生成式 AI 工作負載至關(guān)重要。IBM Storage Ceph 可擴展、彈性且安全，支持更傳統(tǒng)的工作負載，例如 Red Hat OpenShift 或 RedHat OpenStack 上的 MySQL 和 MongoDB，是支持數(shù)據(jù)湖倉和?AI/ML 開源框架的理想之選。這也是 IBM?watsonx.data?包含 IBM Storage Ceph 768 TiB 裸容量授權(quán)的原因之一；前者是 IBM推出的開放、可治理、定制化的數(shù)據(jù)湖倉架構(gòu)，并針對數(shù)據(jù)、分析和 AI 工作負載進行了優(yōu)化。

計算密集型和數(shù)據(jù)密集型工作負載的理想底座

非結(jié)構(gòu)化數(shù)據(jù)的爆炸式增長和生成式 AI 相互影響，也相輔相成。Gartner 在其《2023 年企業(yè)數(shù)據(jù)存儲的主要趨勢》報告中指出："到 2028 年，大型企業(yè)的本地、邊緣和公有云上的非結(jié)構(gòu)化數(shù)據(jù)將比 2023 年年中增加兩倍。"[3]?非結(jié)構(gòu)化數(shù)據(jù)（如文本、圖像和視頻）的激增為訓練生成式 AI 模型提供了廣泛而多樣的資源，而生成式 AI 可支持用戶從非結(jié)構(gòu)化數(shù)據(jù)中提前寶貴的洞察。這種協(xié)同作用形成了一個反饋循環(huán)，生成式 AI 在大量非結(jié)構(gòu)化數(shù)據(jù)的基礎(chǔ)上蓬勃發(fā)展，而 AI 持續(xù)生成的真實數(shù)據(jù)則進一步豐富和完善人們對非結(jié)構(gòu)化數(shù)據(jù)集的理解，從而促進創(chuàng)新和進步。

根據(jù)上述報告[4]，預計到 2028 年，將有 70% 的文件和對象數(shù)據(jù)部署在集成的非結(jié)構(gòu)化數(shù)據(jù)存儲平臺上（高于 2023 年的 35%），組織需要能夠加速數(shù)據(jù)提取、數(shù)據(jù)清理和分類、元數(shù)據(jù)管理和擴充、云規(guī)模容量管理和部署（如軟件定義存儲）的存儲管理解決方案。IBM Storage Ceph 可實現(xiàn)無縫擴展，滿足不斷增長的數(shù)據(jù)需求；其自我管理功能確保系統(tǒng)適應不斷變化的條件，輕松實現(xiàn)數(shù)據(jù)完整性。

為了在整個組織中加速和擴展數(shù)據(jù)和 AI，并最終改善業(yè)務成果，企業(yè)必須有意識地采用混合云設(shè)計（hybrid cloud by design）。這包括通過云原生運營模式在本地使用存儲服務，以解決公有云上的部分企業(yè)級功能不可用、數(shù)據(jù)主權(quán)和成本等問題。IBM Storage Ceph 的"即插即用"架構(gòu)簡化了與現(xiàn)有基礎(chǔ)架構(gòu)的集成，包括各種平臺、云環(huán)境、虛擬管理程序、開源數(shù)據(jù)存儲庫（如 Apache Iceberg 或 Apache Parquet）以及完整解決方案（如 watsonx.ai、watsonx.data 等）。新節(jié)點或設(shè)備可以無縫添加到集群中，而不會出現(xiàn)中斷或服務停機。它為客戶提供來一種簡單高效的方式，來使用 watsonx.data 和其他新一代 AI 工作負載構(gòu)建數(shù)據(jù)湖倉。

Snap Inc.相關(guān)負責人表示："在 Snap，我們對數(shù)據(jù)存儲的需求越來越大，需要一個能夠快速擴展、滿足性能 KPI 且具有成本效益的平臺。IBM Storage Ceph 憑借其簡單可擴展的架構(gòu)、易于管理的界面和經(jīng)濟高效的軟件定義部署，成為我們的首選平臺。IBM Storage Ceph 還擁有 IBM 的世界級專長和支持，這也是我們決定將其引入關(guān)鍵業(yè)務的一個重要原因。"

利用NVMe over TCP 技術(shù)實現(xiàn)快速數(shù)據(jù)訪問

去年，IBM 對 Ceph 進行了幾項重要更新，包括最近的 IBM Storage Ceph 7.0。新一代Ceph 平臺為 NVMe/TCP 功能做好了準備。它保留了傳統(tǒng) NVMe 的低延遲和高帶寬特性，可以在存儲設(shè)備、服務器和云平臺之間實現(xiàn)更快的數(shù)據(jù)傳輸，因此適用于需要超快速存儲訪問的應用，例如數(shù)據(jù)庫、分析和內(nèi)容傳輸；并且兼容傳統(tǒng)的網(wǎng)絡技術(shù)投資，從而簡化了基礎(chǔ)架構(gòu)。這些優(yōu)勢將幫助客戶采用軟件定義的方法，在速度、敏捷性和經(jīng)濟性方面享受云端體驗。

NVMe/TCP 可以幫助 Ceph 通過擴展架構(gòu)彌補傳統(tǒng)塊存儲的不足。借助 NVMe/TCP，Ceph 將與 VMware 等平臺集成，幫助企業(yè)在自己的數(shù)據(jù)中心復制云架構(gòu)，擺脫昂貴且固定的 SAN 網(wǎng)絡和單片存儲陣列。

Ceph 7.0 的其他新功能：

• SEC 和 FINRA 合規(guī)認證的"寫一次讀多次"?(WORM) 對象鎖定，確保對象存儲符合?WORM 合規(guī)要求
• 為非原生?Ceph 客戶端的 CephFS?文件系統(tǒng)訪問提供NFS 支持
• 如需了解該功能的更多信息，請點擊此處訪問?IBM Storage 社區(qū)

借助IBM Storage Ceph 實現(xiàn)云規(guī)模經(jīng)濟

由于?IBM Storage Ceph 將數(shù)據(jù)作為對象存儲在邏輯存儲池中，因此單個集群可以有多個存儲池，每個存儲池都將針對不同的性能或容量需求進行調(diào)整。這樣一來，客戶能夠更輕松快速地訪問各種經(jīng)過分類的內(nèi)容數(shù)據(jù)和上下文數(shù)據(jù)，存儲容量僅受組織基礎(chǔ)架構(gòu)規(guī)模的限制；與傳統(tǒng)存儲陣列架構(gòu)相比，IBM Storage Ceph可消除硬件限制，實現(xiàn)大規(guī)模成本降低。

加快價值實現(xiàn)的步伐

IBM Storage Ceph

IBM 更進一步簡化了 Ceph 部署。借助?IBM Storage Ready Nodes?for Ceph，該平臺可部署為完整的軟硬件解決方案，提供多種容量配置，針對運行 IBM Storage Ceph 工作負載進行了優(yōu)化。我們消除了配置中的不確定因素，使其更易于理解、配置和管理。

IBM Storage Ceph 的發(fā)展是 IBM 存儲的軟硬件產(chǎn)品通過擴展的容量與性能，加速價值實現(xiàn)、優(yōu)化客戶成本的又一例證。