老貓內(nèi)參3：搭建高性能仿真平臺(tái)

1.概述

高性能計(jì)算（High Performance Computing，簡(jiǎn)稱HPC）是計(jì)算機(jī)科學(xué)的一個(gè)分支，研究并行算法和開發(fā)相關(guān)軟件，致力于開發(fā)高性能計(jì)算機(jī)（High Performance Computer），滿足科學(xué)計(jì)算、工程計(jì)算、海量數(shù)據(jù)處理等需要。自從1946年設(shè)計(jì)用于導(dǎo)彈彈道計(jì)算的世界上第一臺(tái)現(xiàn)代計(jì)算機(jī)誕生開始，計(jì)算技術(shù)應(yīng)用領(lǐng)域不斷擴(kuò)大，各應(yīng)用領(lǐng)域?qū)τ?jì)算機(jī)的處理能力需求越來(lái)越高，這也促使了高性能計(jì)算機(jī)和高性能計(jì)算技術(shù)不斷向前發(fā)展。隨著信息化社會(huì)的飛速發(fā)展，人類對(duì)信息處理能力的要求越來(lái)越高，不僅石油勘探、氣象預(yù)報(bào)、航天國(guó)防、科學(xué)研究等需求高性能計(jì)算機(jī)，而金融、政府信息化、教育、企業(yè)、網(wǎng)絡(luò)游戲等更廣泛的領(lǐng)域?qū)Ω咝阅苡?jì)算的需求也迅猛增長(zhǎng)。應(yīng)用需求是高性能計(jì)算技術(shù)發(fā)展的根本動(dòng)力。傳統(tǒng)的高性能計(jì)算應(yīng)用領(lǐng)域包括：量子化學(xué)、分子模擬、氣象預(yù)報(bào)、天氣研究、油氣勘探、流體力學(xué)、結(jié)構(gòu)力學(xué)、核反應(yīng)等。隨著經(jīng)濟(jì)發(fā)展和社會(huì)進(jìn)步，科學(xué)研究、經(jīng)濟(jì)建設(shè)、國(guó)防安全等領(lǐng)域?qū)Ω咝阅苡?jì)算設(shè)施及環(huán)境提出了越來(lái)越高的需求，不僅高性能計(jì)算的應(yīng)用需求急劇增大，而且應(yīng)用范圍從傳統(tǒng)領(lǐng)域不斷擴(kuò)大到資源環(huán)境、航空航天、新材料、新能源、醫(yī)療衛(wèi)生、金融、文化產(chǎn)業(yè)等經(jīng)濟(jì)和社會(huì)發(fā)展的眾多領(lǐng)域。

圖 1 全球HPC TOP500統(tǒng)計(jì)數(shù)據(jù)顯示高性能計(jì)算能力成倍增長(zhǎng)解決上述關(guān)系國(guó)家戰(zhàn)略和國(guó)計(jì)民生的重大挑戰(zhàn)性問題都離不開高性能計(jì)算的強(qiáng)力支撐，可以預(yù)見在戰(zhàn)略層面，各國(guó)對(duì)高性能計(jì)算的投入會(huì)持續(xù)增長(zhǎng)，而中國(guó)將更加發(fā)力；在技術(shù)層面上，高性能計(jì)算的應(yīng)用范圍將越來(lái)越廣，發(fā)過來(lái)應(yīng)用需求也將催生高性能計(jì)算新技術(shù)的誕生與發(fā)展。

2.搭建原則

計(jì)算平臺(tái)建設(shè)要充分考慮未來(lái)的發(fā)展需求，包括多項(xiàng)目、多任務(wù)并行協(xié)同，遠(yuǎn)程任務(wù)提交與監(jiān)控等。高性能仿真平臺(tái)的建設(shè)總體原則是立足眼前、面向未來(lái)，仿真平臺(tái)不僅要能夠完全滿足目前我部門的設(shè)計(jì)需要，還要具有前瞻性和可擴(kuò)展性，滿足未來(lái)至少5年的應(yīng)用需求。

能夠適應(yīng)復(fù)雜的計(jì)算需求

由于高性能計(jì)算中心需求復(fù)雜，需要滿足各種應(yīng)用需求。對(duì)于天線陣列與天線罩的仿真與建模，需要采用高性能的圖形工作站；對(duì)于常規(guī)的計(jì)算密集型應(yīng)用，往往適合大規(guī)模的多節(jié)點(diǎn)并行，使用常規(guī)的刀片集群來(lái)滿足；對(duì)于無(wú)法進(jìn)行多節(jié)點(diǎn)跨節(jié)點(diǎn)并行的多線程應(yīng)用，對(duì)內(nèi)存、IO需求的較為強(qiáng)烈，SMP胖節(jié)點(diǎn)可以提供單節(jié)點(diǎn)更強(qiáng)的性能，更高的內(nèi)存和IO擴(kuò)展性需求，和廣泛的外插卡擴(kuò)展性，一般配置SMP 胖節(jié)點(diǎn)來(lái)滿足應(yīng)用需求。

采用高速互聯(lián)網(wǎng)絡(luò)

大規(guī)模并行計(jì)算在計(jì)算過程中對(duì)網(wǎng)絡(luò)有較大的需求，高帶寬和低延時(shí)的InfiniBand網(wǎng)絡(luò)會(huì)帶來(lái)應(yīng)用性能和擴(kuò)展性的大幅提升，尤其隨著CPU多核化的快速發(fā)展，單節(jié)點(diǎn)的計(jì)算性能越來(lái)越強(qiáng)，帶來(lái)節(jié)點(diǎn)間通訊的壓力越來(lái)越大，InfiniBand網(wǎng)絡(luò)幾乎成為許多高性能計(jì)算應(yīng)用的標(biāo)配。同時(shí)，高性能集群對(duì)共享文件系統(tǒng)的需求也要求數(shù)據(jù)通過網(wǎng)絡(luò)來(lái)對(duì)集中存儲(chǔ)進(jìn)行訪問，高帶寬的InfiniBand網(wǎng)絡(luò)也會(huì)帶來(lái)數(shù)據(jù)訪問性能的快速增長(zhǎng)。文件系統(tǒng)并行和權(quán)限分級(jí)高性能計(jì)算中心應(yīng)用計(jì)算能力強(qiáng)、應(yīng)用數(shù)量多，除了一部分高IO應(yīng)用會(huì)給共享文件系統(tǒng)帶來(lái)較大壓力，同時(shí)，海量任務(wù)的并發(fā)讀寫也會(huì)帶給文件系統(tǒng)的較大負(fù)載。同時(shí)，海量的數(shù)據(jù)和高性能集群統(tǒng)一文件映像的需求，也要求高性能計(jì)算中心有一個(gè)海量的單一文件分區(qū)。需要采用并行文件系統(tǒng)，并行文件系統(tǒng)通過軟件的方式能夠?qū)崿F(xiàn)多個(gè)存儲(chǔ)空間的單一分區(qū)和并發(fā)讀寫，突破硬件資源設(shè)計(jì)的瓶頸，帶來(lái)靈活的擴(kuò)展性和性能的大幅提升。同時(shí)，面對(duì)不同的用戶的權(quán)限要求，需要分出幾個(gè)層次，用戶享有的數(shù)據(jù)安全性程度也有不同。同時(shí)，不同應(yīng)用的文件訪問類型也有明顯不同，有的是大文件為主，有的是小文件，但是數(shù)量巨大。所以在方案設(shè)計(jì)中，最好使用分層次的分級(jí)存儲(chǔ)。

配置管理調(diào)度系統(tǒng)

由于高性能計(jì)算中心用戶數(shù)量多，權(quán)限有一定差異，離散度高，帶來(lái)管理的難度加大。同時(shí)，由于計(jì)算中心的運(yùn)維方主要給用戶提供服務(wù)，所以對(duì)用戶的使用權(quán)限、記帳、管理等方面要求比較高。所以高性能計(jì)算中心對(duì)管理軟件和調(diào)度軟件的要求較高，一般除了普通的調(diào)度功能外，還要可以實(shí)現(xiàn)靈活的策略分配和權(quán)限分配，作業(yè)記帳、用戶搶占，限制用戶登入、報(bào)警、系統(tǒng)快速恢復(fù)等等功能。同時(shí)，還要制定一定的規(guī)章制度，來(lái)規(guī)范用戶對(duì)資源的申請(qǐng)、使用和分配。

低能耗要求

由于高性能計(jì)算中心規(guī)模大，所以電費(fèi)開支是一項(xiàng)不小的開銷。一般一年的電量達(dá)到上萬(wàn)甚至數(shù)十萬(wàn)千瓦時(shí)，所以節(jié)能環(huán)保不但能實(shí)現(xiàn)設(shè)備的綠色低碳，同時(shí)也能大大降低運(yùn)維費(fèi)用。考慮到節(jié)能需求，方案中采用刀片服務(wù)器、低功耗處理器、節(jié)能軟件、高制冷效率基礎(chǔ)設(shè)施(水冷機(jī)組或封閉式制冷機(jī)柜)等方式實(shí)現(xiàn)綠色節(jié)能。

能實(shí)現(xiàn)遠(yuǎn)程操作與監(jiān)控

傳統(tǒng)的HPC應(yīng)用軟件有一定的使用難度，尤其Linux操作系統(tǒng)和作業(yè)提交腳本，對(duì)于大部分習(xí)慣windows的用戶來(lái)說(shuō)，成為擺在面前的一個(gè)技術(shù)壁壘。同時(shí)，常規(guī)的用戶通過SSH 遠(yuǎn)程登錄的使用模式，使得用戶有很多權(quán)限可以順利登陸到高性能集群上進(jìn)行各種操作，也帶來(lái)了巨大的安全隱患。定制化的、針對(duì)應(yīng)用軟件的Web Portal可以很好的解決這些問題。Web Portal可以大大降低應(yīng)用軟件使用難度，保證系統(tǒng)安全性，更好的為用戶提供高性能計(jì)算服務(wù)。

高數(shù)據(jù)安全性

在高性能集群上的用戶數(shù)據(jù)眾多，數(shù)據(jù)安全非常重要，數(shù)據(jù)安全主要包含兩方面的內(nèi)容第一方面，可能遭到網(wǎng)絡(luò)黑客的遠(yuǎn)程攻擊，或者其它用戶的竊取，或者由于用戶名密碼的丟失被竊取。解決方法可以是使用防火墻、加密文件系統(tǒng)、以及加密認(rèn)證登陸系統(tǒng)來(lái)進(jìn)行安全防護(hù)（如堡壘機(jī)等）。第二方面，指的是由于設(shè)備故障或地震、火災(zāi)等因素造成的數(shù)據(jù)丟失。解決方法可以使用數(shù)據(jù)備份等方式來(lái)解決。

3.高性能仿真平臺(tái)

高性能仿真平臺(tái)包含兩大部分：軟件系統(tǒng)和硬件系統(tǒng)。根據(jù)模型計(jì)算量首選確定仿真軟件的配置規(guī)模，進(jìn)一步牽引出硬件的合理搭配環(huán)境。

3.1. 軟件系統(tǒng)

為完成高性能計(jì)算，軟件系統(tǒng)從兩方面來(lái)解決超大計(jì)算量問題：1.多種混合算法實(shí)現(xiàn)電大尺寸問題的精確求解2.采用高性能計(jì)算（HPC）擴(kuò)展求解規(guī)模

3.1.1.多種混合算法實(shí)現(xiàn)電大尺寸問題的精確求解

在HFSS的多種算法中，有限元法（FEM）擅長(zhǎng)處理復(fù)雜結(jié)構(gòu)和介質(zhì)材料，矩量法（MoM）則擅長(zhǎng)求解純金屬電大尺寸的開放空間問題，而PO光學(xué)法可以快速評(píng)估大尺寸模型的性能與結(jié)果，SBR彈跳射線法作為一種高效高精度的光學(xué)算法，適用于金屬材料的大尺寸快速求解，并作為混合算法的其中一項(xiàng)，主要針對(duì)天線類布局與RCS計(jì)算等。例如，天線與天線罩裝配到飛機(jī)上之后是典型的大尺寸且復(fù)雜的問題。在ANSYS軟件中，HFSS（有限元法模塊）和HFSS-IE（積分方程法模塊），PO光學(xué)法模塊（包含于IE模塊內(nèi)部），即三維矩量法）實(shí)現(xiàn)了完美融合，可通過FEBI邊界和IE Region、PO Region技術(shù)將幾種算法應(yīng)用到一個(gè)模型的求解中，結(jié)合了各種算法的優(yōu)點(diǎn)，非常適合電大尺寸問題的精確求解以及快速評(píng)估。1）可以將邊界（FEBI邊界）設(shè)置的離目標(biāo)更近，減小求解網(wǎng)格量；

圖2 天線罩與天線的的混合算法示意圖——FEBI邊界的應(yīng)用2）可以是凹形的，容易實(shí)現(xiàn)與任意形狀復(fù)雜結(jié)構(gòu)共形；3）模型可以分離，用于仿真模型分離的情況；

圖3 天線罩與天線的的混合算法示意圖——模型的分離

3.1.2.采用高性能計(jì)算（HPC）擴(kuò)展求解規(guī)模

ANSYS軟件中高性能計(jì)算（HPC）選項(xiàng)采用了區(qū)域分解（DDM）技術(shù)，可以突破單節(jié)點(diǎn)硬件的限制，實(shí)現(xiàn)高性能并行計(jì)算，擴(kuò)展求解規(guī)模。

 圖4a

圖4b

圖5 HPC與DDM加速比、內(nèi)存占用與子域個(gè)數(shù)的關(guān)系曲線DDM技術(shù)通過利用局域網(wǎng)內(nèi)計(jì)算機(jī)的所有內(nèi)存對(duì)大規(guī)模問題進(jìn)行仿真。HFSS會(huì)根據(jù)網(wǎng)格規(guī)模和用于計(jì)算的處理器核/計(jì)算機(jī)數(shù)目將待求解問題的劃分子域數(shù)目進(jìn)行優(yōu)化；DDM算法會(huì)自動(dòng)將有限元網(wǎng)格按上述優(yōu)化的結(jié)果分解成若干子域。每個(gè)子域會(huì)單獨(dú)進(jìn)行分析，然后通過在子域間的交接面上的迭代重構(gòu)出整個(gè)域的解。這種網(wǎng)絡(luò)內(nèi)存共享機(jī)制可對(duì)超出單機(jī)計(jì)算規(guī)模的大型問題進(jìn)行仿真。

此外，DDM技術(shù)還可降低仿真時(shí)間和總內(nèi)存需求，在某些問題上隨著參與計(jì)算的核數(shù)的增加可提供超線性的加速比。由于HFSS仿真所需的求解時(shí)間和內(nèi)存隨求解未知量增長(zhǎng)的關(guān)系大約滿足N1.4（N為未知量數(shù)目）。采用8核的計(jì)算機(jī)進(jìn)行求解時(shí)，去除一個(gè)核作為頭節(jié)點(diǎn)，可將待求解模型分為7個(gè)子域，因此，求解速度可以提升約71.4（15倍）。如下圖顯示了采用DDM求解F-35上的機(jī)載天線時(shí)的加速比和內(nèi)存占用隨求解核數(shù)（求解核數(shù)＝子域數(shù)目+1）增加的規(guī)律，在此問題上，DDM呈現(xiàn)出了超線性加速比特性。HPC高效并行算法，是一種結(jié)合了MPI技術(shù)的并行算法。消息傳遞MPI是目前使用最為廣泛的實(shí)現(xiàn)并行計(jì)算的一種方式.在消息傳遞模型中，計(jì)算由一個(gè)或者多個(gè)進(jìn)程構(gòu)成，進(jìn)程間的通信通過調(diào)用庫(kù)函數(shù)發(fā)送和接收消息來(lái)完成.通信是一種協(xié)同的行為。HPC結(jié)合DDM，可以實(shí)現(xiàn)大規(guī)模問題的高效并行求解。最新的HPC模塊增加了頻譜分解（SDDM）功能，可自動(dòng)將寬帶掃頻的各個(gè)頻點(diǎn)分配到多個(gè)處理器或計(jì)算機(jī)求解，并自動(dòng)生成掃頻結(jié)果。該方法極大減少了獲取寬帶頻域求解的總仿真時(shí)間。

圖6 HPC 區(qū)域分解示意圖最新的HPC模塊增加了頻譜分解（SDDM）功能，支持離功掃頻與插值掃頻。可自動(dòng)將寬帶掃頻的各個(gè)頻點(diǎn)分配到多個(gè)處理器或計(jì)算機(jī)求解，并自動(dòng)生成掃頻結(jié)果，極大減少了獲取寬帶頻域求解的總仿真時(shí)間。

圖7 頻譜分解技術(shù)——并行的掃頻方式分布式求解DSO技術(shù)，與OPT模塊結(jié)合，可支持多參數(shù)的分布式掃描與計(jì)算， 將設(shè)計(jì)參數(shù)分配到多個(gè)處理器或計(jì)算機(jī)求解，加速設(shè)計(jì)參數(shù)掃描進(jìn)程。

圖 8  分布式參掃技術(shù)——并行的參數(shù)掃描與加速2017版本以后，HFSS軟件增加了GPU加速的功能，可加速頻域FEM有限元的直接法求解與時(shí)域有限元模塊的求解。GPU加速功能的加入，并不會(huì)增加License的購(gòu)買成本，而是免費(fèi)提供。例如，客戶購(gòu)買了一個(gè)8核的HPC，可調(diào)用一塊GPU顯示。如果購(gòu)買更多的HPC，則每8個(gè)CPU，可搭配一個(gè)GPU使用。

圖 9  介質(zhì)諧振天線的頻域FEM求解

圖 10  探地雷達(dá)與連接器等的時(shí)域有限元求解

3.2.硬件系統(tǒng)

• 依據(jù)大規(guī)模電磁計(jì)算軟件的特點(diǎn)，采用普通刀片節(jié)點(diǎn)和胖刀片節(jié)點(diǎn)結(jié)合的集群方案，集群計(jì)算系統(tǒng)共可實(shí)現(xiàn)2240核CPU、12TB內(nèi)存資源總和，整體雙精度浮點(diǎn)計(jì)算理論峰值性能達(dá)到75萬(wàn)億次每秒。

配置雙路胖刀片計(jì)算節(jié)點(diǎn)10臺(tái)（每臺(tái)512GB內(nèi)存）, CPU采用Intel E5 V4系列，CPU總核心數(shù)達(dá)到560，總內(nèi)存數(shù)達(dá)到5TB，雙精度浮點(diǎn)計(jì)算峰值性能達(dá)到10.7萬(wàn)億次每秒。該配置的刀片主要適用于內(nèi)存空間開銷非常大的電磁計(jì)算，并行前處理或DMP方式并行計(jì)算的問題的仿真計(jì)算。配置高性能圖形工作站10臺(tái)，用于仿真計(jì)算過程的建模與前處理等對(duì)圖形要求較高的工作，并且可以用于小規(guī)模問題的計(jì)算，提高高性能計(jì)算的靈活性。集群存儲(chǔ)采用分布式并行存儲(chǔ)系統(tǒng)，裸容量200TB，提供集群軟件的基本共享存儲(chǔ)空間，及所有用戶數(shù)據(jù)的統(tǒng)一集中存儲(chǔ)和管理（各用戶的算例數(shù)據(jù)可共享也可私有）。集群配置管理/登錄節(jié)點(diǎn)2臺(tái)。集群滿載總功耗峰值按照集群配置核算，機(jī)房配電、冷卻、及電費(fèi)與此密切相關(guān)。計(jì)算及存儲(chǔ)網(wǎng)絡(luò)采用100Gb/s EDR InfiniBand（為當(dāng)前業(yè)界帶寬最大且速度最快網(wǎng)絡(luò)），采用模塊化InfiniBand交換機(jī)，實(shí)現(xiàn)系統(tǒng)全線速交換。提供完備的集群系統(tǒng)軟件，包括：節(jié)點(diǎn)Linux操作系統(tǒng)；供應(yīng)商集群操作系統(tǒng)應(yīng)提供系統(tǒng)監(jiān)控、管理、告警、統(tǒng)計(jì)、作業(yè)調(diào)度等功能和組件；OpenMP及MPI并行開發(fā)環(huán)境，GPU開發(fā)環(huán)境，以及其它相關(guān)的HPC開發(fā)運(yùn)行環(huán)境。作業(yè)提交和管理軟件。實(shí)現(xiàn)所有日常計(jì)算作業(yè)的提交和作業(yè)管理，以及滿足某些不了解Linux的Windows用戶，在無(wú)需另外學(xué)習(xí)了解Linux的情況下，能有效便捷地使用Linux高性能計(jì)算集群。

• 配置雙路普通刀片計(jì)算節(jié)點(diǎn)60臺(tái)（每臺(tái)128GB內(nèi)存）, CPU采用Intel E5 V4系列，CPU總核心數(shù)達(dá)到1680，總內(nèi)存數(shù)達(dá)到7TB，雙精度浮點(diǎn)計(jì)算峰值性能達(dá)到64.5萬(wàn)億次每秒。該配置的刀片主要適用于，絕大多數(shù)常規(guī)CAE流體、結(jié)構(gòu)、電磁等問題的仿真計(jì)算。

4.系統(tǒng)構(gòu)成

4.1.系統(tǒng)拓?fù)浣Y(jié)構(gòu)

圖11 高性能計(jì)算系統(tǒng)拓?fù)浣Y(jié)構(gòu)圖

4.2.計(jì)算系統(tǒng)

高性能計(jì)算應(yīng)用最為核心的需求仍然是計(jì)算能力，高性能計(jì)算機(jī)峰值計(jì)算能力代表著高性能計(jì)算機(jī)的整體處理能力，而對(duì)于大部分的高性能計(jì)算應(yīng)用，對(duì)計(jì)算資源的海量需求仍然是最為迫切和直接的需求。在高性能計(jì)算過程中，會(huì)進(jìn)行大量的內(nèi)存訪問，對(duì)內(nèi)存的容量和訪問速度都有很高的需求。尤其隨著CPU多核化的快速發(fā)展，對(duì)內(nèi)存的訪問能力提出了新的需求，同時(shí)，隨著CPU的不斷升級(jí)，內(nèi)存通道的數(shù)量及內(nèi)存的頻率也在不斷升級(jí)。從應(yīng)用需求出發(fā)，高性能計(jì)算機(jī)的部件及架構(gòu)要適合具體的高性能計(jì)算應(yīng)用。我們目前關(guān)注的電大尺寸復(fù)雜天線罩的結(jié)構(gòu)和電磁計(jì)算，需要大內(nèi)存、共享存儲(chǔ)擴(kuò)展等需求，因此系統(tǒng)需要配置大內(nèi)存及多路胖節(jié)點(diǎn)，并考慮總體計(jì)算峰值。考慮到上述要求，本集群系統(tǒng)整體雙精度峰值達(dá)到75萬(wàn)億次。共配置70片刀片服務(wù)器，配置雙路普通刀片計(jì)算節(jié)點(diǎn)60臺(tái)（128GB DDR4內(nèi)存），配置雙路胖刀片計(jì)算節(jié)點(diǎn)10臺(tái)（512GB DDR4內(nèi)存），這70片刀片安裝在高性能刀箱中。每個(gè)刀片服務(wù)器配置2顆14核Intel Xeon E5-2680 v4處理器，主頻2.4GHz。這樣的配置可以滿足我們未來(lái)五年的計(jì)算需求，實(shí)現(xiàn)大型電磁仿真計(jì)算。

4.3. 存儲(chǔ)系統(tǒng)

高性能計(jì)算集群在多個(gè)節(jié)點(diǎn)進(jìn)行大規(guī)模并行計(jì)算的同時(shí)，需要進(jìn)行大量文件及數(shù)據(jù)訪問，對(duì)于系統(tǒng)的存儲(chǔ)性能也提出非常高的要求。為保證參與計(jì)算的所有節(jié)點(diǎn)具有統(tǒng)一的文件映象，需要通過網(wǎng)絡(luò)文件系統(tǒng)來(lái)實(shí)現(xiàn)，由于集群規(guī)模的增大和訪問性能的要求逐漸提高，并行文件系統(tǒng)在中大規(guī)模的高性能集群中使用越來(lái)越廣泛。對(duì)于某些規(guī)模較大集群，或者某些高IO應(yīng)用集群，由于對(duì)存儲(chǔ)的訪問量很大，對(duì)共享存儲(chǔ)的訪問性能也提出了較高要求，可以通過并行存儲(chǔ)系統(tǒng)來(lái)實(shí)現(xiàn)海量文件的并發(fā)讀寫。并且集群集中存儲(chǔ)的容量要求能夠適應(yīng)我單位的應(yīng)用要求。高性能集群承擔(dān)著重要的科研任務(wù)，存儲(chǔ)的數(shù)據(jù)具有極高的價(jià)值，同時(shí)，存儲(chǔ)為全局系統(tǒng)，一旦出現(xiàn)故障，將導(dǎo)致整個(gè)系統(tǒng)不可用。所以在存儲(chǔ)系統(tǒng)中，無(wú)論IO節(jié)點(diǎn)、存儲(chǔ)交換機(jī)、還是存儲(chǔ)磁盤陣列，存儲(chǔ)介質(zhì)，每個(gè)環(huán)節(jié)都要盡可能的保證高可靠性和高可用性?？梢酝ㄟ^冗余電源、高級(jí)別RAID、雙機(jī)熱備、數(shù)據(jù)備份等各種手段保證存儲(chǔ)系統(tǒng)的高可靠性。本方案采用1套分布式并行存儲(chǔ)系統(tǒng)，作為集群共享存儲(chǔ)系統(tǒng)，總?cè)萘窟_(dá)到200TB，并且具有可擴(kuò)展性，滿足我單位未來(lái)五年的仿真設(shè)計(jì)要求。

4.4.網(wǎng)絡(luò)系統(tǒng)

4.4.1.管理網(wǎng)絡(luò)

本項(xiàng)目核心層采用一臺(tái)48端口千兆交換機(jī)。管理節(jié)點(diǎn)、登錄節(jié)點(diǎn)、刀片計(jì)算節(jié)點(diǎn)，采用千兆以太網(wǎng)絡(luò)直接連入千兆交換機(jī)，該方案在保證管理網(wǎng)絡(luò)性能的同時(shí)，為系統(tǒng)的擴(kuò)充也預(yù)留了一定空間。

4.4.2.EDR InfiniBand計(jì)算/存儲(chǔ)網(wǎng)絡(luò)

以MPI為代表的并行高性能計(jì)算程序，在多節(jié)點(diǎn)并行運(yùn)行時(shí)有頻繁大量的網(wǎng)絡(luò)數(shù)據(jù)通信，計(jì)算網(wǎng)絡(luò)的性能對(duì)并行程序的計(jì)算性能、并行加速比以及可擴(kuò)展性有決定性的影響。這主要反映在兩方面。如果并行計(jì)算程序的數(shù)據(jù)通信以小數(shù)據(jù)包為主，且數(shù)據(jù)交換非常頻繁，這一類并行程序?qū)τ?jì)算網(wǎng)絡(luò)的延遲性能非常敏感，計(jì)算網(wǎng)絡(luò)的延遲越低，程序的并行性能越好；如果并行計(jì)算程序數(shù)據(jù)通信大數(shù)據(jù)包較多，則對(duì)計(jì)算網(wǎng)絡(luò)的帶寬性能敏感，計(jì)算網(wǎng)絡(luò)的帶寬越高，程序的并行性能越好。實(shí)際情況中，大部分并行應(yīng)用程序對(duì)計(jì)算網(wǎng)絡(luò)的帶寬和延遲性能都非常依賴，低延遲、高帶寬的計(jì)算網(wǎng)絡(luò)是大規(guī)模并行計(jì)算必不可少的要素。另一方面，目前大規(guī)模高性能計(jì)算集群均采用分布式并行存儲(chǔ)架構(gòu)，集群的規(guī)模越大，或者應(yīng)用程序?qū)Υ鎯?chǔ)I/O性能要求越高，則對(duì)并行存儲(chǔ)系統(tǒng)的存儲(chǔ)網(wǎng)絡(luò)性能要求越高，要求存儲(chǔ)網(wǎng)絡(luò)具有低延遲、高帶寬的特性。因此，本系統(tǒng)方案采用目前業(yè)界最高性能的100Gb/s InfiniBandEDR高速網(wǎng)絡(luò)，用作并行計(jì)算程序的計(jì)算網(wǎng)絡(luò)以及并行存儲(chǔ)系統(tǒng)的存儲(chǔ)網(wǎng)絡(luò)。系統(tǒng)配置1臺(tái)108端口模塊化EDR InfiniBand交換機(jī)實(shí)現(xiàn)全線速交換。

4.5.管理服務(wù)節(jié)點(diǎn)

管理節(jié)點(diǎn)主要用于運(yùn)行集群監(jiān)控管理軟件license、用戶信息管理服務(wù)、InfiniBand子網(wǎng)管理服務(wù)、作業(yè)調(diào)度服務(wù)、時(shí)間同步服務(wù)等集群系統(tǒng)服務(wù)。這些關(guān)鍵系統(tǒng)服務(wù)均配置為互備冗余模式，保障整個(gè)集群系統(tǒng)的高可用性。管理節(jié)點(diǎn)硬件本身也配置有冗余電源、本地硬盤RAID保護(hù)等可靠性保障措施。登錄節(jié)點(diǎn)主要用于用戶程序編譯、算例準(zhǔn)備，文件上傳下載，作業(yè)提交控制等用戶交互操作。登陸節(jié)點(diǎn)CPU與計(jì)算節(jié)點(diǎn)架構(gòu)相同，保障用戶編譯程序的執(zhí)行效率。登陸節(jié)點(diǎn)也可配置CPU、MIC和GPU等開發(fā)環(huán)境，方便用戶進(jìn)行相關(guān)程序的開發(fā)調(diào)試。管理和登陸節(jié)點(diǎn)采用千兆直接接入集群管理網(wǎng)絡(luò)，可通過獨(dú)立硬件負(fù)載均衡設(shè)備，實(shí)現(xiàn)用戶接入的動(dòng)態(tài)負(fù)載均衡和高可用。

4.6.高性能圖形工作站

為符合工程仿真設(shè)計(jì)的應(yīng)用場(chǎng)景及要求，包括多人多任務(wù)操作、前后處理要求具有較好的圖形顯示功能、小規(guī)模問題計(jì)算等，此次平臺(tái)建設(shè)選擇多臺(tái)高性能圖形工作站配合刀片集群配合使用的方案。圖形工作站有出色的圖形處理能力，搭配工程師更為熟悉的Windows操作系統(tǒng)，非常適合仿真設(shè)計(jì)中的前后處理等對(duì)圖形處理要求比較高的工作，尤其在對(duì)復(fù)雜天線罩建模的過程中，需要高性能的GPU支持才能有較好的設(shè)計(jì)體驗(yàn)。

5.后注

高性能計(jì)算中心的配置屬于大型投資，需要應(yīng)用方和供應(yīng)商深度協(xié)作，達(dá)成符合應(yīng)用方需求的最佳配置和使用方式，這里只是將其搭建的各個(gè)方面簡(jiǎn)單展現(xiàn)，且高性能計(jì)算市場(chǎng)風(fēng)起云涌，變幻莫測(cè)，這里的信息以及是幾年前的建議，不具有實(shí)際操作價(jià)值，勿照搬本文所列配置。