179
今日，Graphcore（擬未）正式公布其參與MLPerf測試的最新結果。結果顯示，與首次提交的MLPerf訓練結果相比，對于ResNet-50模型，Graphcore通過軟件優(yōu)化，在IPU-POD16上實現(xiàn)了24%的性能提升，在IPU-POD64上實現(xiàn)了41%的性能提升；對于自然語言處理（NLP）模型BERT來說，在IPU-POD16上實現(xiàn)了5%的性能提升，在IPU-POD64上實現(xiàn)了12%的性能提升。此次MLPerf測試結果證明了Graphcore的IPU系統(tǒng)越來越強大、高效，軟件日益成熟且更快、更易使用。
MLPerf還對比了市面上的Graphcore與NVIDIA的產品，通過在GPU占據(jù)優(yōu)勢的模型ResNet-50上進行測試，結果表明Graphcore的IPU-POD16在計算機視覺模型ResNet-50方面的表現(xiàn)優(yōu)于NVIDIA的DGX A100。在DGX A100上訓練ResNet-50需要29.1分鐘，而IPU-POD16僅耗時28.3分鐘，這是自Graphcore首次提交以來僅通過軟件實現(xiàn)的性能提升。其中，IPU-POD16對ResNet-50的軟件驅動性能提高了24%，在IPU-POD64上對ResNet-50的軟件驅動性能提升甚至更高，達到41%，對于Graphcore具有里程碑式的意義。
Graphcore最近發(fā)布的IPU-POD128和IPU-POD256橫向擴展系統(tǒng)也得出了結果，與上一輪MLPerf訓練相比，Graphcore的IPU-POD16的BERT性能提高了5%，IPU-POD64的BERT性能提高了12%。
- 對于Graphcore較大的旗艦系統(tǒng)，在IPU-POD128上訓練ResNet-50的時間為5.67分鐘，在IPU-POD256上為3.79分鐘。
- 對于自然語言處理（NLP）模型BERT，Graphcore在開放和封閉類別分別提交了IPU-POD16、IPU-POD64和IPU-POD128的結果，在新的IPU-POD128上的訓練時間為5.78分鐘。
MLPerf的封閉分區(qū)嚴格要求提交者使用完全相同的模型實施和優(yōu)化器方法，其中包括定義超參數(shù)狀態(tài)和訓練時期。開放分區(qū)旨在通過在模型實施中提供更大的靈活性來促進創(chuàng)新，同時確保達到與封閉分區(qū)完全相同的模型準確性和質量。通過在開放分區(qū)展示BERT訓練的結果，Graphcore能夠讓客戶了解產品在實際運行中的性能，從而讓他們更傾向于使用此類優(yōu)化。
新模型在大規(guī)模系統(tǒng)上的巨大優(yōu)勢
MLPerf及其組織機構MLCommons作為第三方驗證機構，在幫助客戶獨立評估人工智能計算系統(tǒng)的能力和不同公司提供的軟件棧的成熟度方面發(fā)揮著重要作用。當然，客戶繼續(xù)在生產中使用ResNet和BERT等模型的同時，也在探索創(chuàng)新的新模型，并期待Graphcore更大的旗艦系統(tǒng)實現(xiàn)大規(guī)模機器智能。例如，在Graphcore的旗艦產品IPU-POD256上，創(chuàng)新的計算機視覺EfficientNet-B4僅用1.8小時便可完成訓練，盡管這并非Graphcore本次向MLPerf提交的內容，但在實際應用中的確有更強的性能優(yōu)勢。
此外，在絕對吞吐量性能以及擴展到更大的IPU-POD系統(tǒng)方面，Graphcore在MLPerf之外的一系列模型中也得到了一系列令人印象深刻的結果，包括用于自然語言處理的GPT類模型和用于計算機視覺的ViT（Transformer視覺模型）。
通過設計實現(xiàn)大規(guī)模高效
在本輪或任何一輪MLPerf原始數(shù)據(jù)中，每個制造商系統(tǒng)相關的主機處理器數(shù)量都十分驚人，一些參與者甚至指定要求每兩個人工智能處理器配有一個CPU。而Graphcore的主機處理器與IPU的比率始終是最低的。與其他產品不同，IPU僅使用主機服務器進行數(shù)據(jù)移動，無需主機服務器在運行時分派代碼。因此，IPU系統(tǒng)需要的主機服務器更少，從而實現(xiàn)了更靈活、更高效的橫向擴展系統(tǒng)。
對于BERT-Large這一類自然語言處理模型，IPU-POD64只需要一個雙CPU的主機服務器。ResNet-50需要更多的主機處理器來支持圖像預處理，因此Graphcore為每個IPU-POD64指定了四個雙核服務器。1比8的比例仍然低于其他所有MLPerf參與者。事實上，在本輪MLPerf 1.1訓練中，Graphcore為BERT提供了最快的單服務器訓練時間結果，為10.6分鐘。
Graphcore大中華區(qū)總裁兼全球首席營收官盧濤表示：“自2021年初首次提交MLPerf測試以來，Graphcore取得了巨大進步，這與Graphcore不懈創(chuàng)新的企業(yè)精神是分不開的。無論是設計系統(tǒng)、選擇架構之初，還是至少每三個月推出一次重大軟件更新，都是Graphcore創(chuàng)新精神的體現(xiàn)。同時，Graphcore不懈創(chuàng)新的熱情也感染和吸引了眾多軟硬件合作伙伴——從Hugging Face和PyTorch Lightning到VMware和Docker Hub，它們都積極支持Graphcore不斷創(chuàng)新，以助力AI開發(fā)者在易于使用的系統(tǒng)上獲得絕佳的人工智能計算性能。”
