谷歌最強(qiáng)開(kāi)源模型Gemma 2發(fā)布！270億參數(shù)奇襲Llama 3，單張A100可全精度推理

作者 |??ZeR0，編輯?|??漠影

可在單張A100/H100?GPU或TPU主機(jī)上高效運(yùn)行全精度推理。

智東西6月28日?qǐng)?bào)道，谷歌在I/O Connect大會(huì)上放大招，公布其新一代最強(qiáng)開(kāi)源模型——Gemma 2。Gemma 2有90億（9B）和270億（27B）兩種參數(shù)規(guī)模可用。27B模型訓(xùn)練了13T tokens，9B是8T tokens，都擁有8192上下文窗口，可在Google AI Studio中使用。

26億參數(shù)（2.6B）模型將很快發(fā)布，小到可以在手機(jī)本地運(yùn)行。在盲測(cè)大語(yǔ)言模型競(jìng)技場(chǎng)LMSYS Chatbot Arena中，270億參數(shù)的Gemma 2指令微調(diào)模型擊敗了擁有700億參數(shù)的Llama 3，并超過(guò)Nemotron 4 340B、Claude 3 Sonnet、Command R+、Qwen 72B等模型，在所有開(kāi)源權(quán)重的模型中位列第一；9B模型則是當(dāng)前15B以下參數(shù)的模型中成績(jī)最好的。

谷歌在今年早些時(shí)候推出輕量級(jí)先進(jìn)開(kāi)源模型Gemma，只有2B和7B參數(shù)版本，下載量超過(guò)1000萬(wàn)次。Gemma 2涵蓋從20億到270億參數(shù)，比第一代性能更高、推理效率更高，并且顯著改進(jìn)安全性。這是該系列模型邁出的一大步。270億參數(shù)的Gemma 2提供了與兩倍以上參數(shù)的模型競(jìng)爭(zhēng)的替代方案，提供了直到去年12月才可能實(shí)現(xiàn)的性能，而且可以在單個(gè)英偉達(dá)A100/H100 Tensor Core GPU或TPU主機(jī)上以全精度高效運(yùn)行推理，大大降低了部署成本。

在Hugging Face的基準(zhǔn)上，谷歌將Gemma 2 27B與具有類似尺寸的Qwen1.5 32B進(jìn)行了比較，還報(bào)告了Llama 3 70B的性能。Gemma 2 27B的尺寸只有Llama 3 70B的40%，訓(xùn)練數(shù)據(jù)少到Llama 3 70B的2/3。結(jié)果顯示，Gemma 2 27B優(yōu)于Qwen1.5 32B，比Llama 3 70B低幾個(gè)百分點(diǎn)。

01.重新設(shè)計(jì)架構(gòu)，Gemma 2有三大特點(diǎn)

Gemma 2的技術(shù)報(bào)告共15頁(yè)，介紹了其架構(gòu)的多項(xiàng)技術(shù)改進(jìn)，包括交替使用局部-全局注意力機(jī)制和分組查詢注意力，還使用知識(shí)蒸餾而不是下一個(gè)token預(yù)測(cè)來(lái)幫助訓(xùn)練較小的2B和9B模型。

▲Gemma模型的參數(shù)量

2.6B模型在一個(gè)TPUv5e集群的2x16x16配置上訓(xùn)練，總共用了512張芯片。9B模型在TPUv4集群的8x16x32配置上訓(xùn)練，總共4096張芯片。27B模型在TPUv5p集群的8x24x32配置上訓(xùn)練，總共用了6144張芯片。

▲用切分訓(xùn)練基礎(chǔ)設(shè)施

針對(duì)更高的性能和推理效率，谷歌在重新設(shè)計(jì)的架構(gòu)上構(gòu)建了Gemma 2。該模型采用與Gemma 1.1相似的算法配方，但用了更多的teacher監(jiān)督并執(zhí)行了模型合并。在編程、數(shù)學(xué)、推理、安全等能力上，Gemma 2都比1.1版本提升顯著。

▲主要模型參數(shù)及設(shè)計(jì)選擇的概述

結(jié)果，Gemma 2模型在其規(guī)模上提供了最佳性能，甚至提供了與大2-3倍的模型競(jìng)爭(zhēng)的替代方案。以下是其突出的特點(diǎn)：

（1）卓越性能：Gemma 2 27B在其同類大小中提供了最佳性能，甚至提供了與兩倍以上大小的模型競(jìng)爭(zhēng)的替代方案。Gemma 2 9B模型也提供了領(lǐng)先的性能，超過(guò)了Llama 3 8B和其他同類大小的開(kāi)源模型。

谷歌在各種基準(zhǔn)上比較2.6B、9B及27B模型，報(bào)告了可以與Llama 3進(jìn)行比較的8個(gè)基準(zhǔn)測(cè)試的平均性能，以及所有基準(zhǔn)測(cè)試的平均性能。Llama 3 8B的數(shù)據(jù)來(lái)自HuggingFace leaderboard或其博客。

在MMLU上，9B模型得分為71.3，27B模型為75.2；在AGIEval上，9B模型得分52.8，27B模型得分55.1；在HumanEval上，9B模型得分40.2，27B模型得分51.8。

（2）無(wú)與倫比的效率和成本節(jié)?。?/strong>Gemma 2 27B模型設(shè)計(jì)用于在單個(gè)谷歌云TPU主機(jī)、英偉達(dá)A100 80GB Tensor Core GPU或H100 Tensor Core GPU上高效運(yùn)行全精度推理，在保持高性能的同時(shí)顯著降低成本。這使得AI部署更加易于訪問(wèn)和經(jīng)濟(jì)實(shí)惠。