小模型“反卷”大模型？適用才是真王道！

隨著“千模大戰(zhàn)”接近尾聲，由大模型掀起的算力競賽也逐漸進入“下半場”，由“建算力”過渡到“用算力”上。不同于大模型的參數(shù)量大、成本高、部署復(fù)雜，以“小而美”著稱的小模型為行業(yè)提供了新選擇。

近日，大模型頭部廠商微軟和英偉達紛紛押注小模型，相繼發(fā)布了最新的小型語言模型——Phi-3.5-mini-instruct和Mistral-NeMo-Minitron8B。這兩款模型的主要賣點是實現(xiàn)了計算資源使用和功能表現(xiàn)之間良好的平衡。更有消息稱，在某些方面，它們的性能甚至可以媲美大模型。

其實，不僅國外小模型發(fā)展提速，國內(nèi)眾多廠商也有小模型問世。比如阿里巴巴發(fā)布的Qwen1.5系列，其最小參數(shù)可達到0.5B；面壁智能發(fā)布的MiniCPM系列模型號稱最強端側(cè)模型。

顧名思義，小模型即在參數(shù)量、計算資源需求、模型規(guī)模等方面相對較小的人工智能模型。從已有產(chǎn)品不難發(fā)現(xiàn)，國內(nèi)外廠商紛紛入局小模型，既是看到了小模型相較于大模型的優(yōu)勢所在，也是積極助推人工智能模型落地的實踐。

在成本與資源利用上，小模型參數(shù)量少，對計算資源的需求較低，訓(xùn)練和推理成本也更低，這對于資源有限或預(yù)算緊張的企業(yè)來說極具吸引力。而且小模型體積小，部署相對簡單，對硬件和存儲的要求不是很高，也無需復(fù)雜的分布式計算架構(gòu)，能夠有效降低部署和維護的難度與成本。

在性能與效率平衡上，小模型的價值更多體現(xiàn)在滿足特定場景需求上，能夠更快地給出結(jié)果，實現(xiàn)實時響應(yīng)。此外，其定制性也更強，企業(yè)可以基于自身業(yè)務(wù)數(shù)據(jù)對小模型進行精調(diào)優(yōu)化，使其更貼合特定任務(wù)和場景。

在應(yīng)用場景拓展上，一方面，小模型更適應(yīng)邊緣計算需求，可以本地部署到個人電腦、手機等終端設(shè)備上并進行數(shù)據(jù)處理和分析，降低數(shù)據(jù)傳輸到云端的成本和隱私風(fēng)險。另一方面，小模型具備靈活性和低成本等特點，更利于新業(yè)務(wù)探索，降低試錯成本，幫助企業(yè)在新領(lǐng)域快速迭代和創(chuàng)新。

小模型的優(yōu)勢有目共睹，行業(yè)逐漸重視其應(yīng)用與開發(fā)，也在很大程度上給了其“反卷”大模型的勇氣。但不可否認(rèn)的是，小模型參數(shù)量較小以及訓(xùn)練數(shù)據(jù)有限，在帶來輕便、易部署等一系列優(yōu)點的同時，也暴露了可能存在理解深度與廣度不足、復(fù)雜任務(wù)處理能力有限、容易產(chǎn)生“偏見”等問題。

既然大模型與小模型各有利弊，行業(yè)應(yīng)用也應(yīng)各有所長，筆者認(rèn)為不能將大模型與小模型視為簡單的競爭關(guān)系，“適用為王”的理念更符合兩者的價值所在?！胺淳怼贝竽Ｐ?，體現(xiàn)了小模型多樣化的行業(yè)需求，小模型自身的局限性也注定了其只能作為大模型的補充，以更好地推動各行業(yè)智能化進程。

為此，筆者認(rèn)為未來大模型與小模型更趨向于協(xié)同共生。

一是實現(xiàn)協(xié)同合作。大模型作為基礎(chǔ)支撐，將繼續(xù)在通用智能、復(fù)雜任務(wù)處理、大規(guī)模數(shù)據(jù)理解等方面發(fā)揮重要作用，小模型則在大模型的基礎(chǔ)上，針對不同的行業(yè)、領(lǐng)域、場景和用戶需求進行個性化與精細(xì)化處理，支撐更精準(zhǔn)、高效的解決方案。

二是促進技術(shù)融合。大模型和小模型在訓(xùn)練和優(yōu)化過程中所采用的方法可以相互借鑒和融合。將大模型訓(xùn)練中的大規(guī)模數(shù)據(jù)處理技術(shù)、算法優(yōu)化技術(shù)應(yīng)用到小模型的訓(xùn)練中，以提高小模型的性能；同時，小模型的高效訓(xùn)練和優(yōu)化策略也可為大模型訓(xùn)練提供參考，以降低大模型訓(xùn)練成本和資源消耗。

三是共建生態(tài)體系。正如大模型最終還是要滿足用戶需求、走入行業(yè)應(yīng)用，可以預(yù)見的是，未來包括大模型、小模型在內(nèi)的不同規(guī)模和類型的模型將有賴于靈活組合和調(diào)度，根據(jù)開發(fā)者和用戶的具體需求，構(gòu)建最適合的應(yīng)用解決方案。

*本文刊載于《通信世界》總第951期 2024年9月10日 第17期?

作者：包建羽

責(zé)編/版式：王禹蓉

審校：王 濤?梅雅鑫

監(jiān)制：劉啟誠