大模型已基本解決幻覺問題？

你是否經(jīng)歷過大語(yǔ)言模型一本正經(jīng)“胡說八道”？大模型在發(fā)展初期的幻覺問題尤為嚴(yán)重，所回答問題基本屬于“已讀亂回”，至于哪家企業(yè)的大模型不在本文探討之列，大家心知肚明，更重要的是大語(yǔ)言模型的幻覺問題有了最新進(jìn)展。

今日，百度創(chuàng)始人李彥宏公開表示，“大模型基本消除了幻覺”，這對(duì)于大語(yǔ)言模型來說是一個(gè)巨大的進(jìn)步，過去一年來大模型的幻覺問題為用戶造成了很多困擾，筆者在參加某次業(yè)內(nèi)會(huì)議時(shí)，有專家明確指出：“我們期望大模型即使不回答也不要輸出誤導(dǎo)性的錯(cuò)誤答案。”

面對(duì)大語(yǔ)言模型的幻覺問題，各企業(yè)也在全力攻克，尤其頭部的一些大模型開發(fā)廠商。OpenAl CEO Sam Altman曾指出：“我們正在努力解決幻覺問題，這將需要一年半到兩年的時(shí)間。”

然而，信息技術(shù)行業(yè)發(fā)展到今天，已經(jīng)步入到“日日新”的階段，大型語(yǔ)言模型發(fā)展短短兩年時(shí)間，就已在該領(lǐng)域上取得了巨大突破。

那么，為什么LLM會(huì)出現(xiàn)幻覺？360創(chuàng)始人周鴻祎曾一針見血地指出：“目前人工智能存在一個(gè)全世界公認(rèn)的難題——它會(huì)產(chǎn)生幻覺，這是大模型本身固有的特性?！币簿褪钦f，幻覺問題是大語(yǔ)言模型與生俱來的。

此外，產(chǎn)生幻覺的原因可大致分為三個(gè)方面：數(shù)據(jù)源、訓(xùn)練過程、推理。

具體來看，大語(yǔ)言模型產(chǎn)生幻覺的原因包括數(shù)據(jù)質(zhì)量、算法、專業(yè)領(lǐng)域知識(shí)豐富度、是否擬合等。

從數(shù)據(jù)質(zhì)量上來看，大規(guī)模數(shù)據(jù)集中可能存在數(shù)據(jù)質(zhì)量問題，例如缺失值、異常值或不一致性，這些問題可能會(huì)導(dǎo)致大文本模型輸出錯(cuò)誤結(jié)果。

從算法選擇來看，目前大模型已經(jīng)遍地開花，各家大模型選擇的算法各不相同，不同的算法對(duì)于大規(guī)模數(shù)據(jù)的處理方式各不相同，選擇不恰當(dāng)?shù)乃惴赡軐?dǎo)致對(duì)數(shù)據(jù)的錯(cuò)誤建模，從而產(chǎn)生幻覺。

從專業(yè)領(lǐng)域的知識(shí)的豐富程度來看，大語(yǔ)言模型在涉及某些專業(yè)領(lǐng)域時(shí)，會(huì)因?yàn)橹R(shí)儲(chǔ)備（語(yǔ)料）不充足或者不能理解專業(yè)領(lǐng)域的數(shù)據(jù)，產(chǎn)生對(duì)客觀事實(shí)的錯(cuò)誤解讀。

從大語(yǔ)言模型訓(xùn)練的角度來看，存在過擬合的問題。模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，但是對(duì)樣本外的數(shù)據(jù)進(jìn)行測(cè)試時(shí)表現(xiàn)效果不佳，欠擬合和過擬合的大模型出現(xiàn)幻覺的概率一般較高。

雖然大語(yǔ)言模型幻覺一度困擾開發(fā)者和用戶，但有人卻持有不同的觀點(diǎn)——大模型幻覺是非常寶貴的特性，之所以有這樣的觀點(diǎn)，是他們認(rèn)為因?yàn)椤盎糜X和創(chuàng)新其實(shí)只有一線之隔”，未來，如何破除幻覺和創(chuàng)新的壁壘將是大模型努力的方向。

其實(shí)大語(yǔ)言模型發(fā)展到今天，面臨的不止“幻覺”這一個(gè)挑戰(zhàn)，如未來隨著數(shù)據(jù)量的巨增，必須要進(jìn)行模型壓縮與優(yōu)化；多模態(tài)模型與大語(yǔ)言模型的結(jié)合，將自然語(yǔ)言處理與計(jì)算機(jī)視覺、語(yǔ)音處理等多模態(tài)信息相結(jié)合，擴(kuò)大應(yīng)用場(chǎng)景。

作者：孫天

責(zé)編/版式：蓋貝貝

審校：王 濤?梅雅鑫

監(jiān)制：劉啟誠(chéng)