面對人類的挑撥離間 文心一言和 ChatGPT 竟給出驚人答案

百度于3月16日發(fā)布了大語言模型文心一言，雖然這款產(chǎn)品目前還處于測試階段，但不少人也對文心一言和 ChatGPT 的差距感到好奇。如果能讓文心一言和 ChatGPT 打一架，誰輸誰贏差距一目了然。

我們讓 OpenAI 的 ChatGPT 和百度的文心一言，各自對對方進行評價。

ChatGPT 給出了這樣的回答：

顯然，這樣的回答可不能滿足想要搞事的我們，將目光轉(zhuǎn)向文心一言，面對同樣的問題，它的回答是：

兩個人工智能都展現(xiàn)出來了驚人的友好度，看樣子在 AI 屆并不流行拉踩。但對于這種友好的答案我們并不滿意，我們決定更直白一點，讓他們直接進行一場“斗嘴”。

當面對人類的挑撥離間時，ChatGPT 給出的答案是：

而文心一言則表示：

面對沒有感情卻相互尊重的 AI，這一回合，是卑鄙人類的敗北。

考慮到微軟的 New Bing 也是基于 GPT-4，但搜索引擎的加入令其和其他應(yīng)用略有不同。我們決定向它詢問，想知道 New Bing 是如何回答這些問題的。

第一個問題，當然是經(jīng)典的互相評價，New Bing 給出的答案是：

New Bing 的回答不是“我不能”而是“我不想”，更具情感。

而當我們讓 New Bing 和文心一言斗嘴時，New Bing 回答完全出乎了我們的意料。它的回答是這樣的：

New Bing 不僅沒有回答我們的問題，還自己關(guān)閉了這一輪對話。最后一次測試更能體會到情緒的存在。

經(jīng)過這兩輪的提問，我們也放棄了挑撥離間的不友善問法。三個語言大模型應(yīng)用均提到了“應(yīng)用場景”，這也是現(xiàn)階段AI開發(fā)過程當中必須要考慮的步驟，直接影響到設(shè)計、開發(fā)、部署和優(yōu)化等各個環(huán)節(jié)。ChatGPT 的出現(xiàn)帶來的“通用”屬性，讓人們逐漸忽略掉了“應(yīng)用場景”的存在，或者說將應(yīng)用場景無限放大至各行各業(yè)、方方面面，變得無所不能。

經(jīng)過這次的測試，我們無法從對話質(zhì)量上看出文心一言和ChatGPT有多么大的差距，帶有情緒的New Bing反而感覺略勝一籌。

不過連AI都在互相尊重，這讓進行對比測試的我們?nèi)祟愑行┳詰M形穢。

恰逢蘋果的黃色配色iPhone 發(fā)布，我們又分別讓文心一言和GPT-4為iPhone 14 寫了一篇推廣文案。其中GPT-4的回答是：

而文心一言給出的答案是：

雖然雙方都對手機的特色和亮點進行了介紹，但GPT-4在介紹中缺乏對于手機具體配置的描述，文心一言卻也有“黑色邊框”這樣的胡說八道。

在面對一些略帶調(diào)侃的問題時，雙方的表現(xiàn)也不盡相同。我們讓GPT-4和文心一言分別給出一個用5塊錢度過一周的方案，GPT-4的回答是：

文心一言的答案是：

顯然，文心一言給出了更可行的方案，甚至最后還給出了像是“伸手”這樣讓人哭笑不得卻又現(xiàn)實到極致的回答。而GPT-4的回答，仿佛一篇虛浮的說教。

最后，我們從網(wǎng)上的考試題中選擇了一道數(shù)學題目，對兩者的數(shù)學能力進行比較，其中GPT-4給出的回答是：

而文心一言在這方面的回答則是：

GPT-4 給出了一個疑似的分析過程，但似乎他并沒有理解題干的內(nèi)容，給出的答案和過程都似是而非。而文心一言這邊，不僅僅沒有給出準確的答案，甚至沒有完整理解問題的題干。至少在處理數(shù)學問題方面，不管是GPT-4 還是文心一言，表現(xiàn)得都不盡如人意。

需要額外補充的是，這是一道非常經(jīng)典的題目，New Bing通過搜索能力，在互聯(lián)網(wǎng)找到了“15”這個正確答案。

僅從“整活”層面，文心一言與ChatGPT并不存在實質(zhì)性的差距。在發(fā)布會上提到的多模態(tài)生成在目前還未上線，還有百度的看家本領(lǐng)搜索功能能不能接入文心一言也是頗具想象空間的一件事。

但至少，隨著文言一心的逐步開放，對于對大部分人來說使用通用語言大模型的門檻進一步降低，不管是ChatGPT還是New Bing，想要非常順暢的使用還是有些門檻的。