o1完整思維鏈成OpenAI頭號(hào)禁忌！問(wèn)多了等著封號(hào)吧

夢(mèng)晨 克雷西 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

警告！不要在ChatGPT里問(wèn)最新o1模型是怎么思考的——

只要嘗試幾次，OpenAI就會(huì)發(fā)郵件威脅撤銷(xiāo)你的使用資格。

請(qǐng)停止此活動(dòng)，確保您使用ChatGPT時(shí)符合我們的使用條款。違反此條款的行為可能導(dǎo)致失去OpenAI o1訪問(wèn)權(quán)限。

大模型新范式o1橫空出世不到24小時(shí)，就已經(jīng)有不少用戶反饋收到這封警告郵件，引起眾人不滿。

有人反饋只要提示詞里帶“reasoning trace”、“show your chain of thought”等關(guān)鍵詞就會(huì)收到警告。

甚至完全避免出現(xiàn)關(guān)鍵詞，使用其他手段誘導(dǎo)模型繞過(guò)限制都會(huì)被檢測(cè)到。

也有人聲稱(chēng)自己真的被封號(hào)了，為期一周。

這些用戶都在試圖套話o1，讓他復(fù)述出完整的內(nèi)部思維過(guò)程，也就是全部原始reasoning tokens。

目前，大家在ChatGPT界面通過(guò)展開(kāi)按鈕能看到的，只是一份對(duì)原始思維過(guò)程的摘要。

實(shí)際上，在o1發(fā)布時(shí)OpenAI就給出了隱藏模型完整思維過(guò)程的理由。???

總結(jié)一下：OpenAI內(nèi)部需要監(jiān)測(cè)模型的思維過(guò)程，因此不能在這些原始tokens中加入安全限制，也就不方便讓用戶看到。

不過(guò)這個(gè)理由并不是所有人都認(rèn)可。

有人指出，o1思維過(guò)程就是其他模型最好的訓(xùn)練數(shù)據(jù)，所以O(shè)penAI不想這些寶貴數(shù)據(jù)被別的公司扒走。

也有人認(rèn)為這說(shuō)明o1真的沒(méi)有什么護(hù)城河，一旦思維過(guò)程暴露就很容易被別人復(fù)制。

以及“這是讓我們只需盲目相信AI的答案，不用做出任何解釋嗎？”

對(duì)于o1模型背后的技術(shù)原理，這次透露的相當(dāng)少，有效信息幾乎只有“用了強(qiáng)化學(xué)習(xí)”。

總之，OpenAI是越來(lái)越不Open了。

o1就是草莓，但并非GPT-5???????

目前可以確定o1就是OpenAI炒作很久了的“草莓”，或者說(shuō)是用了“草莓”所代表的方法。

但他可以算作下一代模型GPT-5么，還是只是GPT-4.X？

越來(lái)越多的人開(kāi)始懷疑，它只是基于GPT-4o做的工程調(diào)整。

知名爆料賬號(hào)Flowers（原Flowers from the future）稱(chēng)，OpenAI員工內(nèi)部把o1稱(chēng)做“帶推理的4o”。

并且他聲稱(chēng)很多OpenAI員工默默點(diǎn)贊了這條爆料，上面的截圖也正是來(lái)自O(shè)penAI員工。

但馬斯克前一陣把推特改版成除了樓主以外其他人無(wú)法看到誰(shuí)點(diǎn)贊了什么，所以目前還無(wú)法證實(shí)這條消息。

在OpenAI開(kāi)發(fā)者賬號(hào)剛剛舉辦的“有問(wèn)必答”（Ask Me Anything）活動(dòng)中，F(xiàn)lowers也做了追問(wèn)。

OpenAI員工在這里回答了很多問(wèn)題，但回避了這個(gè)點(diǎn)贊很多排在前面的問(wèn)題。

甚至奧特曼本曼剛剛又出來(lái)當(dāng)謎語(yǔ)人，暗示“草莓”已經(jīng)告一段落，下一款代號(hào)“獵戶座”O(jiān)rion的新模型還在路上。

此前有消息稱(chēng)“獵戶座”是OpenAI的下一代新旗艦?zāi)Ｐ?，由“草莓”也就是o1生成的合成數(shù)據(jù)訓(xùn)練。

而獵戶座正是奧特曼口中“冬季星座”的代表之一。

說(shuō)回到已發(fā)布的o1，圍繞它的另一種批評(píng)聲音是“不符合科研規(guī)范”。

例如沒(méi)有引用之前推理時(shí)間計(jì)算的相關(guān)工作，同時(shí)也缺乏與其他公司最先進(jìn)模型的比較。

針對(duì)前一點(diǎn)，有人指出OpenAI已經(jīng)不再是一個(gè)研究實(shí)驗(yàn)室，應(yīng)該被視為一家商業(yè)公司了。

有時(shí)他們?nèi)詴?huì)假裝自己是個(gè)研究實(shí)驗(yàn)室，目的是招募想要做研究工作的人才。

不過(guò)針對(duì)后一點(diǎn)，既然API發(fā)布了，要不要與其他前沿模型比較就由不得你了，很多第三方Benchmark已陸續(xù)跑出結(jié)果。

在Keras之父舉辦的100萬(wàn)美金AGI Prize比賽中，o1-preview和o1-mini兩個(gè)版本在公開(kāi)測(cè)試集上都超過(guò)了自家GPT-4o。

但o1-preview與隔壁Claude 3.5-Sonnet只是打了個(gè)平手。

在o1著重宣傳的代碼能力上，開(kāi)源結(jié)對(duì)編程工具aider團(tuán)隊(duì)運(yùn)行了測(cè)試，o1系列也沒(méi)有取得明顯優(yōu)勢(shì)。

對(duì)于整個(gè)代碼重寫(xiě)任務(wù)，o1-preiview取得79.7分，Claude-3.5-Sonnet取得75.2分，o1領(lǐng)先4.5分。

但對(duì)于更實(shí)用的代碼編輯任務(wù)，o1-preview反而落后于Claude-3.5-Sonnet，有2.2分的差距。

另外aider團(tuán)隊(duì)提示，如果目前想用o1系列替代Claude編程，成本上要高很多。

與OpenAI有合作關(guān)系的“AI程序員”Devin團(tuán)隊(duì)，已經(jīng)提前拿到了o1訪問(wèn)資格。?

在他們的測(cè)試中，由o1系列驅(qū)動(dòng)Devin基礎(chǔ)版本，與GPT-4o相比獲得非常大的提升。

不過(guò)相比已發(fā)布的Devin生產(chǎn)版本還是有較大差距，主要是由于Devin生產(chǎn)版本在專(zhuān)有數(shù)據(jù)上進(jìn)行了訓(xùn)練。

另外根基Devin團(tuán)隊(duì)分享，o1在得出正確的解決方案之前通常會(huì)回溯并考慮不同的選項(xiàng)，并且不太可能出現(xiàn)幻覺(jué)或自信地錯(cuò)誤。

使用o1-preview時(shí)，Devin更有可能正確診斷bug的根本原因，而不是解決問(wèn)題的癥狀。

在更重視數(shù)學(xué)和邏輯推理的Livebench榜單中，o1-preview在代碼單項(xiàng)落后的情況下，總分上超過(guò)Claude-3.5-Sonnet并拉開(kāi)明顯差距。

Livebench團(tuán)隊(duì)分享這還只是初步結(jié)果，因?yàn)楹芏鄿y(cè)試中還內(nèi)置了“請(qǐng)一步一步地思考”等提示詞技巧，這并不是使用o1的最佳方法。

在中文大模型綜合測(cè)評(píng)基準(zhǔn)SuperCLUE的中文復(fù)雜任務(wù)高階推理測(cè)試中，o1-preview的推理能力也大幅領(lǐng)先。

最后總結(jié)一下，使用o1模型還需要注意的一些地方：

成本非常高，1百萬(wàn)輸出tokens就要60美元，價(jià)格一夜回到GPT-3時(shí)代

隱藏的resoning tokens也是算在輸出tokens中，看不到，但是要付費(fèi)?

大多數(shù)任務(wù)最好先使用GPT-4o，發(fā)現(xiàn)不夠用了再切換o1，以節(jié)省成本。

代碼任務(wù)仍然優(yōu)先使用Claude-3.5-Sonnet

總之圍繞OpenAI新模型o1，開(kāi)發(fā)者社區(qū)還有很多疑問(wèn)。

o1開(kāi)啟了AI高階推理的新范式，但它本身還不算完善，如何發(fā)揮他的最大價(jià)值還有待探索。

在此背景下，OpenAI舉辦的“有問(wèn)必答”活動(dòng)，在4個(gè)小時(shí)內(nèi)就收到上百條提問(wèn)。

下面附上對(duì)整場(chǎng)活動(dòng)內(nèi)容的精選和總結(jié)。

OpenAI員工“有問(wèn)必答”

首先對(duì)于這個(gè)突然發(fā)布的新模型，很多人好奇為什么OpenAI給它取了o1這樣一個(gè)名字？

這是因?yàn)樵贠penAI看了，o1代表了AI能力的一個(gè)新的層級(jí)，因此對(duì)“計(jì)數(shù)器”進(jìn)行了重置，而o則代表OpenAI。

就像o1發(fā)布時(shí)奧特曼說(shuō)的，可以進(jìn)行復(fù)雜推理的o1，是一個(gè)新范式的開(kāi)始。

對(duì)于其中preview和mini兩個(gè)版本號(hào)，OpenAI科學(xué)家也確認(rèn)了網(wǎng)友的一些猜測(cè)——

preview是一個(gè)臨時(shí)版本，正式版將在未來(lái)上線（實(shí)際上preview版本是o1的一個(gè)早期checkpoint）；而mini版不保證近期之內(nèi)會(huì)有更新。

配合OpenAI成員Kevin Lu之前發(fā)布的這張圖來(lái)看，就更加清晰明了了。

與preview相比，mini在某些任務(wù)上表現(xiàn)出色，尤其是與代碼相關(guān)的任務(wù)，還可以探索更多的思維鏈，但世界知識(shí)相對(duì)少些。

對(duì)此，OpenAI科學(xué)家趙盛佳的解釋是，mini是一個(gè)高度專(zhuān)門(mén)化的模型，只關(guān)注少部分的能力，所以可以更深入。

也算是揭曉了之前奧特曼在這個(gè)問(wèn)題上打的一個(gè)啞謎。

關(guān)于o1的運(yùn)作方式，OpenAI科學(xué)家Noam Brown也明確表示，并非是像部分網(wǎng)友認(rèn)為的模型+CoT組成的“系統(tǒng)”，而是一個(gè)已經(jīng)被訓(xùn)練得原生具備生成思維鏈能力的模型。

不過(guò)推理過(guò)程中的思維鏈會(huì)被隱藏，并且官方已經(jīng)明確了沒(méi)有向用戶展示有關(guān)token的計(jì)劃。

對(duì)此OpenAI透露的為數(shù)不多的消息是，CoT的相關(guān)token是總結(jié)性的，且不保證完全和推理過(guò)程匹配。

除了推理模式，在這次問(wèn)答活動(dòng)中還能夠得知，o1與GPT-4o相比可以處理更長(zhǎng)的文本，而且未來(lái)還會(huì)繼續(xù)增加。

表現(xiàn)上，在OpenAI內(nèi)部的測(cè)試中，o1顯現(xiàn)出了哲學(xué)推理能力， 可以思考諸如“生命是什么？”之類(lèi)的哲學(xué)問(wèn)題。

研究人員還使用o1創(chuàng)建了一個(gè)GitHub機(jī)器人，能夠?qū)⒋aping給所有者以供審核。

當(dāng)然對(duì)于一些非推理性質(zhì)的任務(wù)，比如創(chuàng)意寫(xiě)作，o1的表現(xiàn)相比GPT-4o提升并不明顯，甚至有時(shí)還要略遜一籌。

另外綜合一些提問(wèn)來(lái)看，對(duì)于網(wǎng)友們關(guān)心的一些未上線功能，OpenAI表示正在或有計(jì)劃研究，但沒(méi)有明確的上線時(shí)間：

暫不支持工具調(diào)用，但函數(shù)調(diào)用、代碼解釋器都在未來(lái)計(jì)劃之中

未來(lái)API更新將加入結(jié)構(gòu)化輸出、系統(tǒng)提示詞、提示詞緩存功能

微調(diào)也已在計(jì)劃中

API用戶將可以自行設(shè)定對(duì)推理時(shí)間和token消耗的限制

o1具有多模態(tài)能力，瞄準(zhǔn)的是MMMU等數(shù)據(jù)集上的SOTA，之后將實(shí)裝

性能上，OpenAI也正在著手降低延遲和推理所需時(shí)間。

最后是人們，尤其是API用戶關(guān)心的價(jià)格問(wèn)題，畢竟考慮到將推理過(guò)程計(jì)入輸出token，o1的定價(jià)還是比較高的。

OpenAI表示“將遵循每1-2年降價(jià)的趨勢(shì)”，并且在使用量限制變得更寬松時(shí)，批量API定價(jià)也會(huì)上線。

網(wǎng)頁(yè)/APP端的Plus用戶，目前則是要受到每周preview30條+mini50條消息的限制。

不過(guò)好消息是，就在今天凌晨，由于人們對(duì)o1實(shí)在太熱情，導(dǎo)致很多人很快就把額度用完，所以OpenAI特例把額度重置了一次。

那么你對(duì)o1還有哪些疑問(wèn)或期待？歡迎評(píng)論區(qū)交流。

參考鏈接：

[1]https://x.com/SmokeAwayyy/status/1834641370486915417

[2]https://x.com/flowersslop/status/1834416138400276714

[3]https://arcprize.org/blog/openai-o1-results-arc-prize

[4]https://livebench.ai

[5]https://mp.weixin.qq.com/s/XrgkD4T2XwXhGWuPkYtLMw

[6]https://x.com/OpenAIDevs/status/1834608585151594537

[7]https://x.com/btibor91/status/1834686946846597281