為Gemini AI大模型找場景，谷歌Project Ellman項目曝光

谷歌團隊提出一個設想，用AI技術處理用戶照片及搜索引擎查詢信息，全面分析出用戶的生活是怎樣的，這個項目名叫“Project Ellmann”。

按照最初的設想，Project Ellmann會用LLM（比如Gemini）提取信息，從用戶的照片中找到特定模式，然后制作一個聊天機器人，讓它精準回答問題。谷歌宣稱Ellmann將會成為“個人生活故事講述者”。

聽起來很有趣，不過谷歌到底是想將Ellmann功能植入谷歌Photos，還是放進其它產(chǎn)品？目前還不得而知。谷歌Photos擁有10多億用戶，存儲了4萬億張照片或者視頻。

目前谷歌正在利用AI技術優(yōu)化產(chǎn)品線，Ellmann只是利用方式之一。幾天前谷歌推出Gemini，在某些場合Gemini甚至已經(jīng)超越OpenAI GPT-4。

谷歌有意將Gemini授權(quán)給谷歌云（Google Cloud）用戶使用，用戶可以借助Gemini開發(fā)自己想要的功能。Gemini最突出的優(yōu)勢在于“多模態(tài)”，也就是說它可以理解文本、圖片、視頻、音頻等多種類型的信息。

在最近的一次內(nèi)部會議上，谷歌Photos部門一位高管展示了Project Ellman。內(nèi)部文檔顯示，谷歌團隊認為可以借助大語言模型以“鳥瞰”方式展示用戶在現(xiàn)實世界的生活故事。

通過傳記、之前的記錄、照片等資料，Ellman能夠深入理解情境。例如，通過分析一系列片段，Ellman可以知道各種信息的主題是不是大學生活。

在演示幻燈片中，有一張寫道：“如果不能以鳥瞰方式查看個人生活，我們就無法回答難題，也無法講好故事?！?/p>

另一張則說：“我們會翻看你的照片，看看它的標簽和地點是什么，然后判斷出它們是否屬于某一個有意義的時刻。當我們?nèi)胬斫饽愕纳?，個人故事就會變得更清晰?！?/p>

谷歌團隊還談到了Ellmann Chat。什么是Ellmann Chat？團隊描述說：“你不妨設想一下，當你打開它，它已經(jīng)知道與個人生活有關的一切，你會向它提什么問題呢？”

例如，用戶問Ellmann Chat一個問題：“我有沒有養(yǎng)狗?！盇I回答說主人有一只狗，還說出了狗的名字，還說家里有兩個人最喜歡和狗在一起，家人的名字叫什么。

另一個問題則是主人想搬家，讓AI提供一些與現(xiàn)有居住環(huán)境相似的小鎮(zhèn)供選擇。這些問題Ellmann都能回答。不只如此，Ellmann還知道用戶的飲食習慣是怎樣的。

比如，用戶想買什么東西，有什么興趣，有什么工作和旅行計劃，Ellmann都可以分析照片，找到答案。用戶喜歡訪問什么網(wǎng)站，用什么App，Ellmann更是一清二楚。

谷歌新聞發(fā)言人透露：“谷歌Photos一直想用AI技術幫助用戶搜索照片和視頻，有了LLM，我們可以提供更實用的體驗。Ellmann目前仍處在內(nèi)部早期探索階段，最終是否真的推出還需要時間確定。谷歌要確保Ellmann對用戶真的有用，還要考慮用戶的隱私和安全?！?/p>

有很多科技企業(yè)都想利用新技術為用戶創(chuàng)建更加個性化的個人記憶，Project Ellmann只是其中之一。

不管是谷歌Photos還是蘋果相冊，它們都在分析照片，從中找到規(guī)律，然后制作相冊。谷歌Photos可以自動將相似照片集合在一起變成相冊，方便用戶查找。蘋果6月份曾說，軟件升級之后可以識別相片中的人、狗或者貓，用戶只需要說出人的名字，軟件就可以幫你查找他的照片。

聽起來很美好，但谷歌和蘋果的技術仍不完美，有時也會犯錯。2015年時蘋果谷歌AI曾將黑人識別為黑猩猩，鬧出笑話，即使到了今天，錯誤仍然難以避免。