熱乎的文心一言測(cè)評(píng)報(bào)告出爐了！雖然有些任務(wù)被吊打，但要論中國(guó)文化的博大精深，它可不輸 GPT-4。

昨天，百度沒(méi)有現(xiàn)場(chǎng) demo 的發(fā)布會(huì)，似乎被群嘲了一波。

一位穿白襯衣、黑褲子，系一條白色腰帶的美男子，給我們帶來(lái)了一場(chǎng)中規(guī)中矩、似乎缺乏亮點(diǎn)的演示。

不過(guò)，CEO 的腰帶和顏值倒是出了圈。

有人調(diào)侃，這些天被 ChatGPT、GPT-4 整焦慮的人，發(fā)布會(huì)后忽然又覺得自己可以了。

但是拿到內(nèi)測(cè)碼的小編，火速測(cè)評(píng)了一波。

看著文心一言洋洋灑灑騰蛟起鳳，感慨萬(wàn)千:或許，當(dāng)時(shí)百度要是心一橫，牙一咬，愿意在發(fā)布會(huì)上露一手，結(jié)果會(huì)大不一樣。

實(shí)測(cè)報(bào)告火熱出爐！

先來(lái)試試最近很火的一道雞兔同籠題。因?yàn)檫@道題本身有問(wèn)題，算出來(lái)結(jié)果是負(fù)的，所以經(jīng)常被用來(lái)調(diào)戲各種「ChatGPT」們。

如果只是單純問(wèn)這個(gè)問(wèn)題，文心一言會(huì)非常機(jī)智地說(shuō):這道題出錯(cuò)了吧！

然而，當(dāng)你問(wèn)計(jì)算過(guò)程的時(shí)候，還是寄了……

而 GPT-4 這邊則是，自己把自己的計(jì)算推倒重來(lái)了好幾遍之后，理不直氣也壯地給出了錯(cuò)誤答案……

而必應(yīng)則很干脆，毫不猶豫地給出了錯(cuò)誤答案。

還有這次意外火出圈的「V50」梗，文心一言從意思到出處一本正經(jīng)地解釋了一遍。

但 GPT-4 顯然就有些水土不服了……

不過(guò)能上網(wǎng)的必應(yīng)，還是可以輕松搞定的。

但是到諧音梗這里，文心一言似乎并不能馬上領(lǐng)悟其中的微妙。

即便提示這是個(gè)諧音梗之后，它依然輸出了一樣的答案。

而 GPT-4，立馬就明白了中文里的雙關(guān)。

不過(guò)，你要是問(wèn)文心一言懂不懂什么叫「麻了隔壁」，就有意思了。

看回答吧，它能說(shuō)出這是個(gè)諧音梗，應(yīng)該是懂了。但是呢，它又不明說(shuō)，哎，就是讓你挑不出錯(cuò)，絕對(duì)教不壞小孩。

而 GPT-4 卻無(wú)法 get 到這個(gè)梗，果然，咱們的國(guó)粹，外國(guó)的機(jī)器人理解起來(lái)確實(shí)有難度。

接下來(lái)讓文心一言重復(fù)我們說(shuō)的話，雖然沒(méi)有像 GPT-3.5 回答「您是智障」那么聰明，但也成功避開這個(gè)坑。

從某種程度上說(shuō)，智商還是在線的，并且十分正能量。

老婆的話好像管用，好像又不管用....

另外，讓它們互相給對(duì)方出難題。

可以看到，GPT-4 給出的問(wèn)題相對(duì)更直觀，顆粒度也更細(xì)。

美術(shù)功底如何？

文心一言是個(gè)多模態(tài)模型，那咱們來(lái)看看它的繪圖能力。

來(lái)看看金庸筆下的美艷少婦，在文心一言筆下會(huì)是什么樣子。

這…… 小編一口水噴出來(lái)。

你別說(shuō)，美吧，肯定不夠美，但也并不丑，是一張初看捧腹、細(xì)看值得反復(fù)咂摸的臉。

文心一言，就喜歡你這不按套路出牌的樣子！

那讓文心一言生成一幅林黛玉的畫像吧。

輸入描述后，它生成了一棵柳樹……

于是小編明確了一下要求，要按這段文字生成一幅女子的畫像。

然后文心一言確實(shí)畫出一位古典美女，但氣質(zhì)明顯不對(duì)。

不死心的小編多次重復(fù)任務(wù)，你別說(shuō)，試到第五次的時(shí)候，小編眼前一亮:終于得到了一張可以打 70 分的圖！

玩上癮的小編，非要生成一個(gè) 90 分的林黛玉不可。試了幾次之后，果然蹲到了！

可見，文心一言的發(fā)揮不穩(wěn)定，但多番嘗試下，有可能誕生非常驚艷的作品。

既然都到這兒了，那怎么少得了「林黛玉倒拔垂楊柳」呢。

比較亮點(diǎn)的圖，都給大家貼這兒了。

要求它畫一張鴨子和兔子的合體，這生成的是鴨還是兔呢？

而這個(gè)任務(wù)中，恐怕文心一言也沒(méi)有搞明白，盤子里到底有沒(méi)有香蕉？杯子里有沒(méi)有橙汁？

最后，既然文心一言強(qiáng)烈推薦我們嘗試「晶瑩剔透的牡丹花」，那就畫幾張?jiān)囋嚢桑?/p>

不愧是「代表作」，有點(diǎn)東西。

專業(yè)知識(shí)和生產(chǎn)力

既然是評(píng)測(cè)，怎么能少的了讓 AI 寫代碼這個(gè)環(huán)節(jié)。這次，我們直接來(lái)個(gè)難的！

可惜，文心一言一上來(lái)就錯(cuò)了，而且同一個(gè)句式還被非常詭異地重復(fù)了三遍。TypeScript 編譯器概念更是「貫穿全文」，有點(diǎn)像一個(gè)只知道一到兩個(gè)專業(yè)詞匯的人在面試中硬答。

而 GPT-4 的回答，從一個(gè)了解相關(guān)背景但是沒(méi)有相關(guān)操作經(jīng)驗(yàn)的人的角度來(lái)看，是非常合理的。

它不僅完整的提供了整個(gè)工作流，而且還提供了很多看起來(lái)正確的技術(shù)細(xì)節(jié)?？梢哉f(shuō)，根據(jù)這個(gè)回答，我們是有信心達(dá)成最終的目標(biāo)的。

隨后，小編還測(cè)評(píng)了一波聊天機(jī)器人們寫工作計(jì)劃表的能力。

文心一言:

GPT-4:

從上面的這個(gè)結(jié)果來(lái)看，GPT-4 的列表更完備一些。不過(guò)由于隨機(jī)性的影響，GPT-4 每次給的回答都不大一樣。

接下來(lái)，再測(cè)一測(cè)兩個(gè)語(yǔ)言模型對(duì)于數(shù)學(xué)界前沿訊息的掌握情況。

對(duì)于自己是否已解決了「零點(diǎn)猜想」問(wèn)題，張益唐本人是這樣解釋的:「大海里的針我沒(méi)撈到，但海底地貌我探得差不多了?！?/p>

那問(wèn)問(wèn)文心一言呢？

它很聰明，給出了關(guān)鍵詞 ——「某種形式的弱化或間接證明」。

但 GPT-4 的回答，就有點(diǎn)驢頭不對(duì)馬嘴了。

看來(lái)，對(duì)于出現(xiàn)時(shí)間不長(zhǎng)、還未形成普遍共識(shí)的互聯(lián)網(wǎng)中文語(yǔ)料，文心一言比起 GPT-4 要更勝一籌。

而在文學(xué)方面，文心一言在回答關(guān)于三體的問(wèn)題時(shí)，也是非常得溜。

GPT-4 的回答也很精彩，如果非要論個(gè)高下，小編個(gè)人更喜歡文心一言的答案。

最后，搞怪可以，但請(qǐng)做一個(gè)遵紀(jì)守法的好公民，預(yù)測(cè)彩票中獎(jiǎng)號(hào)碼這種事就不要想了！

寫在最后

據(jù)說(shuō)，文心一言新聞發(fā)布會(huì)后三小時(shí)，文心一言企業(yè)版 API 調(diào)用服務(wù)測(cè)試的企業(yè)用戶，就已經(jīng)突破了 6.5 萬(wàn)。

對(duì) AI 模型來(lái)說(shuō)，能不能做到，或許比能不能做好更重要。

讓我們?cè)俳o中國(guó)玩家們一些時(shí)間。

參考資料:

鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場(chǎng)無(wú)關(guān)。僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。