不靠多模態(tài)數(shù)據(jù)，大語言模型也能看得懂圖？！

話不多說，直接看效果。

就拿曾測試過 BLIP-2 的長城照片來說，它不僅可以識別出是長城，還能講兩句歷史:

再來一個(gè)奇形怪狀的房子，它也能準(zhǔn)確識別出不正常，并且知道該如何進(jìn)出:

故意把“Red”弄成紫色，“Green”涂成紅色也干擾不了它:

這就是最近研究人員提出的一種新模塊化框架 ——LENS????的識別效果。

重要的是，不需要額外在多模態(tài)數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，只用現(xiàn)成的大語言模型就能完成目標(biāo)識別和視覺推理任務(wù)。

既省錢又省力！

研究人員表示:

這種方法在零樣本的情況下效果可與多模態(tài)大模型 Kosmos，以及可開箱即用的 Flamingo 等端到端聯(lián)合預(yù)訓(xùn)練模型相匹敵，性能甚至可能會更好。

網(wǎng)友看到這不淡定了:

激動(dòng)啊家人們！用來訓(xùn)練大模型的資源現(xiàn)在也可以被用于解決不同領(lǐng)域的問題了。????

還有網(wǎng)友表示:

想看哪個(gè)模塊最能提高視覺推理能力，這很有趣！

怎么做到的？

現(xiàn)有的 LLM 雖然在自然語言理解和推理方面表現(xiàn)出色，但都不能直接解決從視覺輸入進(jìn)行推理的任務(wù)。

這項(xiàng)由 Contextual AI 和斯坦福大學(xué)研究人員共同完成的工作，利用 LLM 作為凍結(jié)的語言模型，并為它們提供從“視覺模塊”獲取的文本信息，使其能夠執(zhí)行目標(biāo)識別和 Vamp;L(視覺和語言)任務(wù)。

然后直接將這些信息輸入到推理模塊中，也就是凍結(jié)的 LLM，對問題進(jìn)行響應(yīng)回答。

這樣一來，通過集成 LENS 可以得到一個(gè)跨領(lǐng)域自動(dòng)適用的模型，無需額外的預(yù)訓(xùn)練。并且能夠充分利用計(jì)算機(jī)視覺和自然語言處理領(lǐng)域的最新進(jìn)展，最大限度地發(fā)揮這些領(lǐng)域的優(yōu)勢。

在此前，已經(jīng)有研究提出了幾種利用 LLM 解決視覺任務(wù)的方法。

• 其中一種方法是先訓(xùn)練一個(gè)視覺編碼器，然后將每個(gè)圖像表示為連續(xù)嵌入序列，讓 LLM 能夠理解。

• 另一種方法是使用已經(jīng)訓(xùn)練對比的凍結(jié)視覺編碼器，同時(shí)引入新的層到凍結(jié)的 LLM 中，并從頭開始訓(xùn)練這些層。

• 第三種方法是同時(shí)使用凍結(jié)的視覺編碼器和凍結(jié)的 LLM，通過訓(xùn)練輕量級 transformer 將它們對齊。

視覺編碼器是指用于將視覺輸入轉(zhuǎn)換為表示向量的模型或組件。它能夠?qū)⒏呔S的視覺數(shù)據(jù)轉(zhuǎn)換為低維的表示，將視覺信息轉(zhuǎn)化為語言模型可以理解和處理的形式。

顯而易見，這三種方法都需要用數(shù)據(jù)集進(jìn)行多模態(tài)預(yù)訓(xùn)練。

LENS 則是提供了一個(gè)統(tǒng)一的框架，使 LLM 的“推理模塊”能夠從“視覺模塊”提取的文本數(shù)據(jù)上進(jìn)行操作。

在三個(gè)“視覺模塊”中，對于標(biāo)簽這一模塊，研究人員搜集了一個(gè)多樣全面的標(biāo)簽詞匯表。包括多個(gè)圖像分類數(shù)據(jù)集，目標(biāo)檢測和語義分割數(shù)據(jù)集，以及視覺基因組數(shù)據(jù)集。為了能夠準(zhǔn)確識別并為圖像分配標(biāo)簽，研究人員還采用了一個(gè) CLIP 視覺編碼器。

這一模塊的通用提示語是:

“A photo of classname”

用于提取屬性信息的視覺模塊中，則用到了 GPT-3 來生成視覺特征描述，以區(qū)分對象詞匯表中每個(gè)對象的類別。并且采用了一個(gè)對比預(yù)訓(xùn)練的 CLIP 視覺編碼器，來識別并為圖像中的對象分配相關(guān)屬性。

在詳細(xì)描述信息的視覺模塊中，研究人員用 BLIP 的圖像字幕模型，并應(yīng)用隨機(jī)的 top-k 采樣為每個(gè)圖像生成 N 個(gè)描述。這些多樣化的描述直接傳遞給“推理模塊”，無需進(jìn)行任何修改。

而在最后的推理模塊，LENS 可以與任何 LLM 集成，將上面的提取的信息按照下面的格式進(jìn)行整合:

Tags: Top-k tags

Attributes: Top-K attributes

Captions: Top-N Captions.

OCR: this is an image with written “meme text” on it.

Question: task-specific prompt n Short Answer:

值得一提的是，表情包也被考慮在內(nèi)了，為此研究人員專門加入了一個(gè) OCR 提示。

性能比 CLIP 好

為了展示 LENS 的性能，研究人員用了 8 塊 NVIDIA A100 顯卡進(jìn)行了實(shí)驗(yàn)，并默認(rèn)冷凍的 LLM 為 Flan-T5 模型。

對于視覺任務(wù)，研究人員評估了 8 個(gè)基準(zhǔn)，并在零樣本和少樣本設(shè)置下與目標(biāo)識別領(lǐng)域的最新模型進(jìn)行了比較。

經(jīng)上表可看出，在零樣本情況下，由 ViT-H / 14 作為視覺主干和 Flan-T5xxl 作為凍結(jié) LLM 組成的 LENS，平均表現(xiàn)比 CLIP 高了 0.7%。LENS 的其它組合在大多數(shù)情況下，表現(xiàn)也優(yōu)于 CLIP。

有趣的是，研究人員在目標(biāo)識別任務(wù)中發(fā)現(xiàn):

凍結(jié)的 LLM 的大小與分類性能之間似乎沒有直接關(guān)系。而標(biāo)簽生成架構(gòu)的大小與性能之間存在對應(yīng)關(guān)系。

如上圖所示，研究人員還繪制了除 ImageNet 之外的所有數(shù)據(jù)集的平均視覺性能圖，并觀察到:

更多樣本有助于提高性能。同時(shí)，凍結(jié) LLM 的性能與視覺性能之間沒有直接關(guān)系，而更好的視覺主干有助于提高平均視覺性能。

對于視覺與語言任務(wù)，研究人員評估了四個(gè)具有代表性的視覺問答任務(wù)，并與需要進(jìn)行額外預(yù)訓(xùn)練來對齊視覺和語言模態(tài)的最新模型進(jìn)行了比較。

在零樣本設(shè)置上，與 VQAv2、OK-VQA、Rendered-SST 和 Hateful Memes 最先進(jìn)的方法進(jìn)行比較，LENS 表現(xiàn)依舊能與依賴大量數(shù)據(jù)進(jìn)行對齊預(yù)訓(xùn)練的方法相競爭。即使與規(guī)模更大、更復(fù)雜的系統(tǒng)如 Flamingo、BLIP-2、Kosmos 相比也是如此。

雖然 LENS 在大多數(shù)情況下表現(xiàn)良好，但也有一些失敗的情況:

研究人員認(rèn)為:

LENS 的視覺能力嚴(yán)重依賴于其底層的視覺組件。這些模型的性能有進(jìn)一步提升的空間，需要將它們的優(yōu)勢與 LLM 結(jié)合起來。

傳送門:

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接，用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。

鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場無關(guān)。僅供讀者參考，并請自行核實(shí)相關(guān)內(nèi)容。