PaLI-17B 在多個(gè) benchmark 上都達(dá)到了 SOTA。

語(yǔ)言和視覺(jué)任務(wù)的建模中，更大的神經(jīng)網(wǎng)絡(luò)模型能獲得更好的結(jié)果，幾乎已經(jīng)是共識(shí)。在語(yǔ)言方面，T5、GPT-3、Megatron-Turing、GLAM、Chinchilla 和 PaLM 等模型顯示出了在大文本數(shù)據(jù)上訓(xùn)練大型 transformer 的明顯優(yōu)勢(shì)。視覺(jué)方面，CNN、視覺(jué) transformer 和其他模型都從大模型中取得了很好的結(jié)果。language-and-vision 建模也是類似的情況，如 SimVLM、Florence、CoCa、GIT、BEiT 和 Flamingo。

在這篇論文中，來(lái)自谷歌的研究者通過(guò)一個(gè)名為 PaLI （Pathways Language and Image）的模型來(lái)延續(xù)這一方向的研究。

PaLI: A Jointly-Scaled Multilingual Language-Image Model

論文：https://arxiv.org/abs/2209.06794

PaLI 使用單獨(dú) “Image-and-text to text” 接口執(zhí)行很多圖像、語(yǔ)言以及 "圖像 + 語(yǔ)言" 任務(wù)。PaLI 的關(guān)鍵結(jié)構(gòu)之一是重復(fù)使用大型單模態(tài) backbone 進(jìn)行語(yǔ)言和視覺(jué)建模，以遷移現(xiàn)有能力并降低訓(xùn)練成本。

在語(yǔ)言方面，作者復(fù)用有 13B 參數(shù)的 mT5-XXL。mT5-XXL 已經(jīng)把語(yǔ)言理解和泛化能力一體打包。作者通過(guò)實(shí)驗(yàn)證明這些功能可以維護(hù)并擴(kuò)展到多模態(tài)情況。

在視覺(jué)方面，除復(fù)用 2B 參數(shù) ViT-G 模型外，作者還訓(xùn)練了擁有 4B 參數(shù)的模型 ViT-e("enormous")。ViT-e 在圖像任務(wù)上表現(xiàn)出很好的性能（ImageNet 上準(zhǔn)確率達(dá)到 90.9％；ObjectNet 準(zhǔn)確率達(dá)到 84.9%）。

作者發(fā)現(xiàn)了聯(lián)合 scaling 視覺(jué)和語(yǔ)言組件的好處，視覺(jué)提供了更好的投入回報(bào)（每個(gè)參數(shù) / FLOP 帶來(lái)的準(zhǔn)確度提升）。實(shí)驗(yàn)結(jié)果表明，最大的 PaLI 模型——PaLI-17B 在兩種任務(wù)模式下表現(xiàn)相對(duì)平衡，ViT-e 模型約占總參數(shù)的 25％。而先前的大規(guī)模視覺(jué)和語(yǔ)言建模工作，情況并非總是如此（Wang 等人，2022a；Alayrac 等人，2022），因?yàn)橐曈X(jué)和語(yǔ)言 backbone 之間的先驗(yàn)量表并不匹配。

作者通過(guò)將多個(gè)圖像和 (或) 語(yǔ)言任務(wù)轉(zhuǎn)換為廣義的類似 VQA 的任務(wù)，實(shí)現(xiàn)它們之間的知識(shí)共享。使用 “image+query to answer” 來(lái)構(gòu)建所有任務(wù)，其中檢索和回答都表示為文本標(biāo)記。這使得 PaLI 能夠使用跨任務(wù)的遷移學(xué)習(xí)，并在廣泛的視覺(jué)和語(yǔ)言問(wèn)題中增強(qiáng) language-and-image 理解能力：圖像描述、視覺(jué)問(wèn)答、場(chǎng)景文本理解等（如圖 1 所示）。

為了訓(xùn)練 PaLI-17B，作者構(gòu)建了全新的大容量 image-and-language 數(shù)據(jù)集 WebLI，包含 10B 的圖文對(duì)數(shù)據(jù)，WebLI 數(shù)據(jù)集包含 100 多種語(yǔ)言的文本。通過(guò)訓(xùn)練模型用多種語(yǔ)言執(zhí)行多模態(tài)任務(wù)，這大大增加了任務(wù)的多樣性，并測(cè)試了模型在跨任務(wù)和跨語(yǔ)言之間有效擴(kuò)展的能力。作者也提供了數(shù)據(jù)卡來(lái)介紹有關(guān) WebLI 及其構(gòu)造的信息。

PaLI-17B 在多個(gè) benchmark 上都達(dá)到了 SOTA，表現(xiàn)優(yōu)于某些強(qiáng)大的模型（見(jiàn)表 1）。

具體來(lái)說(shuō)，PaLI 在 COCO 數(shù)據(jù)集 benchmark 上的表現(xiàn)優(yōu)于多數(shù)新舊模型，在 Karpaty 分割上的得分為 149.1。PaLI 在 VQAv2 上使用類似 Flamingo 的開(kāi)放詞匯文本生成的設(shè)置達(dá)到 84.3% 的最新 SOTA，該結(jié)果甚至優(yōu)于在固定詞匯分類環(huán)境中評(píng)估的模型，例如 CoCa、SimVLM、BEiT-3。作者的工作為未來(lái)的多模態(tài)模型提供了 scaling 路線圖。Model scaling 對(duì)于多語(yǔ)言環(huán)境中的語(yǔ)言圖像理解特別重要。作者的結(jié)果支持這樣一個(gè)結(jié)論：與其他替代方案相比，scaling 每個(gè)模式的組件會(huì)產(chǎn)生更好的性能。

這篇文章在知乎上引發(fā)了一些討論。有人感嘆說(shuō)，「剛要匯報(bào) beit3，隨便一刷知乎，又被超了」（引自知乎用戶 @走遍山水路）。還有人認(rèn)為，論震撼程度，PaLI 比不上 BEiT-3，「畢竟 model scaling 這事大家已經(jīng)比較麻了」。但「谷歌把這個(gè)大家伙做出來(lái)了，還達(dá)到了一系列新 SOTA，并且零樣本都已經(jīng)做得很突出，還是非常令人敬佩」（引自知乎用戶 @霜清老人）。

來(lái)自知乎用戶 @霜清老人的評(píng)價(jià)。鏈接：https://www.zhihu.com/question/553801955?utm_source

以下是論文細(xì)節(jié)。

模型架構(gòu)

作者使用 PaLI 的目的是執(zhí)行單模態(tài)（語(yǔ)言、視覺(jué)）和多模態(tài)（語(yǔ)言和視覺(jué)）任務(wù)。這些任務(wù)中的許多任務(wù)最好由不同的模型處理。如圖像分類及許多 VQA 需要從固定集合中預(yù)測(cè)元素，而 language-only 任務(wù)和圖像描述需要開(kāi)放詞匯文本生成。作者通過(guò)使用所有任務(wù)所需的通用接口來(lái)解決該問(wèn)題：模型接受圖像和文本字符串作為輸入，并生成文本作為輸出。在預(yù)訓(xùn)練和微調(diào)時(shí)使用相同的接口。由于所有任務(wù)都使用相同的模型執(zhí)行，即沒(méi)有任務(wù)特定的參數(shù)，因此使用基于文本的提示指導(dǎo)模型需要執(zhí)行的任務(wù)。

圖 2 展示了模型架構(gòu)的高階示意圖。其核心是一個(gè)文本 encoder-decoder transformer。為了將視覺(jué)作為輸入，向文本編碼器提供視覺(jué)“tokens”：視覺(jué) transformer 將圖像作為輸入，并輸出相關(guān)特征。通過(guò)交叉注意力將視覺(jué) token 傳遞到 encoder-decoder 模型之前，不會(huì)將池化應(yīng)用于視覺(jué) transformer 的輸出。

作者重復(fù)使用之前訓(xùn)練過(guò)的單模態(tài)模型。對(duì)于文本 encoder-decoder，重復(fù)使用預(yù)訓(xùn)練的 mT5（Xue 等，2021）模型，而對(duì)于圖像編碼，則重復(fù)使用大型 vanilla ViT 模型（Dosovitskiy 等，2021; Zhai 等，20222a）。

實(shí)驗(yàn)結(jié)果

作者在三個(gè)純英文圖像的 benchmark 上評(píng)估了 PaLI 模型的變體，結(jié)果如表 4 所示。

作者對(duì)四個(gè)僅英文視覺(jué)問(wèn)答（VQA）benchmark 進(jìn)行評(píng)估，結(jié)果見(jiàn)表 6。

作者將 mT5-XXL 和 PaLI-17B 在一系列語(yǔ)言理解任務(wù) benchmark 進(jìn)行比較，對(duì)比結(jié)果如表 8 所示。

作者使用 224x224 分辨率（在高分辨率預(yù)微調(diào)之前）對(duì) PaLI 模型在 Imagenet 和 Imagenet OOD 數(shù)據(jù)集上進(jìn)行評(píng)估，評(píng)估結(jié)果如表 9 所示。

審核編輯 ：李倩