上次介紹ImageBind給大家預(yù)告了我們近期會(huì)推出一個(gè)新工作，今天正式推出我們的通用多模態(tài)表征模型ONE-PEACE，拿到多個(gè)SOTA，展現(xiàn)emergent zeroshot的能力。正式放arxiv，github repo剛開(kāi)，歡迎關(guān)注以及給個(gè)star支持下！

ONE-PEACE: Exploring One General Representation Model Toward Unlimited Modalities

論文：https://arxiv.org/abs/2305.11172

代碼：https://github.com/OFA-Sys/ONE-PEACE

為什么是通用多模態(tài)表征模型

表征模型的重要性無(wú)需多言，尤其CLIP之后大家都意識(shí)到一個(gè)好的多模態(tài)表征模型在很多單模態(tài)任務(wù)上都會(huì)發(fā)揮著至關(guān)重要的基礎(chǔ)模型的作用。學(xué)習(xí)了大量模態(tài)alignment的數(shù)據(jù)之后的模型逐漸在學(xué)會(huì)去理解各個(gè)模態(tài)和模態(tài)間蘊(yùn)含的知識(shí)。但過(guò)去大部分模型，基本都把重點(diǎn)關(guān)注在圖文數(shù)據(jù)上了，主要還是得益于社區(qū)貢獻(xiàn)了大量高質(zhì)量的如LAION這類(lèi)的數(shù)據(jù)集。然而如果想更進(jìn)一步去理解世界，我們希望能夠把全世界各種模態(tài)的信息關(guān)聯(lián)在一起，至少我們希望看到一個(gè)prototype來(lái)說(shuō)明怎么實(shí)現(xiàn)一個(gè)不限模態(tài)（unlimited modalities）的通用表征模型。

ImageBind算是跨出了重要的一步，但我之前文章提了我的個(gè)人觀點(diǎn)，就是采用小規(guī)模其他模態(tài)和圖像的對(duì)齊數(shù)據(jù)來(lái)實(shí)現(xiàn)其他模態(tài)encoder和CLIP的vision encoder的方案，這類(lèi)取巧的方案成本低實(shí)現(xiàn)容易，也能拿到不錯(cuò)的結(jié)果，但真想做到足夠好，還有一定距離。

我們大概去年意識(shí)到這個(gè)問(wèn)題開(kāi)始嘗試做這個(gè)事情，相對(duì)來(lái)說(shuō)兩位核心輸出的同學(xué)做起來(lái)有點(diǎn)苦哈哈，辛苦去收集數(shù)據(jù)和吭吭搞大規(guī)模預(yù)訓(xùn)練。不過(guò)功夫不負(fù)有心人，我們還是一把輸出了一個(gè)4B規(guī)模的通用表征模型（圖文音三模態(tài)統(tǒng)一），在語(yǔ)義分割、音文檢索、音頻分類(lèi)和視覺(jué)定位幾個(gè)任務(wù)都達(dá)到了新SOTA表現(xiàn)，在視頻分類(lèi)、圖像分類(lèi)圖文檢索、以及多模態(tài)經(jīng)典benchmark也都取得了比較領(lǐng)先的結(jié)果。另外，模型展現(xiàn)出來(lái)新的zeroshot能力，即實(shí)現(xiàn)了新的模態(tài)對(duì)齊，比如音頻和圖像的對(duì)齊，或者音頻+文字和圖像的對(duì)齊，而這類(lèi)數(shù)據(jù)并沒(méi)有出現(xiàn)在我們的預(yù)訓(xùn)練數(shù)據(jù)集里。下面我來(lái)具體介紹下方法實(shí)現(xiàn)

ONE-PEACE的方法

總體而言，ONE-PEACE的模型結(jié)構(gòu)核心還是基于transformer，只不過(guò)針對(duì)多模態(tài)做了特殊的設(shè)計(jì)，當(dāng)然這里也得感謝前人的很多工作積累了非常多有用的經(jīng)驗(yàn)。預(yù)訓(xùn)練任務(wù)的思路就是幾個(gè)重要的多任務(wù)訓(xùn)練，圍繞contrastive learning展開(kāi)。模型架構(gòu)和訓(xùn)練方法整體如下圖所示：

模型結(jié)構(gòu)本質(zhì)上還是transformer，處理方法和我們之前做OFA接近，通過(guò)各自模態(tài)的adaptor實(shí)現(xiàn)信息的向量化，傳入Transformer engine。這里language adaptor就是最簡(jiǎn)單的word embedding，vision adaptor采用了hierarchical MLP，相比過(guò)去使用ResNet或者CLIP ViT成本更低，audio adaptor采用的是convolutional feature extractor。輸入Transformer模型后，我們希望模型既有統(tǒng)一處理的部分，也有模態(tài)特定的處理部分。參考VLMo和BeiT-3的成功經(jīng)驗(yàn)，我們將FFN部分設(shè)計(jì)成multiway（Modality-specific MoE）的方式，每個(gè)模態(tài)包含各自的FFN層。而在Transformer內(nèi)部，主要實(shí)現(xiàn)了幾處改動(dòng)。一是GeGLU的引入，相比GeLU能實(shí)現(xiàn)更好的效果；二是相對(duì)位置編碼，實(shí)現(xiàn)更好的position表示；三是使用了Magneto的方案，在attention和FFN均新增layernorm增加訓(xùn)練穩(wěn)定性，四是使用LayerScale，同樣能夠提升訓(xùn)練穩(wěn)定性。

訓(xùn)練方法上，我們主要圍繞對(duì)比學(xué)習(xí)展開(kāi)，只不過(guò)實(shí)際實(shí)現(xiàn)并非只使用一個(gè)模態(tài)一個(gè)embedding然后做InfoNCE的方案。這部分主要分為兩類(lèi)任務(wù)：

跨模態(tài)對(duì)比學(xué)習(xí)：這部分可以認(rèn)為和CLIP的訓(xùn)練方法類(lèi)似，只不過(guò)擴(kuò)展到更多的模態(tài)組合，從而實(shí)現(xiàn)模態(tài)和模態(tài)之間的對(duì)齊。這里我們同樣沒(méi)有遍歷所有模態(tài)的兩兩組合，而選用文本作為中介。

模態(tài)內(nèi)去噪對(duì)比學(xué)習(xí)：名字有點(diǎn)拗口，這里用的詞是intra-modal denoising contrastive learning。這個(gè)任務(wù)的本質(zhì)是masked element（language/image/audio）modeling，但走的是feature distillation的路線(xiàn)。之后有機(jī)會(huì)整理下feature distillation這條線(xiàn)的工作，在表征學(xué)習(xí)上還是取得不錯(cuò)的進(jìn)展。那么這里的masked element modeling，用的是拿沒(méi)被mask的輸入得到的表征作為teacher指導(dǎo)被mask輸入得到的表征這個(gè)student。有別于對(duì)應(yīng)位置向量做L1/L2 loss的經(jīng)典方案，這里用的是對(duì)比學(xué)習(xí)。

整個(gè)訓(xùn)練分為兩個(gè)階段，第一個(gè)階段可以理解為奠定基礎(chǔ)的訓(xùn)練，即經(jīng)典的圖文數(shù)據(jù)預(yù)訓(xùn)練。在這一部分圖文相關(guān)的參數(shù)都會(huì)被更新，包括self attention以及這兩個(gè)模態(tài)各自的FFN。而訓(xùn)練完備后，如果要增加新的模態(tài)，比如語(yǔ)音，只需要使用語(yǔ)音-文本對(duì)數(shù)據(jù)繼續(xù)預(yù)訓(xùn)練，而這個(gè)階段就只有語(yǔ)音相關(guān)的參數(shù)會(huì)被更新，比如語(yǔ)音adaptor和語(yǔ)音FFN等。這種增加模態(tài)的方案同樣可以不斷拓展到更多模態(tài)上，只要使用上能夠align上其中一個(gè)模態(tài)的配對(duì)數(shù)據(jù)即可，而且因?yàn)楹芏鄥?shù)共用，相比重新訓(xùn)一個(gè)modality specific的encoder更容易拿到好結(jié)果。

實(shí)驗(yàn)效果

實(shí)驗(yàn)分為finetuning和zeroshot兩個(gè)部分，其中finetuning更多追求效果上的絕對(duì)提升，而zeroshot則是觀測(cè)其本身作為通用模型的表現(xiàn)，尤其是emergent zeroshot capabilities這個(gè)部分更是展現(xiàn)這種模型能夠達(dá)到類(lèi)比無(wú)監(jiān)督訓(xùn)練的效果。

這里我調(diào)換下順序先介紹下比較有趣的emergent zeroshot capabilities。這里我們沒(méi)有合適的benchmark去評(píng)估，但是可以看不少有趣的例子。可以看到，模型不僅實(shí)現(xiàn)了新的模態(tài)對(duì)齊，還學(xué)會(huì)組合不同模態(tài)的元素去對(duì)齊新的模態(tài)。比如一個(gè)經(jīng)典的例子就是語(yǔ)音+文本召回圖片，比如snow這個(gè)文本配上鳥(niǎo)叫的聲音，就能召回鳥(niǎo)在雪中的圖片，挺有意思。下面給出更多例子：

再看finetuning部分，ONE-PEACE主要在CV的任務(wù)上表現(xiàn)比較突出。其中在ADE20K上做語(yǔ)義分割，超出了EVA、BeiT-3、InternImage等一眾SOTA模型：

在MSCOCO上做物體檢測(cè)和實(shí)例分割僅次于RevCol，并且ONE-PEACE并沒(méi)有做Object365的intermediate finetuning：

視頻分類(lèi)的K400上，也達(dá)到88.1，超過(guò)了之前諸如CoCa的模型：

而落到語(yǔ)音領(lǐng)域，不管在音文檢索、音頻分類(lèi)還是語(yǔ)音VQA上，都實(shí)現(xiàn)了新的SOTA，超過(guò)了LAION的LAION-CLAP：

經(jīng)典的多模態(tài)benchmark上，在視覺(jué)定位這個(gè)任務(wù)上ONE-PEACE直接達(dá)到了SOTA表現(xiàn)，并且在out-of-domain的setup下面也有很robust的表現(xiàn)：

圖文檢索上，我們主要和沒(méi)有經(jīng)過(guò)intermediate finetuning的模型進(jìn)行比較，主要對(duì)標(biāo)的是雙塔召回模型，同樣可以看到ONE-PEACE不俗的表現(xiàn)：

VQA和NLVR-2屬實(shí)肝不動(dòng)BeiT-3，不過(guò)相比其他基本都有明顯優(yōu)勢(shì)：

當(dāng)然，說(shuō)這么多效果方面的東西，只是為了證明這個(gè)模型還是比較能打的。雖然沒(méi)法全部刷新那么狠，但可以看到一個(gè)模型可以做到整體這個(gè)效果，應(yīng)該拉出去實(shí)際場(chǎng)景用用還是可以的。

不足與未來(lái)工作

不足之處其實(shí)上文也可以看到確實(shí)有些效果沒(méi)太做到頂，但僅僅追求SOTA意義其實(shí)不大。下一步我們要做的，其實(shí)是給出更多成功的實(shí)踐將這個(gè)模型擴(kuò)展更多模態(tài)，尤其是對(duì)比如視頻這類(lèi)復(fù)雜模態(tài)，怎么在真正高難度的任務(wù)上做得更好。另外，表征模型的潛力絕不僅僅只是在finetuning，也不在單純的zeroshot檢索，而在于其良好的對(duì)齊從而通過(guò)通用大模型做更復(fù)雜的人物，比如結(jié)合LLM。當(dāng)前多模態(tài)LLM這個(gè)賽道發(fā)展如火如荼，ONE-PEACE怎么實(shí)現(xiàn)和強(qiáng)大的LLM結(jié)合，從而實(shí)現(xiàn)對(duì)世界的跨模態(tài)復(fù)雜任務(wù)的處理，也許相比追求benchmark更加關(guān)鍵。

審核編輯 ：李倩