引言

基礎(chǔ)模型 (Foundation model) 指的是在大量數(shù)據(jù)上訓(xùn)練出來的、可以適應(yīng)一系列下游任務(wù)的模型[1]，它被看作是邁向通用人工智能的重要一步。近些年來，隨著CLIP的橫空出世，視覺-文本預(yù)訓(xùn)練 (Vision-Language Pretraining) 及其在各類任務(wù)的遷移學(xué)習(xí)成為了備受關(guān)注的研究方向，并被認(rèn)為是建立視覺基礎(chǔ)模型的一個(gè)頗具前景的方向。

根據(jù)輸入數(shù)據(jù)和目標(biāo)下游任務(wù)的不同，現(xiàn)有的VLP方法可以大致分為兩類：圖像-文本預(yù)訓(xùn)練和視頻-文本預(yù)訓(xùn)練。前者從圖像-文本對中學(xué)習(xí)視覺和語言表征的聯(lián)合分布，后者則從視頻-文本對中建立視頻幀和文本之間的語義關(guān)聯(lián)。然而，當(dāng)前尚無工作探索將二者統(tǒng)一起來，這篇文章認(rèn)為這主要因?yàn)楝F(xiàn)有的訓(xùn)練方式無法發(fā)揮圖像-文本預(yù)訓(xùn)練和視頻-文本預(yù)訓(xùn)練之間的互補(bǔ)性，但單純地實(shí)現(xiàn)統(tǒng)一而在兩類下游任務(wù)上折損性能將是沒有意義的。盡管困難重重，對于基礎(chǔ)模型的追求使得這一問題依舊難以回避。

這促使這篇工作思考并最終提出了一個(gè)真正統(tǒng)一的視覺-語言基礎(chǔ)模型OmniVL以同時(shí)支持圖像-文本和視頻-文本的預(yù)訓(xùn)練以及相應(yīng)的下游任務(wù)，包括視覺任務(wù)（如圖像分類、視頻動(dòng)作識別）、跨模態(tài)對齊任務(wù)（如圖像/視頻-文本檢索）以及多模態(tài)理解和生成任務(wù)（如圖像/視頻問答、字幕自動(dòng)生成等）。OmniVL第一次探索出了圖像和視頻任務(wù)雙向互助的訓(xùn)練范式，而不是以往的單一方向，即用圖像（圖像-語言）來幫助視頻（視頻-語言）。

方法

OmniVL實(shí)現(xiàn)了模態(tài)、功能和訓(xùn)練數(shù)據(jù)三個(gè)維度的統(tǒng)一，本篇對方法的介紹也將圍繞著三個(gè)統(tǒng)一進(jìn)行展開。

統(tǒng)一的模態(tài).OmniVL采用了一個(gè)統(tǒng)一的基于Transformer的視覺編碼器來提取視覺表征，其中視頻與圖像輸入共享大部分網(wǎng)絡(luò)結(jié)構(gòu)，對于視頻而言，OmniVL采用了3D patching embedding和時(shí)間注意力塊[4]。此外，OmniVL額外利用一個(gè)文本編碼器來提取語言表征。

統(tǒng)一的功能.OmniVL采用了編碼器-解碼器的結(jié)構(gòu)，并具有兩個(gè)視覺引導(dǎo)的解碼器：跨模態(tài)對齊解碼器和文本生成解碼器，前者通過視覺-文本匹配（的二分類）損失進(jìn)行監(jiān)督以學(xué)習(xí)視覺和文本模態(tài)之間的對齊，后者則通過語言建模（的生成式回歸）損失進(jìn)行監(jiān)督以學(xué)習(xí)從視覺特征中生成文本的能力。這兩個(gè)解碼器與上述的兩個(gè)編碼器相互配合，賦予了OmniVL“理解“和“生成”的能力。

統(tǒng)一的數(shù)據(jù).受到Florence[5]中使用的統(tǒng)一對比學(xué)習(xí)[6]的啟發(fā)，OmniVL統(tǒng)一了圖像-文本和圖像-標(biāo)簽數(shù)據(jù)作為預(yù)訓(xùn)練語料庫、并將其進(jìn)一步擴(kuò)展到視頻-文本和視頻-標(biāo)簽數(shù)據(jù)上。這基于兩個(gè)方面的考慮：1）利用盡可能多的有監(jiān)督（或無監(jiān)督）的數(shù)據(jù)來豐富語料庫；2）人工標(biāo)注的視覺-標(biāo)簽數(shù)據(jù)（如ImageNet和Kinetics-400）可以幫助模型學(xué)習(xí)出更具辨別性的表征，這有助于分類相關(guān)的遷移學(xué)習(xí)任務(wù)，而從網(wǎng)絡(luò)爬取的視覺-語言數(shù)據(jù) (如CC12M和WebVid) 涵蓋更廣泛的視覺概念，這有助于跨模態(tài)任務(wù)。這種簡單的擴(kuò)展可以幫助OmniVL同時(shí)享有兩種優(yōu)勢。

最后回到了上面提到的最重要的問題：如何實(shí)現(xiàn)圖像-文本和視頻-文本學(xué)習(xí)的相互促進(jìn)。前文提到，現(xiàn)有工作往往只是單獨(dú)利用圖像-文本或者視頻-文本進(jìn)行預(yù)訓(xùn)練（如下圖2-3行），因此在另一類任務(wù)上的表現(xiàn)往往差強(qiáng)人意（多數(shù)情況被直接忽略）。尤其是如果只在視頻-文本上預(yù)訓(xùn)練的話，受限于有限的數(shù)據(jù)規(guī)模、以及視頻數(shù)據(jù)本身的復(fù)雜性，在對應(yīng)的視頻任務(wù)上表現(xiàn)也很糟糕。為了解決這一問題，一些工作如FiT[7]提出了將圖像看作單幀視頻、從而利用其和視頻數(shù)據(jù)進(jìn)行聯(lián)合訓(xùn)練（如下圖第4行），這一做法相較單純地利用視頻數(shù)據(jù)有顯著提升，但是直接從零學(xué)習(xí)圖像和視頻的表征以及跨模態(tài)的對齊顯然頗具挑戰(zhàn)性，這為網(wǎng)絡(luò)的學(xué)習(xí)和收斂增加了困難。Pretrain-then-finetuning是視覺領(lǐng)域一個(gè)常用的做法，它指的是首先在標(biāo)準(zhǔn)的圖像數(shù)據(jù)集上訓(xùn)練骨干網(wǎng)絡(luò)如ResNet，然后將其在下游任務(wù)包括視頻動(dòng)作識別上進(jìn)行微調(diào)，這一方法在各類任務(wù)上都取得了顯著的成功。借鑒于此，一種簡單的做法是首先在圖像-文本上進(jìn)行第一階段的預(yù)訓(xùn)練、然后在視頻-文本上進(jìn)行第二階段的預(yù)訓(xùn)練（如下圖第5行）。這一做法是很有競爭力的一個(gè)baseline，但是在一方面在圖像任務(wù)上的性能有所下降、另一方面在視頻任務(wù)上的表現(xiàn)還不夠驚艷。

為了更加充分地利用圖像-文本和視頻-文本數(shù)據(jù)的互補(bǔ)性、進(jìn)一步提升在不同下游任務(wù)上的表現(xiàn)，OmniVL提出了一個(gè)解藕的聯(lián)合訓(xùn)練方式，即首先在圖像-文本上進(jìn)行預(yù)訓(xùn)練、然后結(jié)合視頻-文本進(jìn)行聯(lián)合預(yù)訓(xùn)練（如上圖第6行），這不僅可以防止對圖像表征的遺忘、甚至可以在二者對應(yīng)的任務(wù)上繼續(xù)提高性能。這篇工作認(rèn)為這是由于第一階段網(wǎng)絡(luò)可以專注在學(xué)習(xí)空間表征和其與文本模態(tài)的對齊上、第二階段則可以增益性地學(xué)習(xí)運(yùn)動(dòng)表征和跨模態(tài)的關(guān)系建模，這不僅使學(xué)習(xí)從空間維度到時(shí)間維度更加高效，而且還能使不同源的數(shù)據(jù)之間形成互補(bǔ)。

實(shí)驗(yàn)

視覺任務(wù)

文章首先采用經(jīng)典的圖像分類 (linear probing) 和視頻動(dòng)作識別任務(wù) (finetuning) 作為基準(zhǔn)評估了視覺編碼器在視覺任務(wù)上的表現(xiàn)。

遵從CLIP的實(shí)現(xiàn)，OmniVL凍結(jié)了視覺編碼器的參數(shù)并對新附加的線性層進(jìn)行微調(diào)。在6個(gè)圖像分類數(shù)據(jù)集上，OmniVL相比于大多數(shù)baseline取得了一致更好的結(jié)果。與CLIP和FLAVA (70M) 相比，雖然使用明顯更少預(yù)訓(xùn)練數(shù)據(jù)，OmniVL仍然取得了總體上有競爭力的結(jié)果。

對于視頻動(dòng)作識別，文章在兩個(gè)規(guī)模較小的數(shù)據(jù)集UCF101和HMDB51上評估了linear probing的結(jié)果，并在兩個(gè)規(guī)模較大的數(shù)據(jù)集Kinetics-400和Something-something V2上評估了微調(diào)的結(jié)果，實(shí)驗(yàn)表明OmniVL都顯著地超越了baseline。

跨模態(tài)對齊任務(wù)

接下來文章探究了OmniVL在圖像-文本檢索和文本到視頻檢索任務(wù)上的表現(xiàn)。值得一提的是，為了平衡推理效率和多模態(tài)信息的深度融合，OmniVL首先根據(jù)單模態(tài)編碼器得到視覺和文本embedding的相似度得分選擇Top-K（默認(rèn)為K=128）候選者，然后利用跨模態(tài)對齊解碼器計(jì)算其成對的匹配得分對候選者重新排序，這種雙階段匹配的方式進(jìn)一步體現(xiàn)了該架構(gòu)的優(yōu)越性。

從上圖可以看出，無論是在圖像-文本檢索還是文本到視頻檢索上，OmniVL都在不同數(shù)據(jù)集上取得了目前最佳的性能。尤其是在文本到視頻檢索任務(wù)上，得益于所提出的解藕聯(lián)合預(yù)訓(xùn)練方法，OmniVL顯著地超越了現(xiàn)有方法。

多模態(tài)理解和生成任務(wù)

以視覺為基礎(chǔ)的跨模態(tài)對齊解碼器和文本生成解碼器使OmniVL具備了多模態(tài)理解和生成的能力，在這一部分中，文章評估了它在字幕生成和圖像/視頻問題回答上的表現(xiàn)。

在這類任務(wù)上，OmniVL同樣取得了最好的結(jié)果。

總結(jié)和未來工作

這篇工作提出了OmniVL，一個(gè)全新的視覺-語言基礎(chǔ)模型，它將圖像-語言和視頻-語言統(tǒng)一起來，并同時(shí)支持視覺任務(wù)、跨模態(tài)對齊任務(wù)以及多模態(tài)的理解和生成任務(wù)。OmniVL采用了統(tǒng)一的視覺-語言對比損失，這讓其能夠同時(shí)利用圖像-文本、圖像-標(biāo)簽、視頻-文本和視頻-標(biāo)簽數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練。另外，文章中提出了一個(gè)解耦地聯(lián)合訓(xùn)練范式，將視覺-語言建模解耦為空間和時(shí)間兩個(gè)維度，從而同時(shí)提高了在圖像和視頻任務(wù)的性能。

在這篇工作僅僅在CC12M和WebVid-2.5M這類相對小規(guī)模的數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，隨著LAION、WebVid-10M的問世，可以在更大規(guī)模的數(shù)據(jù)上訓(xùn)練更大的模型，以探索具有更強(qiáng)零樣本、小樣本能力的模型。另外一個(gè)值得探索的方向是結(jié)合更豐富的有標(biāo)簽數(shù)據(jù)和更優(yōu)的監(jiān)督目標(biāo)，使得模型可以支持細(xì)粒度的任務(wù)如物體檢測、追蹤等，從而朝著通用的統(tǒng)一模型更上一層臺階。

審核編輯 ：李倩