近年來，由于深度學習、計算機視覺和自然語言處理等多學科領域的興趣激增，視覺和語言任務的橋接得到了顯著的發(fā)展。在本綜述中，我們重點研究了10種不同的視覺和語言橋接任務，包括它們的問題定義、方法、現(xiàn)有數(shù)據(jù)集、評估指標，以及與相應的最先進方法的結(jié)果的比較。這超越了早期的一些綜述，這些綜述要么是特定于任務的，要么只專注于一種類型的視覺內(nèi)容，即圖像或視頻。最后，我們討論了視覺與語言研究未來可能的整合方向。

引言

近年來，深度學習的發(fā)展使得計算機視覺（CV）和自然語言處理（NLP）領域在多項任務中取得重大進展。

最近很多研究都熱衷于解決這些傳統(tǒng)獨立領域的語言和視覺信息相結(jié)合的挑戰(zhàn)。應對語言和視覺結(jié)合挑戰(zhàn)的方法應提供對視覺或文本內(nèi)容的完全理解，并期望（1）生成關(guān)于視覺內(nèi)容的可理解但簡潔且語法良好的描述，反之亦然，其中給定文本描述生成視覺內(nèi)容返回（2）識別視覺內(nèi)容中的對象并推斷它們與原因的關(guān)系或回答關(guān)于它們的任意問題（3）通過利用視覺和自然語言指令的輸入來進行瀏覽（4）翻譯文本從一種語言到另一種語言的內(nèi)容，其視覺內(nèi)容用于消除歧義（5）生成有關(guān)視覺內(nèi)容的故事等。這些方法的設計可以處理和關(guān)聯(lián)來自多種形式的信息（即語言和視覺信息），通常被稱為多模態(tài)學習模型的一部分（Mogadala，2015）。

然而，在這篇文章中，作者不僅提供了十個不同任務的全面概述，還提供了驅(qū)動當前視覺和語言研究集成的方法、數(shù)據(jù)集和評估指標。在第2節(jié)中，首先介紹了視覺和語言集成的10個重要任務及其方法，并在第3節(jié)中概述了用于每個任務的數(shù)據(jù)集。然后，在第4節(jié)中，我們分別描述了視覺和語言的表示，并進一步討論了將視覺和語言結(jié)合起來實現(xiàn)任務的主要方法。在第5節(jié)中，我們給出了用于所有10個任務的評估指標。此外，在第6節(jié)中，還比較和討論了通過相應方法實現(xiàn)的每個任務的基準結(jié)果。在第7節(jié)中，我們討論了可能的未來方向，最后第8節(jié)結(jié)束了我們的綜述，并討論了對結(jié)果的一些見解。

然而，在綜述中，我們超越了單詞并提出了那些將可變長度大于單詞的文本作為語言輸入的任務。這些任務中的大多數(shù)被視為對CV、NLP或這兩個問題的擴展。圖1總結(jié)了不同的任務。然而，為了了解這些任務如何被視為CV，NLP或兩者中問題的自然延伸，我們簡要地發(fā)現(xiàn)它們與其各自研究中解決的類似任務之間的相關(guān)性。

圖1：十種不同的語言和視覺集成任務。

圖2：給定一張圖像，標準圖像描述生成模型生成一個全局文本描述。

表1：生成圖像全局描述的方法摘要。

圖3：給定一個視頻（表示為幀序列），視頻描述生成模型生成單個全局標題。

圖4：給定圖像序列，圖像敘事模型按順序生成文本故事。

圖5：給定視頻幀（摘自（Li et al., 2018）），視頻敘事模型按順序生成文本故事。

圖6：給定一張圖像和問題，圖像問答模型產(chǎn)生答案。

圖7：給定一個視頻（由TV Q＆A數(shù)據(jù)集中的幀序列表示）和問題，視頻問答模型從多個選項中找到正確的答案。

圖8：給定一張圖像，問題和對話歷史記錄，圖像對話模型基于它生成答案。