視覺幻覺是常見于多模態(tài)大語言模型 (Multimodal Large Language Models, MLLMs) 的一個典型問題，它指的是"模型輸出的描述與圖片內容不相符"這一現(xiàn)象，如下圖所示：

圖中體現(xiàn)了兩種幻覺，紅色部分錯誤地描述了狗的顏色（屬性幻覺），藍色部分描述了圖中實際不存在的事物（目標幻覺）?；糜X對模型的可靠性產(chǎn)生了顯著的負面影響，因此引起了許多研究者的重視。

以往的方法主要集中在 MLLM 本身，通過在訓練數(shù)據(jù)以及架構上進行改進，以重新微調的方式訓練一個新的 MLLM。這種方式會造成較大的數(shù)據(jù)構建和訓練開銷，且較難推廣到各種已有的 MLLMs。

近日，來自中科大等機構的研究者們提出了一種免訓練的即插即用的通用架構“啄木鳥（Woodpecker）”，通過修正的方式解決 MLLM 輸出幻覺的問題。

論文鏈接：

https://arxiv.org/pdf/2310.16045.pdf

代碼鏈接：

https://github.com/BradyFU/Woodpecker

Woodpecker 可以修正各種場景下模型輸出的幻覺，并輸出檢測框作為引證，表明相應的目標確實存在。例如，面對描述任務，Woodpecker 可以修正其中帶有幻覺的部分。

對于 MLLM 難以檢測到的小對象，Woodpecker 也可以精準修正：

面對 MLLM 難以解決的復雜的計數(shù)場景，Woodpecker 同樣可以進行解決：

對于目標屬性類的幻覺問題，Woopecker 處理地也很好：

我們還提供了 Demo 供讀者測試使用，如下圖所示，上傳圖片并輸入請求，就可以得到修正前以及修正后的模型答復，以及供參考驗證的新圖片。

方法

Woodpecker 的架構如下，它包括五個主要步驟：關鍵概念提取、問題構造、視覺知識檢驗、視覺斷言生成以及幻覺修正。

關鍵概念提?。?/span>關鍵概念指的是 MLLM 的輸出中最可能存在幻覺的存在性目標，例如上圖描述中的“自行車；垃圾桶；人”。我們可以 Prompt 大語言模型來提取出這些關鍵概念，這些關鍵概念是后續(xù)步驟進行的基礎；

問題構造：圍繞著前一步提取出的關鍵概念，Prompt 大語言模型來提出一些有助于檢驗圖片描述真?zhèn)蔚膯栴}，如“圖中有幾輛自行車？”、“垃圾桶邊上的是什么？”等等；

視覺知識檢驗：使用視覺基礎模型對提出的問題進行檢驗，獲得與圖片以及描述文本相關的信息。例如，我們可以利用 GroundingDINO 來進行目標檢測，確定關鍵目標是否存在以及關鍵目標的數(shù)量。這里我們認為像 GroundingDINO 這類視覺基礎模型對圖片的感知能力比 MLLM 本身的感知能力更強。對于目標顏色等這類屬性問題，我們可以利用 BLIP-2 來進行回答。BLIP-2這類傳統(tǒng) VQA 模型輸出答案的長度有限，幻覺問題也更少；

視覺斷言生成：基于前兩步中獲得的問題以及對應的視覺信息，合成結構化的“視覺斷言”。這些視覺斷言可以看做與原有 MLLM 的回答以及輸入圖片相關的視覺知識庫；

幻覺修正：基于前面得到的，使用大語言模型對 MLLM 的文本輸出進行逐一修正，并提供目標對應的檢測框信息作為視覺檢驗的參照。

?

實驗效果

實驗選取了幾個典型的 MLLM 作為基線，包括：LLaVA，mPLUG-Owl，Otter，MiniGPT-4 論文中首先測試了 Woodpecker 在面對目標幻覺時的修正能力，在 POPE 驗證集的實驗結果如下表所示：

結果表明在不同的 MLLM 上應用 Woodpecker 修正后，均有不同程度的提升。在隨機設定下，Woodpecker 給 MiniGPT-4和 mPLUG-Owl 和在準確率指標上分別帶來了 30.66% 和 24.33% 的提升。

此外，研究者還應用更全面的驗證集 MME，進一步測試 Woodpecker 在面對屬性幻覺時的修正能力，結果如下表所示：

從表中可見 Woodpecker 不僅在應對目標幻覺時有效，在修正顏色等屬性幻覺時也具有出色的表現(xiàn)。LLaVA 的顏色得分從 78.33 分大幅提升到 155 分！經(jīng)過 Woodpecker 修正后，四個基線模型在四個測試子集上的總分均超過 500 分，在總體感知能力上獲得了顯著提升。

為了更直接地衡量修正表現(xiàn)，更直接的方式是使用開放評測。不同于以往將圖片轉譯后送入純文本 GPT-4 的做法，文章利用 OpenAI 最近開放的視覺接口，提出使用 GPT-4 (Vision) 對修正前后的圖片描述直接對下列兩個維度進行打分：

• 準確度：模型的答復相對于圖片內容是否準確

• 詳細程度：模型答復的細節(jié)豐富度

在該實驗條件下，實驗結果如下表所示：

結果表明經(jīng)過 Woodpecker 修正后圖片描述的準確性有一定的提升，這說明該框架可以有效修正描述中幻視的部分。另一方面，Woodpecker 修正后引入的定位信息豐富了文本描述，提供了進一步的位置信息，從而提升了細節(jié)豐富度。GPT-4V 輔助的評測樣例如下圖所示：

·