現(xiàn)有深度學(xué)習(xí)模型都不具有普適性，即在某個(gè)數(shù)據(jù)集上訓(xùn)練的結(jié)果只能在某個(gè)領(lǐng)域中有效，而很難遷移到其他的場(chǎng)景中，因此出現(xiàn)了遷移學(xué)習(xí)這一領(lǐng)域。其目標(biāo)就是將原數(shù)據(jù)域（源域，source domain）盡可能好的遷移到目標(biāo)域（target domain），Domain Adaptation任務(wù)中往往源域和目標(biāo)域?qū)儆谕活惾蝿?wù)，即源于為訓(xùn)練樣本域（有標(biāo)簽），目標(biāo)域?yàn)闇y(cè)集域，其測(cè)試集域無(wú)標(biāo)簽或只有少量標(biāo)簽，但是分布不同或數(shù)據(jù)差異大。主要分為兩種情景：

homogeneous 同質(zhì)：target 與 source domain 特征空間相似，但數(shù)據(jù)分布存在 distribution shift

heterogeneous 異構(gòu)：target 與 source domain 特征空間不同

現(xiàn)有的DA方法傾向于強(qiáng)制對(duì)不同的domain進(jìn)行對(duì)齊，即平等地對(duì)待每個(gè)域并完美地對(duì)它們的特征進(jìn)行align。然而，在實(shí)踐中，這些領(lǐng)域通常是異質(zhì)的;當(dāng)源域接近目標(biāo)域時(shí)，DA可以預(yù)期工作良好，但當(dāng)它們彼此相距太遠(yuǎn)時(shí)就效果不那么令人滿意。問(wèn)題就在于，它們把各個(gè)domain當(dāng)成相互獨(dú)立的，從而無(wú)視了domain之間的關(guān)系。

這樣的話，它們?cè)趯W(xué)encoder的時(shí)候，就會(huì)盲目地把所有不同domain的feature強(qiáng)制完全對(duì)齊。這樣做是有問(wèn)題的，因?yàn)橛械膁omain之間其實(shí)聯(lián)系并不大，強(qiáng)行對(duì)齊它們反而會(huì)降低預(yù)測(cè)任務(wù)的性能。而其實(shí)這種異質(zhì)性通?？梢杂脠D來(lái)捕捉，其中域?qū)崿F(xiàn)節(jié)點(diǎn)，兩個(gè)域之間的鄰接可以用邊捕捉。

例如，本文舉了一個(gè)非常有趣的例子，為了捕捉美國(guó)天氣的相似性，我們可以構(gòu)建一個(gè)圖，其中每個(gè)州都被視為一個(gè)節(jié)點(diǎn)，兩個(gè)州之間的物理接近性產(chǎn)生一條邊。在那里還有許多其他的場(chǎng)景，在這些場(chǎng)景中，領(lǐng)域之間的關(guān)系可以通過(guò)圖自然地捕獲。所以如果給定一個(gè)域圖，我們可以根據(jù)圖調(diào)整域的適應(yīng)性，而不是強(qiáng)制讓來(lái)自所有域的數(shù)據(jù)完美對(duì)齊，而忽略這種圖的結(jié)構(gòu)。其實(shí)在對(duì)domain graph這一比較重要的概念做出定義之后，就可以比較清晰地勾勒出本文提出的方法了。我們只需要對(duì)傳統(tǒng)的adversarial DA方法做一下簡(jiǎn)單的改動(dòng)：

傳統(tǒng)的方法直接把data x作為encoder的輸入，而我們把domain index u以及domain graph作為encoder的輸入。

相比于傳統(tǒng)的方法讓discriminator對(duì)domain index進(jìn)行分類，而我們讓discriminator直接重構(gòu)（reconstruct）出domain graph。

論文的貢獻(xiàn)在于：

提出使用圖來(lái)描述域關(guān)系，并開(kāi)發(fā)圖-關(guān)系域適應(yīng)(GRDA)作為第一個(gè)在圖上跨域適應(yīng)的通用對(duì)抗性的domain adaption方法。．

理論分析表明，在balance狀態(tài)下，當(dāng)域圖為clique時(shí)，提出的方法能保持均勻?qū)R的能力，而對(duì)其他類型的圖則能實(shí)現(xiàn)對(duì)齊。

最后通過(guò)充分的實(shí)驗(yàn)驗(yàn)證了方法在合成和真實(shí)數(shù)據(jù)集上提出的方法優(yōu)于最先進(jìn)的DA方法。

3. 方法

首先明確下本文的應(yīng)用場(chǎng)景，他關(guān)注的是共N個(gè)域的無(wú)監(jiān)督domain adaption setting。每個(gè)domain 都有一個(gè)離散域索引，屬于源域索引集或目標(biāo)域索引集。域之間的關(guān)系用一個(gè)域圖來(lái)描述，其鄰接矩陣a = [Aij]，其中圖中的i和j個(gè)索引節(jié)點(diǎn)(域)。

已知來(lái)自源域(uf E Us)的標(biāo)記數(shù)據(jù)(x, y,u)，來(lái)自目標(biāo)域(u， EUt)的未標(biāo)記數(shù)據(jù)[, =1]，以及由A描述的域圖，我們希望預(yù)測(cè)來(lái)自目標(biāo)域的數(shù)據(jù)的標(biāo)記[yte1]。注意，域圖是在域上定義的，每個(gè)域(節(jié)點(diǎn))包含多個(gè)數(shù)據(jù)點(diǎn)。

概述。我們使用對(duì)抗學(xué)習(xí)框架跨圖關(guān)系域執(zhí)行適應(yīng)。本文提出的方法主要由三個(gè)成分組成:

編碼器E，它以數(shù)據(jù)和相關(guān)域索引u和鄰接矩陣a作為輸入，生成編碼。

預(yù)測(cè)器F，它基于編碼ei進(jìn)行預(yù)測(cè)

圖判別器D，它指導(dǎo)編碼適應(yīng)圖關(guān)系域。

3.1 Predictor

定義優(yōu)化的loss為：

where the expectation is taken over the source-domain data distribution is a predictor loss function for the task (e.g., loss for regression).

3.2 Encoder and Node Embeddings

給定一個(gè)輸入元組(x, u, A)，用編碼器E首先根據(jù)域索引和域的graph計(jì)算一個(gè)embedding的graph domain，然后將z和x，y輸入到神經(jīng)網(wǎng)絡(luò)中，得到最終的編碼e。理論上，任何節(jié)點(diǎn)的索引的embedding都應(yīng)該同樣有效，只要它們彼此不同，所以為了簡(jiǎn)單起見(jiàn)，論文通過(guò)一個(gè)重構(gòu)損耗預(yù)先訓(xùn)練embeddings：

where is the sigmoid function.

3.3 Graph Discriminator

whereare the discriminator's reconstructions of node embeddings. The expectation is taken over a pair of i.i.d. samples from the joint data distribution .

更具體的模型實(shí)現(xiàn)細(xì)節(jié)可以參考原文的附錄。

3.5 Theory

論文闡述并證明了兩個(gè)觀點(diǎn)：

用的是adversarial training，本質(zhì)上是在求一個(gè)minimax game的均衡點(diǎn)（equilibrium）。在傳統(tǒng)的DA方法上，因?yàn)閐iscriminator做的是分類，我們可以很自然地證明，這個(gè)minimax game的均衡點(diǎn)就是會(huì)完全對(duì)齊所有domain。在任何domain graph的情況下，當(dāng)GRDA訓(xùn)練到最優(yōu)時(shí)是可以保證不同domain的feature會(huì)根據(jù)domain graph來(lái)對(duì)齊，而不是讓所有domain完全對(duì)齊。

傳統(tǒng)的DA方法，其實(shí)是提出的GRDA的一個(gè)特例。這個(gè)特例其實(shí)非常直觀：傳統(tǒng)的DA方法（完全對(duì)齊所有domain）會(huì)等價(jià)于當(dāng)GRDA的domain graph是全連接圖（fully-connected graph or clique）時(shí)的情況。

4. 實(shí)驗(yàn)

論文構(gòu)造了一個(gè)15個(gè)domain的toy dataset及其對(duì)應(yīng)的domain graph（如下圖的左邊）DG-15。可以看到，GRDA的accuracy可以大幅超過(guò)其他的方法，特別是其他方法在離source domain比較遠(yuǎn)（從domain graph的角度）的target domain的準(zhǔn)確率并不是很高，但GRDA卻能夠保持較高的準(zhǔn)確率。

5. 結(jié)論

在本文中，論文確定了graph-relational domains的自適應(yīng)問(wèn)題，并提出了一種通用的DA方法來(lái)解決這一問(wèn)題。我們進(jìn)一步提供了理論分析，表明我們的方法恢復(fù)了經(jīng)典DA方法的一致對(duì)齊，并實(shí)現(xiàn)了其他類型圖的非平凡對(duì)齊，從而自然地融合了由域圖表示的域信息。實(shí)證結(jié)果證明該方法非常有效