自動(dòng)編碼器是一種無監(jiān)督的神經(jīng)網(wǎng)絡(luò)模型，它可以學(xué)習(xí)到輸入數(shù)據(jù)的隱含特征，這稱為編碼(coding)，同時(shí)用學(xué)習(xí)到的新特征可以重構(gòu)出原始輸入數(shù)據(jù)，稱之為解碼(decoding)。從直觀上來看，自動(dòng)編碼器可以用于特征降維，類似主成分分析PCA，但是其相比PCA其性能更強(qiáng)，這是由于神經(jīng)網(wǎng)絡(luò)模型可以提取更有效的新特征。

自編碼器由兩部分組成：

編碼器：這部分能將輸入壓縮成潛在空間表征，可以用編碼函數(shù)h=f(x)表示。

解碼器：這部分能重構(gòu)來自潛在空間表征的輸入，可以用解碼函數(shù)r=g(h)表示。

△自編碼器結(jié)構(gòu)

因此，整個(gè)自編碼器可以用函數(shù)g(f(x)) = r來描述，其中輸出r與原始輸入x相近。

自編碼器用來干什么？

目前，自編碼器的應(yīng)用主要有兩個(gè)方面，第一是數(shù)據(jù)去噪，第二是為進(jìn)行可視化而降維。設(shè)置合適的維度和稀疏約束，自編碼器可以學(xué)習(xí)到比PCA等技術(shù)更有意思的數(shù)據(jù)投影。

自編碼器能從數(shù)據(jù)樣本中進(jìn)行無監(jiān)督學(xué)習(xí)，這意味著可將這個(gè)算法應(yīng)用到某個(gè)數(shù)據(jù)集中，來取得良好的性能，且不需要任何新的特征工程，只需要適當(dāng)?shù)赜?xùn)練數(shù)據(jù)。

但是，自編碼器在圖像壓縮方面表現(xiàn)得不好。由于在某個(gè)給定數(shù)據(jù)集上訓(xùn)練自編碼器，因此它在處理與訓(xùn)練集相類似的數(shù)據(jù)時(shí)可達(dá)到合理的壓縮結(jié)果，但是在壓縮差異較大的其他圖像時(shí)效果不佳。這里，像JPEG這樣的壓縮技術(shù)在通用圖像壓縮方面會(huì)表現(xiàn)得更好。

自動(dòng)編碼器是神經(jīng)網(wǎng)絡(luò)的一種，經(jīng)過訓(xùn)練后能嘗試將輸入復(fù)制到輸出，換句話說，就是使輸出的內(nèi)容和輸入的內(nèi)容一樣。自動(dòng)編碼器內(nèi)部有一個(gè)隱含層h，可以產(chǎn)生編碼來表示輸入。該網(wǎng)絡(luò)可以看作由兩部分組成：一個(gè)編碼器h=f(x)和一個(gè)生成重構(gòu)的解碼器r=g(h)。最后使得x約等于g(f(x))。可不可以通過設(shè)計(jì)網(wǎng)絡(luò)使得x=g(f(x))，理論上可以的，但通常不會(huì)這么做。

自動(dòng)編碼器應(yīng)該設(shè)計(jì)成不能學(xué)會(huì)完美地復(fù)制，通過強(qiáng)加一些約束，使自動(dòng)編碼器只能近似地復(fù)制，因些它能學(xué)習(xí)到數(shù)據(jù)的有用特性，自編碼器根據(jù)不同的約束，有著不同的屬性。