到目前為止，我們一直專注于如何通過訓(xùn)練具有多個(gè)輸出和 softmax 函數(shù)的（線性）神經(jīng)網(wǎng)絡(luò)來解決多類分類問題。將我們模型的輸出解釋為概率預(yù)測，我們激發(fā)并推導(dǎo)了交叉熵?fù)p失函數(shù)，它計(jì)算我們的模型（對于一組固定參數(shù)）分配給實(shí)際標(biāo)簽的負(fù)對數(shù)似然。最后，我們通過將我們的模型擬合到訓(xùn)練集來將這些工具付諸實(shí)踐。然而，一如既往，我們的目標(biāo)是學(xué)習(xí)一般模式，根據(jù)以前看不見的數(shù)據(jù)（測試集）進(jìn)行經(jīng)驗(yàn)評估。訓(xùn)練集上的高精度毫無意義。每當(dāng)我們的每個(gè)輸入都是唯一的（對于大多數(shù)高維數(shù)據(jù)集而言確實(shí)如此）時(shí)，我們可以通過僅記住第一個(gè)訓(xùn)練時(shí)期的數(shù)據(jù)集并隨后在我們看到標(biāo)簽時(shí)查找標(biāo)簽來獲得訓(xùn)練集的完美準(zhǔn)確性一個(gè)新形象。然而，記住與確切訓(xùn)練示例相關(guān)聯(lián)的確切標(biāo)簽并不能告訴我們?nèi)绾螌π率纠M(jìn)行分類。如果沒有進(jìn)一步的指導(dǎo)，每當(dāng)我們遇到新的例子時(shí)，我們可能不得不求助于隨機(jī)猜測。

許多緊迫的問題需要立即引起注意：

1. 我們需要多少測試示例才能精確估計(jì)我們的分類器對基礎(chǔ)人群的準(zhǔn)確性？

2. 如果我們在同一個(gè)測試中反復(fù)評估模型會發(fā)生什么？

3. 為什么我們應(yīng)該期望將我們的線性模型擬合到訓(xùn)練集應(yīng)該比我們的樸素記憶方案更好？

雖然第 3.6 節(jié)介紹了線性回歸背景下過度擬合和泛化的基礎(chǔ)知識，但本章將更深入一些，介紹統(tǒng)計(jì)學(xué)習(xí)理論的一些基本思想。事實(shí)證明，我們通?？梢?/font>先驗(yàn)地保證泛化：對于許多模型，以及泛化差距的任何期望上限?，我們通常可以確定一些所需的樣本數(shù)量n這樣如果我們的訓(xùn)練集至少包含n樣本，那么我們的經(jīng)驗(yàn)誤差將位于?的真實(shí)錯誤，對于任何數(shù)據(jù)生成分布。不幸的是，事實(shí)證明，雖然這些類型的保證提供了一套深刻的知識構(gòu)建塊，但它們對深度學(xué)習(xí)從業(yè)者的實(shí)用性有限。簡而言之，這些保證表明，確保先驗(yàn)深度神經(jīng)網(wǎng)絡(luò)的泛化需要數(shù)量荒謬的示例（可能數(shù)萬億或更多），即使我們發(fā)現(xiàn)，在我們關(guān)心的任務(wù)上，深度神經(jīng)網(wǎng)絡(luò)通常可以很好地泛化遠(yuǎn)更少的例子（千）。因此，深度學(xué)習(xí)從業(yè)者通常完全放棄先驗(yàn)保證，而是在過去對類似問題進(jìn)行了很好泛化的基礎(chǔ)上采用方法，并證明泛化事后 通過實(shí)證評估。當(dāng)我們到達(dá) 第 5 節(jié)時(shí)，我們將重新審視泛化，并簡要介紹大量科學(xué)文獻(xiàn)，這些文獻(xiàn)如雨后春筍般涌現(xiàn)，試圖解釋為什么深度神經(jīng)網(wǎng)絡(luò)在實(shí)踐中泛化。