導讀

從淺入深學習Transformer的資料匯總。

Transformers 加速了自然語言處理(NLP)任務的新技術和模型的發(fā)展。雖然它主要用于NLP任務，但現(xiàn)在它被大量應用于處理計算機視覺任務。這使它成為一個非常重要的技術。

我知道很多機器學習和NLP的學生和從業(yè)者都非常熱衷于學習Transformers 。因此，我保存了一份資源和學習材料的配方，幫助學生了解Transformers的世界。

首先，在這篇文章中，我準備了一些材料鏈接，用于更好地從頭開始理解和實現(xiàn)transformer模型。

寫這篇文章的原因是這樣我就可以有一個簡單的方法來繼續(xù)更新學習材料。

高層次介紹

首先，關于Transformers的非常高層次的介紹。一些值得一看的參考資料:

https://theaisummer.com/transformer/

https://hannes-stark.com/assets/transformer_survey.pdf

Transformer 圖解

Jay Alammar)的解釋很特別。一旦你對Transformer有了高層次的理解，你就可以跳到下面這個流行的關于Transformer的圖解說明：

http://jalammar.github.io/illustrated-transformer/

技術匯總

此時，你可能正在尋找Transformers的技術摘要和概述。Lilian Weng的博文是一個寶藏，提供了簡潔的技術解釋/總結：

https://lilianweng.github.io/lil-log/2020/04/07/the-transformer-family.html

實現(xiàn)

理論之后，檢驗知識是很重要的。我通常喜歡更詳細地理解事物，所以我更喜歡從頭開始實現(xiàn)算法。對于實現(xiàn)Transformers，我主要依賴于這個教程:

https://nlp.seas.harvard.edu/2018/04/03/attention.html

Attention Is All You Need

本文由Vaswani等人介紹了Transformer 的結構。在你有一個高層次的理解和想要進入細節(jié)后再讀它。為了深入研究，請注意論文中的其他參考文獻。

https://arxiv.org/pdf/1706.03762v5.pdf

應用 Transformers

在學習和理解Transformers背后的理論一段時間后，你可能會有興趣將它們應用到不同的NLP項目或研究中?，F(xiàn)在，你最好的選擇是HuggingFace的Transformers庫。

https://github.com/huggingface/transformers

責任編輯：lq