人類發(fā)明的機器學習（ML）算法簡直數(shù)不勝數(shù)。當然，大多數(shù)時候只有一小部分被用于研究和工業(yè)。然而，對于個人來說，理解并記住所有這些 ML 模型的細節(jié)仍然有點困難。有些人可能會有一個錯誤的印象，認為所有這些算法都是完全不相關的。更重要的是，當兩種算法似乎都有效時，如何選擇使用算法 A，還是 B？

人類發(fā)明的機器學習（ML）算法簡直數(shù)不勝數(shù)。當然，大多數(shù)時候只有一小部分被用于研究和工業(yè)。然而，對于個人來說，理解并記住所有這些 ML 模型的細節(jié)仍然有點困難。有些人可能會有一個錯誤的印象，認為所有這些算法都是完全不相關的。更重要的是，當兩種算法似乎都有效時，如何選擇使用算法 A，還是 B？

這篇文章的目的是為讀者提供一個不同的角度來看待 ML 算法。有了這些角度，算法可以在同樣的維度上進行比較，并且可以很容易地進行分析。本文在撰寫時考慮了兩個主要的 ML 任務——回歸和分類。

時間復雜度

在 RAM 模型下，算法所花費的“時間”是由算法的基本運算來度量的。雖然用戶和開發(fā)人員可能更關心算法用于訓練模型的掛鐘時間，但在比較模型用于訓練的時間時，使用最壞情況下的計算時間復雜度更公平。使用計算復雜度的好處是，可以忽略運行時使用的計算機能力、架構(gòu)以及底層編程語言等的差異，允許用戶關注算法基本操作的基本差異。

注意，在訓練和測試期間，時間復雜度可能差別很大。例如，像線性回歸這樣的參數(shù)模型可能訓練時間很長，但它們在測試期間很高效。