機器學習是大數(shù)據(jù)、人工智能的核心，是從事這個領域的必經(jīng)之路。但是懂得算法還遠遠不能體現(xiàn)機器學習的價值所在。如果你是開發(fā)者，方便的機器學習，為你涉入該領域提供了便捷。不過，能夠確定一套高商業(yè)價值的模型，你需要很長的積淀?？偨Y八個機器學習的核心能力以供把控方向。

1、問題模型化能力

機器學習的最終目的是實現(xiàn)某種問題的利益最大化，所有實際問題最終都會轉化為一個數(shù)據(jù)科學的優(yōu)化問題，那么就需要你有較好的行業(yè)背景認識。盡管海量數(shù)據(jù)會大量縮小你對行業(yè)熟知知識的要求，但數(shù)據(jù)往往不全是海量的，且熟悉的行業(yè)背景知識可大大提高效率。

2、復雜數(shù)據(jù)結構化能力

喂入算法是數(shù)據(jù)是設計好的，結構化了的數(shù)據(jù)，但實際數(shù)據(jù)往往有各種來源，如圖像數(shù)據(jù)、文本數(shù)據(jù)、空間、事件序列。..故而合理的結構化數(shù)據(jù)的能力是很有必要的。

3、數(shù)據(jù)量、數(shù)據(jù)結構與數(shù)據(jù)合理預處理的能力

1）數(shù)據(jù)量VS異常值

所謂異常值，即不是缺失值，也不是錯誤值，同樣是真實情況的表現(xiàn)，之所以覺得一個數(shù)據(jù)異常，是因為我們能夠用到的數(shù)據(jù)量不夠大，無法準確地代表整個此類數(shù)據(jù)的分布。故當數(shù)據(jù)量足夠大時，異常值不再異常，且提升了數(shù)據(jù)的覆蓋面，如個性化推薦。

2）數(shù)據(jù)平衡VS采樣

如果數(shù)據(jù)分布均衡，應盡可能避免采樣；因為上下采樣都有其不利影響，上采樣不得當，使得數(shù)據(jù)中存在大量相同的數(shù)據(jù)，會導致模型過擬合；下采樣則必然減少數(shù)據(jù)信息量。

數(shù)據(jù)不平衡時，常見的處理方式有：

簡單粗暴地復制小樣本數(shù)量的樣本——容易過擬合；

調整權重——其效果基本近似于上一種；

隨機森林，使每棵樹訓練時的樣本均衡；

觀察導致樣本不均衡的因素，或可在該因素下先分類，再分別訓練模型。

4、理解特征、并可以有效轉換特征的能力

海量數(shù)據(jù)特征中，必然有很多特征存在相關性，常常通過降維有效合并相關數(shù)據(jù)，這樣，在防止了過擬合的同時，也緩解了計算機的負擔；

有時特征經(jīng)過轉換后，預測效果更佳。如連續(xù)變量離散化、重新劃分離散區(qū)間。..。

也可對特征重要性排序，繪制特征數(shù)量增加與模型預測結果的關系曲線。

5、選擇適當算法的能力

1） 算法不是越復雜越好的，記住：同樣的數(shù)據(jù)下，當所有模型擬合效果相近時，復雜度越小的算法，帶來不必要的麻煩越小，可解釋性也相對更高。

2） 在相同算法下，訓練的效果會隨著數(shù)據(jù)的增加而增加，但超過一定程度后，訓練效果將趨于穩(wěn)定，此時應該考慮更換復雜度較高的算法。

可以參考下圖為數(shù)據(jù)選擇合理的算法。

6、優(yōu)化損失函數(shù)的能力

當數(shù)據(jù)分布不均、或需要為某個類別增加權重時，就需要調整損失函數(shù)的權值參數(shù)，或增加懲罰項。如通過在特定的錯誤類型上，增加更多的懲罰來解釋它們的權重

7、模型訓練與模型融合的能力

想要訓練出一個好的模型參數(shù)也不簡單，最好對算法參數(shù)有較深的理解。可以使用柵格搜索（GridSearchCV）輔助調參，但真正得到的好的參數(shù)，還需要與你長期的經(jīng)驗相結合。

有時單一的模型不能很好的擬合數(shù)據(jù)，此時可以將多個模型融合做訓練，常見的模型融合有Boosting、Bagging兩種。典型的如Adaboost、隨機森林

8、區(qū)分經(jīng)驗誤差與泛化誤差

訓練集上的效果不能代表實際效果，要得到好的實際預測效果，及減小泛化誤差。交叉驗證可以實現(xiàn)這一目的，不過最好還要準備一套測試數(shù)據(jù)來驗證。通俗理解：交叉驗證是高考前的各種?？?，而最終測試數(shù)據(jù)的結果就是高考結果。

此外可以使用正則化來減小泛化誤差。