來源：小白學視覺

今天給大家一篇關于機器學習調參技巧的文章。

超參數調優(yōu)是機器學習例程中的基本步驟之一。該方法也稱為超參數優(yōu)化，需要搜索超參數的最佳配置以實現最佳性能。

機器學習算法需要用戶定義的輸入來實現準確性和通用性之間的平衡。這個過程稱為超參數調整。有多種工具和方法可用于調整超參數。

我們整理了一份用于調整機器學習模型超參數的前八種方法的列表。

1、貝葉斯優(yōu)化

貝葉斯優(yōu)化已成為機器學習算法超參數調整的有效工具，更具體地說，適用于深度神經網絡等復雜模型。

它提供了一個有效的框架來優(yōu)化昂貴的黑盒功能，而無需知道它的形式。它已應用于多個領域，包括學習最優(yōu)機器人力學、序列實驗設計和合成基因設計。

2、遺傳算法

遺傳算法 (EA) 是一種優(yōu)化算法，它通過根據稱為算子的某些規(guī)則修改一組候選解決方案（種群）來工作。

EA 的主要優(yōu)勢之一是它們的通用性：這意味著 EA 可以在廣泛的條件下使用，因為它們簡單且獨立于潛在問題。在超參數調整問題中，遺傳算法已被證明比基于精度/速度的網格搜索技術表現更好。

3、基于梯度的優(yōu)化

基于梯度的優(yōu)化是一種優(yōu)化多個超參數的方法，基于機器學習模型選擇標準相對于超參數的梯度計算。當滿足訓練標準的一些可微性和連續(xù)性條件時，可以應用這種超參數調整方法。

4、網格搜索

網格搜索是超參數調優(yōu)的基本方法。它對用戶指定的超參數集執(zhí)行詳盡的搜索。這種方法是最直接的導致最準確的預測。

使用這種調優(yōu)方法，用戶可以找到最佳組合。網格搜索適用于幾個超參數，但是搜索空間有限。

5、Keras Tuner

Keras Tuner是一個庫，允許用戶為機器學習或深度學習模型找到最佳超參數。

該庫有助于查找內核大小、優(yōu)化學習率和不同的超參數。Keras Tuner可用于為各種深度學習模型獲取最佳參數，以實現最高精度。

6、基于種群的優(yōu)化

基于種群的方法本質上是一系列基于隨機搜索（如遺傳算法）的方法。

最廣泛使用的基于種群的方法之一是 DeepMind 提出的基于種群的訓練（PBT）。PBT在兩個方面，是一種獨特的方法：

• 它允許在訓練期間使用自適應超參數
• 它結合了并行搜索和順序優(yōu)化

7、ParamILS

ParamILS（參數配置空間中的迭代局部搜索）是一種用于自動算法配置的通用隨機局部搜索方法。ParamILS 是一種自動算法配置方法，有助于開發(fā)高性能算法及其應用程序。

ParamILS 使用默認和隨機設置進行初始化，并采用迭代第一改進作為輔助本地搜索過程。它還使用固定數量的隨機移動來進行擾動，并且總是接受更好或同樣好的參數配置，但會隨機重新初始化搜索。

8、隨機搜索

隨機搜索可以說是對網格搜索的基本改進。該方法是指對可能參數值的某些分布的超參數進行隨機搜索。

搜索過程繼續(xù)進行，直到達到所需的精度。隨機搜索類似于網格搜索，但已證明比后者創(chuàng)建更好的結果。

該方法通常被用作 HPO 的基線來衡量新設計算法的效率。盡管隨機搜索比網格搜索更有效，但它仍然是一種計算密集型方法。