機(jī)器學(xué)習(xí)—超參數(shù)調(diào)優(yōu)

模型中的參數(shù)與超參數(shù)

在模型中不僅有參數(shù)，還有超參數(shù)的存在。超參數(shù)存在的目的是為了讓模型能夠?qū)W習(xí)到最佳的參數(shù)

兩者的區(qū)別：

1、參數(shù)是有模型自動(dòng)學(xué)習(xí)得到的

2、超參數(shù)需要我們自己手動(dòng)設(shè)置

?

模型中的超參數(shù)，模型中的超參數(shù)是模型外部的配置

1、模型超參數(shù)常應(yīng)用于估計(jì)模型參數(shù)的過程中。

2、模型超參數(shù)通常由實(shí)踐者直接指定。

3、模型超參數(shù)通?？梢允褂脝l(fā)式方法來設(shè)置。

4、模型超參數(shù)通常根據(jù)給定的預(yù)測(cè)建模問題而調(diào)整

常見的模型超參數(shù)：

1、Lasso/Ridge回歸當(dāng)中的

2、訓(xùn)練神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速率，迭代次數(shù)，批次大小，激活函數(shù)，神經(jīng)元的數(shù)量。

3、 支持向量機(jī)的C和O超參數(shù)。

4、KNN中的K。

5、隨機(jī)森林當(dāng)中的樹的棵數(shù)

超參數(shù)需要我們手動(dòng)進(jìn)行設(shè)置，那么我們?cè)撛趺慈ミx出一個(gè)合適的最優(yōu)超參數(shù)呢？這個(gè)問題的解決就涉及到了超參數(shù)調(diào)優(yōu)。

這里我們來看一下其中的兩個(gè)超參數(shù)調(diào)優(yōu)方法網(wǎng)格搜索和隨機(jī)搜索

網(wǎng)格搜索

網(wǎng)格搜索嘗試窮舉法去搜索范圍內(nèi)的所有的點(diǎn)來確定最優(yōu)值，如果采用較大的搜索范圍和較小的步長(zhǎng)，網(wǎng)格搜索有很大的概率找到全局最優(yōu)值。

但是網(wǎng)格搜索是一種昂貴且非常耗時(shí)的一種方法。隨著超參數(shù)的增加這種搜索方法十分消耗計(jì)算資源和時(shí)間

1、這種方法在超參數(shù)數(shù)目相對(duì)較少的情況下工作良好。因此一般機(jī)器學(xué)習(xí)算法中可行，但在神經(jīng)網(wǎng)絡(luò)等情況下就行不通了

隨機(jī)搜索

隨機(jī)搜索的思想和網(wǎng)格搜索的比較相似，只是不再測(cè)試上界和下界之間的所以值了，而是在這個(gè)范圍內(nèi)隨機(jī)選取超參數(shù)樣本。

在超參數(shù)搜索空間較大的情況下，采用隨機(jī)搜索，會(huì)優(yōu)于網(wǎng)格搜索的效果

隨機(jī)搜索實(shí)現(xiàn)了對(duì)超參數(shù)的隨機(jī)搜索, 其中每個(gè)設(shè)置都是從可能的參數(shù)值的分布中進(jìn)行取樣，試圖找出最佳的超參數(shù)子集

注意：

1、首先在一個(gè)粗范圍內(nèi)搜索，然后根據(jù)最佳結(jié)果出現(xiàn)的位置，縮小范圍。

2、某些超參數(shù)比其他的更加重要，隨機(jī)搜索過程中會(huì)影響搜索的偏向。