一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

您好,歡迎來(lái)電子發(fā)燒友網(wǎng)! ,新用戶?[免費(fèi)注冊(cè)]

您的位置:電子發(fā)燒友網(wǎng)>源碼下載>數(shù)值算法/人工智能>

如何搞定機(jī)器學(xué)習(xí)中的拉格朗日?看看這個(gè)乘子法與KKT條件大招

大小:0.4 MB 人氣: 2017-12-06 需要積分:1
 一 前置知識(shí)
  拉格朗日乘子法是一種尋找多元函數(shù)在一組約束下的極值方法,通過(guò)引入拉格朗日乘子,可將有m個(gè)變量和n個(gè)約束條件的最優(yōu)化問(wèn)題轉(zhuǎn)化為具有m+n個(gè)變量的無(wú)約束優(yōu)化問(wèn)題。在介紹拉格朗日乘子法之前,先簡(jiǎn)要的介紹一些前置知識(shí),然后就拉格朗日乘子法談一下自己的理解。
  1.梯度
  梯度是一個(gè)與方向?qū)?shù)有關(guān)的概念,它是一個(gè)向量。在二元函數(shù)的情形,設(shè)函數(shù)f(x,y)在平面區(qū)域D內(nèi)具有一階連續(xù)偏導(dǎo),則對(duì)于每一點(diǎn)P(x0,y0)∈D,都可以定義出一個(gè)向量:fx(x0,y0)i+fy(x0,y0)j ,稱該向量為函數(shù)f(x,y)在點(diǎn)P(x0,y0)
  的梯度。并記作grad f(x0,y0) 或者?f(x0,y0),即 grad f(x0,y0) = ?f(x0,y0) = fx(x0,y0)i+fy(x0,y0)j=(fx(x0,y0),fy(x0,y0)) 。
  再來(lái)看看梯度和方向?qū)?shù)的關(guān)系:如果函數(shù)f(x,y)在P(x0,y0)點(diǎn)可微,el = (cosα,cosβ)是與方向L同向的單位向量,則?f/?L|(x0,y0) = fx(x0,y0)cosα+fy(x0,y0)cosβ = grad f(x0,y0).el = |grad f(x0,y0)|.cosθ ,其中θ表示的梯度與el 的夾角。由此可知,當(dāng)θ = 0時(shí),el 與梯度的方向相同時(shí),此時(shí)方向?qū)?shù)最大,函數(shù)f(x,y)增長(zhǎng)最快;當(dāng)θ = π時(shí),el 與梯度的方向相反時(shí),此時(shí)方向?qū)?shù)最小且為負(fù),函數(shù)f(x,y)減小最快。
  2.等高線(等值線)
  通常來(lái)說(shuō),二元函數(shù) z = f(x,y)在幾何上表示一個(gè)曲面,這個(gè)曲面被平面 z = c(c為常數(shù))所截得的曲線L的方程為:
  如何搞定機(jī)器學(xué)習(xí)中的拉格朗日?看看這個(gè)乘子法與KKT條件大招
  這是一條空間曲線,這條曲線L在xOy平面上的投影是一條平面曲線L*,它在xOy平面直角坐標(biāo)系中的方程為:f(x,y) = c 。對(duì)于曲線L*上的一切點(diǎn),已給函數(shù)的函數(shù)值都是c,所以我們稱平面曲線L*為函數(shù)z = f(x,y)的等值線(等高線)。再來(lái)看看等高線的一些性質(zhì):
  若fx,fy不同時(shí)為零,則等高線 f(x,y) = c上任一點(diǎn)P(x0,y0)處的一個(gè)單位法向量為:
  如何搞定機(jī)器學(xué)習(xí)中的拉格朗日?看看這個(gè)乘子法與KKT條件大招
  這表明函數(shù)f(x,y)在一點(diǎn)(x0,y0)的梯度?f(x0,y0)的方向就是等高線f(x,y) = c在這點(diǎn)的法向量的方向,而梯度的模|?f(x0,y0)|就是沿這個(gè)法線方向的方向?qū)?shù)?f/?n,于是有:
  如何搞定機(jī)器學(xué)習(xí)中的拉格朗日?看看這個(gè)乘子法與KKT條件大招

非常好我支持^.^

(0) 0%

不好我反對(duì)

(1) 100%

      發(fā)表評(píng)論

      用戶評(píng)論
      評(píng)價(jià):好評(píng)中評(píng)差評(píng)

      發(fā)表評(píng)論,獲取積分! 請(qǐng)遵守相關(guān)規(guī)定!

      ?