機器學(xué)習(xí)問題通常會轉(zhuǎn)換成一個目標(biāo)函數(shù)去求解，優(yōu)化算法是求解目標(biāo)函數(shù)中參數(shù)的重要工具，在大數(shù)據(jù)環(huán)境下，需要設(shè)計并行與分布式的優(yōu)化算法，通過多核計算和分布式計算技術(shù)來加速訓(xùn)練過程，近年來，該領(lǐng)域涌現(xiàn)了大量研究工作，部分算法也在各機器學(xué)習(xí)平臺得到廣泛應(yīng)用，本文針對梯度下降算法、二階優(yōu)化算法、鄰近梯度算法、坐標(biāo)下降算法、交替方向乘子算法五類最常見的優(yōu)化方法展開研究，每一類算法分別從單機并行和分布式并行來分析相關(guān)研究成果，并從模型特性、輸入數(shù)據(jù)特性、算法評價、并行計算模型等角度對每個算法進(jìn)行詳細(xì)對比，隨后對有代表性的可擴展機器學(xué)習(xí)平臺中優(yōu)化算法的實現(xiàn)和應(yīng)用情況進(jìn)行對比分析．同時對本文中介紹的所有優(yōu)化算法進(jìn)行多層次分類，方便用戶根據(jù)目標(biāo)函數(shù)類型選擇合適的優(yōu)化算法，也可以通過該多層次分類圖交叉探索如何將優(yōu)化算法應(yīng)用到新的目標(biāo)函數(shù)類型，最后分析了現(xiàn)有優(yōu)化算法存在的問題，提出可能的解決思路，并對未來研究方向進(jìn)行展望。