在Netflix，我們的目標(biāo)是在你觀看之前預(yù)測你想觀看的。為做到這一點，我們每天運行了大量的機器學(xué)習(xí)（ML）工作流。為了支持建立這些工作流并且有效利用資源，我們開發(fā)了Meson。
　　Meson是一個通用的工作流編排和調(diào)度框架，用于管理跨異構(gòu)系統(tǒng)執(zhí)行工作負載的ML管道。它管理著一些ML管道的生命周期，這些ML管道用來構(gòu)建、訓(xùn)練并驗證驅(qū)動視頻推薦的個性化算法。
　　Meson的主要目標(biāo)之一是提高算法實驗的速度，可靠性和可重復(fù)性，同時允許工程師使用他們選擇的技術(shù)來處理每個步驟。
　　增強機器學(xué)習(xí)管道
　　在Netflix內(nèi)部，Spark、MLlib、Python、R以及Docker在當(dāng)前一代的機器學(xué)習(xí)管道中起到了重要作用。
　　我們來看看驅(qū)動視頻推薦的典型機器學(xué)習(xí)管道，以及在Meson中它是如何表示和處理的。
　　
　　（點擊放大圖片）
　　工作流包括：
　　選擇一組用戶——使用Hive查詢來選擇用于分析的隊列
　　清洗/準備數(shù)據(jù)——一個Python腳本來創(chuàng)建兩組用戶，用于并行路徑
　　在并行路徑中，一條使用Spark構(gòu)建并分析全局模型，使用HDFS作為臨時存儲。
　　另一條使用R來構(gòu)建具體地區(qū)（國家）模型。地區(qū)的數(shù)量根據(jù)用于分析所選擇的隊列動態(tài)變化。圖中的構(gòu)建地區(qū)模型和驗證地區(qū)模型步驟對于每個地區(qū)（國家）重復(fù)執(zhí)行，在運行時擴展，使用不同的參數(shù)集執(zhí)行，如下所示。
　　驗證——當(dāng)兩條路徑收斂時，使用Scala代碼對模型的穩(wěn)定性進行測試。在這個過程中，如果模型不穩(wěn)定，則回到上面的步驟，重復(fù)整個過程。
　　發(fā)布新模型——使用Docker容器發(fā)布這個新模型，其他生產(chǎn)系統(tǒng)來獲取這個模型。
　　
　　（點擊放大圖片）
　　上圖顯示了上面描述的工作流運行過程。
　　用戶集選擇，數(shù)據(jù)清洗的完成由綠色步驟表示。
　　并行路徑正在處理：
　　Spark分支完成了模型的生成和驗證。for-each分支分出了4個不同的地區(qū)模型，它們都在處理（黃色）。
　　用于模型選擇的Scala步驟是激活的（藍色）。這表明一個或多個輸入分支已經(jīng)完成，但它還不會安排執(zhí)行，因為還有些輸入分支（a）還沒有開始或（b）正在處理。
　　運行時上下文和參數(shù)隨著工作流傳遞，用于業(yè)務(wù)決策。
　　揭開面紗
　　讓我們深入幕后場景來了解Meson是如何在不同系統(tǒng)之間統(tǒng)籌，以及生態(tài)系統(tǒng)中不同組件之間的相互影響。工作流有著不同的資源需求和總運行時間期望。我們依靠Apache Mesos這樣的資源管理系統(tǒng)來滿足這些需求。Mesos提供了任務(wù)隔離，以及CPU、內(nèi)存、存儲和其他計算資源的優(yōu)秀抽象。Meson利用這些功能來實現(xiàn)任務(wù)的彈性和容錯性。