一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何構(gòu)建數(shù)據(jù)科學(xué)項目才能更高效?

物聯(lián)網(wǎng)之聲 ? 來源:未知 ? 作者:胡薇 ? 2018-09-06 09:01 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

數(shù)據(jù)科學(xué)是什么?數(shù)據(jù)分析?機器學(xué)習(xí)?還是數(shù)據(jù)工程?答案可能有很多,但也許只有直接與某個公司的數(shù)據(jù)科學(xué)家交流,才能了解該公司是如何看待數(shù)據(jù)科學(xué)的。由Netflix舉辦的第三屆聚焦數(shù)據(jù)科學(xué)的WiBD研討會,為我們所有人了解Netflix的數(shù)據(jù)科學(xué)故事提供了絕佳機會,一起來看看吧!

數(shù)據(jù)科學(xué)是一個非常抽象的概念。有些人認為它是數(shù)據(jù)分析,也有一些人認為它是機器學(xué)習(xí),還有些認為它帶有一些數(shù)據(jù)工程的味道。

業(yè)界對數(shù)據(jù)科學(xué)這一概念難以達成一致有很多原因,其中一點就是,現(xiàn)在大范圍內(nèi)的崗位都可能涉及數(shù)據(jù)科學(xué),并且這些崗位的職責(zé)都不盡相同。

此外,不同公司之間的細微差別,甚至是同一公司內(nèi)部的不同團隊之間的細微差別都會導(dǎo)致對數(shù)據(jù)科學(xué)的理解不同。因此,只有直接與某個公司的數(shù)據(jù)科學(xué)家交流才能了解該公司是如何看待數(shù)據(jù)科學(xué)的。

信息不對稱是一個令人遺憾的事實,它阻礙了許多人追尋數(shù)據(jù)科學(xué)以及數(shù)據(jù)工程這一職業(yè)的道路。

如果我們投入越多的工作時間來解決這一棘手的問題,那么這一阻礙也就能越早被突破。關(guān)于這一點,推薦一個社會教育企業(yè)——HasBrain,該企業(yè)致力于填補信息缺口并且為想要學(xué)習(xí)并找到通往數(shù)據(jù)科學(xué)和數(shù)據(jù)工程道路的人提供幫助。

構(gòu)建數(shù)據(jù)科學(xué)項目

頭腦風(fēng)暴活動

現(xiàn)實世界的數(shù)據(jù)科學(xué)項目與理論上的有何不同,如何構(gòu)建數(shù)據(jù)科學(xué)項目才能更高效?Becky在研討會上展示的數(shù)據(jù)科學(xué)項目體系對該問題總結(jié)得非常好。

以下是Becky的總結(jié)

步驟一:從了解業(yè)務(wù)問題開始

下面的幻燈片,是Becky就如何定義成功而列出的一系列業(yè)務(wù)問題。如果你想要很好地證明你的概念,你需要一開始要以一個簡單模型作為基準(zhǔn),然后從增量改善(incremental improvement)的角度來評估模型的價值。

否則,你會一直困擾于75%的準(zhǔn)確度是否足夠好這樣的問題。擁有物理學(xué)博士學(xué)位的Becky也提到,專業(yè)學(xué)者總是會仔細檢查到最后那20%,以確保結(jié)果是無懈可擊的。所以,如果博士生們想要成為數(shù)據(jù)科學(xué)家,這一點是需要特別注意的。

步驟二:制定技術(shù)計劃

除了下面的幻燈片中列出的細節(jié),Becky還強調(diào)了溝通的重要性,同時還提出要站在利益相關(guān)者的角度思考。因為利益相關(guān)者最關(guān)心的未必是機器學(xué)習(xí)的誤差測度,所以要學(xué)會如何將業(yè)務(wù)目標(biāo)轉(zhuǎn)化為價值優(yōu)化問題,這一點極為關(guān)鍵。

相較于“重新發(fā)明輪子”,弄明白和學(xué)會使用現(xiàn)有的技術(shù)可以為我們節(jié)省很多時間。現(xiàn)有的用于監(jiān)督學(xué)習(xí)的技術(shù),如預(yù)測建?;蚍诸悾加泻芎玫奈臋n記錄。

然而,在相對更先進以及更專業(yè)的機器學(xué)習(xí)領(lǐng)域(例如NLP和圖像分類),新文章不斷地發(fā)表,技術(shù)不斷地更新。因此,即時了解最新和最好的研究論文是數(shù)據(jù)科學(xué)家們需要牢記的黃金準(zhǔn)則。

步驟三:對概念進行初步驗證 -> 不斷迭代/驗證直到成功或是無法再繼續(xù) -> 向利益相關(guān)者傳達結(jié)果

如果你對工作流程甚至是數(shù)據(jù)科學(xué)家使用的工具或庫還有任何的疑問,都可以參考Becky在項目構(gòu)建中對“doing the project”這部分的詳細描述。

步驟四:模型產(chǎn)品化

如果一些數(shù)據(jù)科學(xué)家告訴你必須要學(xué)會編寫產(chǎn)品級代碼,那么,他們可能需要獨立處理模型產(chǎn)品化,而不是交給機器學(xué)習(xí)工程師或是軟件工程師。

模型產(chǎn)品化本質(zhì)上就是指不要在現(xiàn)有的模型輸出上停滯不前。你的結(jié)果輸出是產(chǎn)品的一部分,并且會改變用戶的實際體驗。

你的代碼也會成為更大的產(chǎn)品代碼庫的一部分,例如,如果你歸類用戶是否會在未來兩周內(nèi)流失,被預(yù)測為會流失的用戶和被預(yù)測為不會流失的用戶可能會有不同的用戶界面(UI)。

實際上,你是為其他團隊創(chuàng)建了一個API來調(diào)用你的模型并獲得模型輸出。你可能需要重構(gòu)你的代碼,此時,只要API沒有中斷并且終端用戶體驗是無縫的,你就可以不斷地升級模型。

Becky自學(xué)了工作中要用到的軟件工程方面的知識,學(xué)會使代碼模塊化,以實現(xiàn)可重復(fù)性并提高算法效率。甚至有時,可能會參與到軟件工程師或是數(shù)據(jù)工程師的團隊中。這不僅取決于工作的復(fù)雜性,還取決于服務(wù)等級協(xié)議(Service Level Agreement, SLA)。例如,如果你的API需要一直處于運行狀態(tài),則可能需要更廣泛的代碼審查或軟件工程團隊的直接參與。

溝通與問題解決

在講述了數(shù)據(jù)科學(xué)項目的構(gòu)建之后,Becky更多地談到了有效溝通和解決問題的技巧的重要性。如何向非技術(shù)人員的利益相關(guān)者們解釋復(fù)雜的數(shù)據(jù)科學(xué)概念,是獲得他們買進支持的重要環(huán)節(jié)。

Becky將她在攻讀物理學(xué)博士學(xué)位期間學(xué)會的一項技能運用于此——將復(fù)雜問題分解成小塊并逐一解決。類似地,她就將利益相關(guān)者的高階問題(high level question)進行分解,并找出數(shù)據(jù)科學(xué)項目可以提供價值的地方。

如果沒有數(shù)據(jù)科學(xué)家的工作經(jīng)驗,想要勝任這部分工作是不容易的,因為包括Kaggle項目在內(nèi)的大多數(shù)實踐項目都是從已經(jīng)定義明確的數(shù)據(jù)科學(xué)問題開始的。Becky談到,這些軟技能其實是從經(jīng)驗中獲得的,當(dāng)然也可以從有效的反饋中學(xué)習(xí)。

與此同時,她也會閱讀一些基礎(chǔ)書籍來熟悉商業(yè)中的通用概念和術(shù)語。另外,許多其他資深的數(shù)據(jù)科學(xué)家們都建議,如果想要進一步發(fā)展自己的商業(yè)頭腦,則需要閱讀一些產(chǎn)品管理的書籍和文章。

實踐練習(xí)

這個項目使用WDI數(shù)據(jù)來預(yù)測業(yè)務(wù)啟動成本,非常適合初學(xué)者。如果你是機器學(xué)習(xí)新人,或是剛剛完成一些監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)基礎(chǔ)課程,這將會是一個很好的額外練習(xí)機會。

現(xiàn)在,讓我們回到之前談?wù)摰膯栴}解決和溝通方面,Becky就此提出了一個業(yè)務(wù)問題:“在不同的國家開展業(yè)務(wù)都有多難?”她還確立了一個項目目標(biāo),即預(yù)測在不同國家開展業(yè)務(wù)的成本。

如果這是一個實際的工作項目,對于開展業(yè)務(wù)的便利性來說,這些預(yù)測成本要如何成為整體評估決策中的一部分,我想,她可能需要與利益相關(guān)者就此問題達成一致。

最后,希望這個總結(jié)對你有幫助。祝所有數(shù)據(jù)科學(xué)愛好者們好運!并再次感謝Netflix團隊的慷慨分享!另有演示的幻燈片和錄像可供使用。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

原文標(biāo)題:如何成為一名數(shù)據(jù)科學(xué)家?聽聽來自Netfix的老司機怎么說

文章出處:【微信號:szwlw26059696,微信公眾號:物聯(lián)網(wǎng)之聲】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    【書籍評測活動NO.61】Yocto項目實戰(zhàn)教程:高效定制嵌入式Linux系統(tǒng)

    構(gòu)建環(huán)境和性能要求。根據(jù) Yocto 項目的官方說明,主要挑戰(zhàn)可歸納為三大類: 學(xué)習(xí)曲線與理解成本 工作流與構(gòu)建環(huán)境的復(fù)雜性 初始構(gòu)建時間與性能問題 為了幫助大家
    發(fā)表于 05-21 10:00

    工業(yè)數(shù)據(jù)采集網(wǎng)關(guān)選型全攻略:構(gòu)建智能工廠的數(shù)字橋梁

    在智能制造與工業(yè)互聯(lián)網(wǎng)深度融合的今天,工業(yè)數(shù)據(jù)采集網(wǎng)關(guān)作為連接物理設(shè)備與數(shù)字世界的核心樞紐,其選型直接影響企業(yè)數(shù)字化轉(zhuǎn)型的成效。本文將從六大核心維度解析如何科學(xué)選擇適配的工業(yè)網(wǎng)關(guān),助您構(gòu)建穩(wěn)定、
    的頭像 發(fā)表于 04-12 11:13 ?315次閱讀

    光伏電站運維系統(tǒng)讓太陽能發(fā)電更高效

    ?????? 光伏電站運維系統(tǒng)讓太陽能發(fā)電更高效 ?????? 光伏電站運維系統(tǒng)是一套幫助管理太陽能發(fā)電站的技術(shù)工具,它的作用是讓電站運行更穩(wěn)定、發(fā)電更高效,同時減少人工維護的成本和麻煩。以下是它
    的頭像 發(fā)表于 03-28 16:22 ?374次閱讀
    光伏電站運維系統(tǒng)讓太陽能發(fā)電<b class='flag-5'>更高效</b>

    高效流量復(fù)制匯聚,構(gòu)建自主可控的網(wǎng)絡(luò)安全環(huán)境

    隨著大數(shù)據(jù)監(jiān)測、流量分析以及網(wǎng)絡(luò)安全監(jiān)管等核心業(yè)務(wù)需求的日益增長,網(wǎng)絡(luò)環(huán)境對高性能、高可靠性的流量監(jiān)控和分析提出了更高的要求。流量復(fù)制匯聚平臺憑借其卓越的技術(shù)特性和靈活的應(yīng)用方案,不僅幫助用戶實現(xiàn)了對網(wǎng)絡(luò)流量的精準(zhǔn)控制和高效處理
    的頭像 發(fā)表于 03-10 14:29 ?502次閱讀
    <b class='flag-5'>高效</b>流量復(fù)制匯聚,<b class='flag-5'>構(gòu)建</b>自主可控的網(wǎng)絡(luò)安全環(huán)境

    JBD助力日本科學(xué)技術(shù)振興機構(gòu)資助的醫(yī)用AR 眼鏡開發(fā)項目

    ? 近日,JBD宣布為日本科學(xué)技術(shù)振興機構(gòu)(JST)資助的戰(zhàn)略創(chuàng)意研究推進項目CREST中的醫(yī)用AR眼鏡開發(fā)項目提供微顯示模組產(chǎn)品。該項目由東京科學(xué)
    發(fā)表于 02-05 17:48 ?393次閱讀
    JBD助力日本<b class='flag-5'>科學(xué)</b>技術(shù)振興機構(gòu)資助的醫(yī)用AR 眼鏡開發(fā)<b class='flag-5'>項目</b>

    NVIDIA RAPIDS cuDF如何賦能AI加速數(shù)據(jù)科學(xué)

    隨著 AI 正幫助各行各業(yè)推動創(chuàng)新和提高效率,基于海量的高質(zhì)量數(shù)據(jù)來訓(xùn)練各種模型是充分發(fā)揮 AI 應(yīng)用潛力的必經(jīng)之路,正因如此,數(shù)據(jù)科學(xué)家們面臨著日益增長的工作負載需求,迫切需求尋找
    的頭像 發(fā)表于 01-24 09:26 ?603次閱讀

    解碼TW6501:ONFI 5.0協(xié)議如何令存儲通訊更高效

    解碼TW6501:ONFI 5.0協(xié)議如何令存儲通訊更高效
    的頭像 發(fā)表于 01-21 14:51 ?481次閱讀
    解碼TW6501:ONFI 5.0協(xié)議如何令存儲通訊<b class='flag-5'>更高效</b>

    AI干貨補給站04 | 工業(yè)AI視覺檢測項目實施第三步:模型構(gòu)建

    AI視覺檢測項目入門指南》系列文章。該系列文章將AI視覺檢測項目的實施過程細分為制定計劃、數(shù)據(jù)收集、模型構(gòu)建以及工廠驗收四個階段,旨在通過分享各階段的實施經(jīng)驗與注意
    的頭像 發(fā)表于 11-29 01:04 ?651次閱讀
    AI干貨補給站04 | 工業(yè)AI視覺檢測<b class='flag-5'>項目</b>實施第三步:模型<b class='flag-5'>構(gòu)建</b>

    數(shù)據(jù)要素時代下構(gòu)建高效數(shù)據(jù)治理能力的策略

    數(shù)據(jù)驅(qū)動的商業(yè)時代,高效數(shù)據(jù)治理平臺已成為企業(yè)成功的核心要素。盡管市場上已有眾多成熟的數(shù)據(jù)治理產(chǎn)品,但許多客戶仍反映未能充分實現(xiàn)數(shù)據(jù)治理
    的頭像 發(fā)表于 11-01 11:19 ?697次閱讀

    使用Python構(gòu)建高效的HTTP代理服務(wù)器

    構(gòu)建一個高效的HTTP代理服務(wù)器在Python中涉及多個方面,包括性能優(yōu)化、并發(fā)處理、協(xié)議支持(HTTP/HTTPS)、錯誤處理以及日志記錄等。
    的頭像 發(fā)表于 10-23 07:41 ?521次閱讀

    《AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第6章人AI與能源科學(xué)讀后感

    、優(yōu)化等方面的應(yīng)用有了更清晰的認識。特別是書中提到的基于大數(shù)據(jù)和機器學(xué)習(xí)的能源管理系統(tǒng),通過實時監(jiān)測和分析能源數(shù)據(jù),實現(xiàn)了能源的高效利用和智能化管理。 其次,第6章通過多個案例展示了人工智能在能源
    發(fā)表于 10-14 09:27

    AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第4章-AI與生命科學(xué)讀后感

    閱讀這一章后,我深感人工智能與生命科學(xué)的結(jié)合正引領(lǐng)著一場前所未有的科學(xué)革命,以下是我個人的讀后感: 1. 技術(shù)革新與生命科學(xué)進步 這一章詳細闡述了人工智能如何通過其強大的數(shù)據(jù)處理和分析
    發(fā)表于 10-14 09:21

    《AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第一章人工智能驅(qū)動的科學(xué)創(chuàng)新學(xué)習(xí)心得

    人工智能:科學(xué)研究的加速器 第一章清晰地闡述了人工智能作為科學(xué)研究工具的強大功能。通過機器學(xué)習(xí)、深度學(xué)習(xí)等先進技術(shù),AI能夠處理和分析海量數(shù)據(jù),發(fā)現(xiàn)傳統(tǒng)方法難以捕捉的模式和規(guī)律。這不僅極大地提高了
    發(fā)表于 10-14 09:12

    GaN如何實現(xiàn)更高效、更緊湊的電源

    電子發(fā)燒友網(wǎng)站提供《GaN如何實現(xiàn)更高效、更緊湊的電源.pdf》資料免費下載
    發(fā)表于 09-12 10:00 ?0次下載
    GaN如何實現(xiàn)<b class='flag-5'>更高效</b>、更緊湊的電源

    這樣設(shè)計SD/TF卡的PCB更高效、更可靠!

    ,TF和SD卡都采用了SD協(xié)議,但是它們的接口有所不同。 TF卡只有一根地線,而SD卡則有兩根地線 。這使得SD卡在接口上比TF卡更為復(fù)雜,但是也提供了更高數(shù)據(jù)傳輸速度和更強的兼容性。 此外,SD卡
    發(fā)表于 09-03 17:01