一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

微博Push系統(tǒng)的發(fā)展歷程,如何利用機器學習進行熱點挖掘以及個性化推薦系統(tǒng)的模型升級之路

電子工程師 ? 來源:lq ? 2019-05-19 10:35 ? 次閱讀

想必國內絕大多數(shù)網(wǎng)民都有新浪微博的用戶賬號。據(jù)最新數(shù)據(jù)顯示,2018 年第四季度財報,微博月活躍用戶突破 4.62 億,連續(xù)三年增長 7000 萬 +;微博垂直領域數(shù)量擴大至 60 個,月閱讀量過百億領域達 32 個。毫無疑問,從 2009 年 8 月上線至今,微博已是當前業(yè)界領先的中文社交媒體,成績斐然。

當年有一句話叫做 “圍觀就是力量,輿論改變中國”,明星緋聞、爆炸性新聞等眾多熱門事件從微博發(fā)出傳遍全網(wǎng)。直到如今,微博也上線了不少新功能如 “熱搜” 、“新鮮事”、“故事” 等,更加強調 “社交”、“全媒體”、“垂直領域” 發(fā)展,進一步滿足社交屬性下人們對獲取實時、一手新聞資源的需求。

Push(消息推送)的作用則在于提高用戶活躍度和粘性,提高用戶留存率,進而進一步提高產(chǎn)品功能和用戶參與度。如國內外重大事件的提醒、領域內大事件的提醒、關注人或好友的重要消息推送、感興趣內容的消息提醒等方式,可引導用戶感興趣的內容打開應用。

然而,另一個事實是,此前頻頻 “吐槽” 的應對熱門事件的流量暴增導致的微博服務器崩潰問題,無論是熱搜消息,還是信息流方面,均受到了極大的挑戰(zhàn)。隨著用戶數(shù)量和消息并發(fā)量的不斷上漲,基于移動端的消息推送服務器性能和穩(wěn)定性也需要經(jīng)受非常大的考驗。例如,在排序方面,微博平臺每天的推送量可達到幾個億的規(guī)模,如果全部采用全量計算,對服務器的資源消耗會過大,微博團隊采用了分片批量計算的方式。

近期,微博研發(fā)中心技術專家齊彥杰在接受 AI 科技大本營采訪時表示,“微博一直致力于打造基于用戶關系的社交媒體平臺,讓用戶及時獲取好友動態(tài),隨時隨地發(fā)現(xiàn)新鮮事。如何不錯過重要的信息?讓用戶每 5 分鐘去刷新自己的關注列表顯然并不現(xiàn)實,更高效的方式是通過系統(tǒng)推送進行消息提醒,但推送是一個強打擾的行為,如何做一個既不過分打擾用戶,又能讓用戶開心吃瓜的 Push 推薦系統(tǒng),就是一件很有意思的事情了?!?/p>

齊彥杰,微博研發(fā)中心技術專家

在 5 月 25 日 - 5 月 27 日杭州舉辦的 CTA 大會(官網(wǎng):https://dwz.cn/iSZ7BQUR)上,齊彥杰將作為機器學習論壇的演講嘉賓,向大家介紹微博 Push 系統(tǒng)的發(fā)展歷程,如何利用機器學習進行熱點挖掘、博文標注,以及個性化推薦系統(tǒng)的模型升級之路。

機器學習在微博的落地

實際上,微博一步步進化的背后離不開平臺技術研發(fā)團隊在新技術能力上的持續(xù)提升。在齊彥杰看來,“微博非常重視新技術的跟進與落地,內部團隊做了大量工作?,F(xiàn)在也非常注重對外的交流,每年會參與一些比較重要的會議?!?/p>

AI 科技大本營:在過去幾年,內容推薦和用戶增長領域呈現(xiàn)出了哪些比較突出的技術或應用?與過去傳統(tǒng)手段有哪些區(qū)別和聯(lián)系?

齊彥杰:過去幾年,技術的發(fā)展可以說是一日千里,快得令人震驚。如果大家平常關注會議或比賽,會發(fā)現(xiàn)每年好的論文或解決方案,進步非常大。而工業(yè)界也非常努力,不斷提升產(chǎn)品效果,讓用戶體驗越來越好。

列舉這些就是想說明,如果論年計,突出的技術也會變得不突出,因為發(fā)展太快了。僅僅在模型排序方面,比如幾年前 LR + 超大規(guī)模特征還是排序標配,后來演變?yōu)榱?FM+,直到現(xiàn)在則是 Deep+,不得不說技術一直在前進。但不變的是,更加有效地利用數(shù)據(jù),通過計算量的提升,提高模型的準確率,服務好用戶的個性化需求。

AI 科技大本營:您認為基于微博當前的技術能力,在完成精準、快速個性化推送的過程中,面臨著哪些挑戰(zhàn)?為什么機器學習方法能夠適用于當前的問題解決?

齊彥杰:微博的數(shù)據(jù)是巨量的,用戶行為也是極為豐富的,更別說博文中蘊含的形式、內容、情緒等復雜的信息,這是微博的優(yōu)勢,也是微博機器學習的挑戰(zhàn)。如何去理解用戶、理解內容,連接用戶與用戶、用戶與內容?這些問題都需要 NLP、計算機視覺、圖計算、排序模型等技術解決。也只有基于機器學習,通過超大規(guī)模數(shù)據(jù)的學習與抽象,才可以做到精準的個性化內容分發(fā)。

AI 科技大本營:您在之前的分享中,也提到 “博文質量、算法模型與分發(fā)效率共同決定了 Push 效果”,那么在您看來,微博用戶類型繁多,關注的興趣點更為廣泛,在實踐過程中,是如何根據(jù)用戶畫像進行更加精準的內容推薦?

齊彥杰:首先,博文的內容要豐富,滿足個性化的需求一定要保障候選博文的范圍足夠廣泛;然后,按需儲備,根據(jù)用戶畫像能夠知道用戶對哪些內容有更大的需求,根據(jù)需求挖掘內容更能保障易消費物料的準確性與充足性;再通過豐富的召回方法和高效的排序模型進行推薦分發(fā)。

常用的推薦算法包括協(xié)同、向量、模型等。

AI 科技大本營:實際上微博文本短小、信息量少(有時還會涉黃、不健康、不適宜內容等信息),很難做到對文本內容進行細粒度表征。對此,在本文理解方面,團隊有沒有比較好的解決辦法?

齊彥杰:這確實是一個很好的問題。前面我提到,用戶理解和內容理解是痛點和難點,但也是機器學習在高速進步的領域,當前 NLP、計算機視覺方面的進步給了我們很好的支持,包括去年 BERT 模型的出現(xiàn),Embedding 的實踐,以及人臉識別、物體識別等,對于內容的表征都有很好的表現(xiàn)。

AI 科技大本營:不少人曾提到多模態(tài)融合的概念,對此您是如何看待的?在微博的相關業(yè)務中已經(jīng)有實際的應用及成效了嗎?

齊彥杰:這個問題和上一個問題可以聯(lián)系起來看。因為現(xiàn)在隨著個人硬件的提升,內容創(chuàng)作的形式也是在不斷豐富,從最初的文本,到后來圖片的增多,再到視頻內容的涌現(xiàn),甚至直播的加入,用戶有太多的形式去表現(xiàn)自己的思想或情緒。單純的文本維度已經(jīng)不能完整的表征內容,所以多模態(tài)融合對于推薦系統(tǒng)的提高有很大的幫助。據(jù)我所知,有很多同事在做相關的內容,也有比較好的效果。

關于齊彥杰本人

據(jù)了解,齊彥杰最早服務于行業(yè)軟件,2010 年進入互聯(lián)網(wǎng)行業(yè),一直從事爬蟲、索引、檢索、數(shù)據(jù)分析等方向的研發(fā)工作。后來用戶獲取信息的習慣逐漸從主動搜索轉向被動接受,推薦系統(tǒng)進入高速發(fā)展時期,機器學習也開始了對整個社會進行改造?!皺C器學習最需要就是數(shù)據(jù),不管是在數(shù)量上,還是在維度上,微博均擁有著巨量的公開語料及行為數(shù)據(jù)。我認為這是機器學習應用最好的土壤?!?后來,也就是 2016 年,齊彥杰加入新浪微博團隊,目前在微博 UG 算法組主要負責 Push 相關方向的業(yè)務。

據(jù)他的觀察,最近幾年微博 Push 得到比較大的改造,完成了從編輯推薦向算法推薦、各業(yè)務獨立到統(tǒng)一 Push 平臺的升級,使用戶在體驗上有了很好的提升。

作為本次杭州 CTA 大會機器學習論壇的演講嘉賓,齊彥杰表示:“技術的前進離不開先行者的經(jīng)驗,更離不開思想的撞擊,期待 CTA2019 的技術盛宴。”

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • Push
    +關注

    關注

    0

    文章

    16

    瀏覽量

    9527
  • 機器學習
    +關注

    關注

    66

    文章

    8481

    瀏覽量

    133879
  • 微博
    +關注

    關注

    0

    文章

    33

    瀏覽量

    6518

原文標題:“搞垮” 微博服務器?每天上億條用戶推送是如何做到的

文章出處:【微信號:rgznai100,微信公眾號:rgznai100】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    NVIDIA大語言模型在推薦系統(tǒng)中的應用實踐

    推薦系統(tǒng)的主要任務在于根據(jù)用戶的過往行為預測其潛在興趣點,并據(jù)此推薦相應的商品。在傳統(tǒng)的推薦系統(tǒng)中,當處理用戶請求時,會觸發(fā)多個召回模塊,例如熱門商品召回、個性化召回以及深度召回等,從
    的頭像 發(fā)表于 03-05 09:30 ?556次閱讀
    NVIDIA大語言<b class='flag-5'>模型</b>在推薦<b class='flag-5'>系統(tǒng)</b>中的應用實踐

    【「具身智能機器系統(tǒng)」閱讀體驗】2.具身智能機器人的基礎模塊

    , 規(guī)劃模塊,控制模塊,嵌入式計算平臺。 接下來,作者以自動駕駛為例,講述了自動駕駛的發(fā)展歷程以及自動駕駛的計算系統(tǒng)的組成和工作原理,比如攝像頭,激光雷達,毫米波雷達
    發(fā)表于 01-04 19:22

    【「具身智能機器系統(tǒng)」閱讀體驗】2.具身智能機器人大模型

    引入GPT這樣的大模型后,情況發(fā)生了根本性的變化。只需提供適當?shù)奶崾驹~以及封裝好的機器人函數(shù)庫,大模型便能靈活地生成控制代碼,極大地簡化了開發(fā)過程,并提高了自動
    發(fā)表于 12-29 23:04

    《具身智能機器系統(tǒng)》第7-9章閱讀心得之具身智能機器人與大模型

    醫(yī)療領域,手術輔助機器人需要毫米級的精確控制,書中有介紹基于視覺伺服的實時控制算法,以及如何利用模型優(yōu)化手術路徑規(guī)劃。工業(yè)場景中,協(xié)作機器
    發(fā)表于 12-24 15:03

    【「大模型啟示錄」閱讀體驗】如何在客服領域應用大模型

    多個因素以確保所選模型能夠滿足企業(yè)的具體需求和目標。首先,企業(yè)需要明確自己的客服需求和目標。例如,是否需要24小時在線客服服務?是否需要處理復雜問題的能力?是否需要個性化服務?明確這些需求有助于企業(yè)更好
    發(fā)表于 12-17 16:53

    語音芯片賦能可穿戴設備:開啟個性化音頻新體驗

    語音芯片與可穿戴設備合作,帶來定制音效、智能降噪、個性化推薦、語音交互及跨設備共享等,引領個性化音頻時代,提升用戶聽覺體驗。
    的頭像 發(fā)表于 12-14 15:44 ?741次閱讀

    智慧路燈照明管理系統(tǒng),呈現(xiàn)個性化城市照明效果

    【智慧城市】智慧路燈照明管理系統(tǒng),呈現(xiàn)個性化城市照明效果
    的頭像 發(fā)表于 10-28 14:39 ?664次閱讀
    智慧路燈照明管理<b class='flag-5'>系統(tǒng)</b>,呈現(xiàn)<b class='flag-5'>個性化</b>城市照明效果

    以AI破解個性化客服難題

    一文匯集多個行業(yè)借助 AI 實現(xiàn)的個性化客服實踐
    的頭像 發(fā)表于 10-25 09:06 ?2205次閱讀
    以AI破解<b class='flag-5'>個性化</b>客服難題

    開啟全新AI時代 智能嵌入式系統(tǒng)快速發(fā)展——“第六屆國產(chǎn)嵌入式操作系統(tǒng)技術與產(chǎn)業(yè)發(fā)展論壇”圓滿結束

    嵌入式系統(tǒng)是電子信息產(chǎn)業(yè)的基礎,是智能系統(tǒng)的核心。大模型催生AI走入千家萬戶、喚醒端側AI的需求爆發(fā)。以機器人、無人駕駛和智能制造為代表的智能嵌入式
    發(fā)表于 08-30 17:24

    Meta發(fā)布Imagine Yourself AI模型,重塑個性化圖像生成未來

    Meta公司近日在人工智能領域邁出了重要一步,隆重推出了其創(chuàng)新之作——“Imagine Yourself”AI模型,這一突破性技術為個性化圖像生成領域帶來了前所未有的變革。在社交媒體與虛擬現(xiàn)實技術
    的頭像 發(fā)表于 08-26 10:59 ?882次閱讀

    【「時間序列與機器學習」閱讀體驗】全書概覽與時間序列概述

    指標監(jiān)控、容量預估彈性伸縮、告警關聯(lián)、告警收斂和告警系統(tǒng)評估等,以及監(jiān)控中出現(xiàn)的節(jié)假日效應、持續(xù)異常等實際情況。 ●第8章“金融領域的應用場景”:介紹量化交易的概念、發(fā)展歷程,如何通過
    發(fā)表于 08-07 23:03

    Al大模型機器

    系統(tǒng)和平臺集成,為用戶提供個性化的服務和解決方案。可實現(xiàn)中英文雙語自由流暢切換。金航標kinghelm(www.kinghelm.com.cn)和薩科slkor(www.slkormicro.com
    發(fā)表于 07-05 08:52

    AI大模型發(fā)展歷程和應用前景

    隨著人工智能技術的飛速發(fā)展,AI大模型逐漸成為研究與應用領域的熱點。AI大模型,顧名思義,是指具有巨大參數(shù)量的深度學習
    的頭像 發(fā)表于 07-03 18:20 ?1999次閱讀

    名單公布!【書籍評測活動NO.35】如何用「時間序列與機器學習」解鎖未來?

    量化交易的概念、發(fā)展歷程,如何通過因子挖掘從時間序列數(shù)據(jù)中提取特征并將其轉化為交易策略,以及機器學習
    發(fā)表于 06-25 15:00

    宏集Panorama SCADA:個性化定制,滿足多元角色需求

    企業(yè)中不同崗位的人員對于SCADA系統(tǒng)的功能需求可能有所差異,宏集Panorama SCADA平臺支持針對不同人員角色進行個性化定制,滿足多元角色需求,幫助更高效地利用SCADA
    的頭像 發(fā)表于 06-05 11:34 ?495次閱讀
    宏集Panorama SCADA:<b class='flag-5'>個性化</b>定制,滿足多元角色需求