一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Python爬取394452條《都挺好》彈幕數(shù)據(jù),發(fā)現(xiàn)彈幕比劇還精彩?

電子工程師 ? 來源:lp ? 2019-04-04 17:04 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

作者 |周志鵬,2年數(shù)據(jù)分析,深切感受到數(shù)據(jù)分析的有趣和學(xué)習(xí)過程中缺少案例的無奈,遂新開公眾號(hào)「數(shù)據(jù)不吹牛」,定期更新數(shù)據(jù)分析相關(guān)技巧和有趣案例(含實(shí)戰(zhàn)數(shù)據(jù)集)。

最近《都挺好》真的挺火。

火到什么程度?微博熱搜霸榜,辦公室評(píng)彈聲四起,大強(qiáng)輕松攻占表情包,甚至連N年不追劇的瘦宅們也開始沉迷其中,大呼真香。

圖片來源《都挺好》官微

劇很精彩,但追劇界有句俗話說的好:“彈幕往往比劇更精彩”,為了讓精彩延續(xù)下去,我終究沒能忍住對(duì)(騰訊視頻)彈幕下手。

經(jīng)過一番折騰,發(fā)現(xiàn)彈幕是JSON格式動(dòng)態(tài)加載的,而且加載的非常有規(guī)律,30秒一發(fā)(80-100條),多出的會(huì)隱藏。共計(jì)爬取了394452條彈幕(雨露均沾,每集平均8575條,每30S的間隔爬?。?,來挖一挖彈幕這個(gè)寶藏。

1、彈幕基本盤概覽

爬到的源數(shù)據(jù)是醬紫的:

發(fā)現(xiàn)有部分用戶名是缺失的,由于這部分用戶占比很?。▋H0.61%),所以我們直接暴力的除去這部分噪聲。

清洗之后,還剩下117484個(gè)用戶發(fā)送的392051條彈幕,人均發(fā)送彈幕量3.34條。

再看看每個(gè)人發(fā)送彈幕數(shù)是怎么樣分布的:

顯而易見,大部分用戶還是比較佛系的,71607位用戶(占比60.95%)在46集中只發(fā)送過1條彈幕,他們內(nèi)心嚴(yán)格遵循“愛就一個(gè)字,我只發(fā)一次”的彈幕發(fā)送準(zhǔn)則。

發(fā)送條數(shù)在3條及以內(nèi)的用戶數(shù)占比達(dá)到了83.73%,他們累計(jì)貢獻(xiàn)了133331條彈幕,占到彈幕總數(shù)的34.01%,反過來看,剩下16.27%的用戶貢獻(xiàn)了彈幕量的65.99%。從這個(gè)角度來看,二八法則在這里更像是二七法則(20%的用戶貢獻(xiàn)了70%的內(nèi)容)。

2、是誰在瘋狂發(fā)射彈幕,而彈幕又愛上了誰

彈幕發(fā)送量TOP10榜單:

我們都知道明成是“行走的造糞機(jī)”,那么從彈幕的角度來看,誰是“行走的彈幕發(fā)射機(jī)”呢?

為此,我們篩選出累計(jì)發(fā)送彈幕TOP10的用戶:

微微一操作(爬取、清洗和分析都使用PYTHON

danmu_counts = df.groupby('用戶名')['評(píng)論id'].count().sort_values(ascending= False).reset_index()danmu_counts.columns = ['用戶名','累計(jì)發(fā)送彈幕數(shù)']danmu_counts.head(10)br

Emmm,上一步我們知道平均每個(gè)人在整部劇會(huì)發(fā)送3.34條彈幕,而彈幕發(fā)送排行榜前十的旁友們發(fā)送量都是過千級(jí)別的,我們?cè)偌由线@個(gè)用戶彈幕發(fā)送涉及到的集數(shù),進(jìn)一步看看平均每集發(fā)送彈幕數(shù)。為了更直觀一些,可視化之:

一位名叫"@L"的用戶獨(dú)占鰲頭,是毋庸置疑的C位輸出。在46集的電視劇中,他的彈幕血洗了32集,累計(jì)發(fā)射2773條彈幕,平均每集發(fā)送86.66條。

什么概念呢?

一集電視劇時(shí)長(zhǎng)約42分鐘,也就是說,這位大佬在看劇的同時(shí),仍能保持每分鐘2.06條的發(fā)送頻次,還堅(jiān)持了32集。

到這里大家一定會(huì)有質(zhì)疑,覺得他肯定是刷了大量的“666”、“來了”之類毫無意義的內(nèi)容來霸榜,所以呢,我把他的輸出內(nèi)容篩了出來并做成詞云圖:

這,這,這位大佬輸出的內(nèi)容,不僅緊貼劇情,更是文風(fēng)多變,時(shí)而總結(jié)內(nèi)容,時(shí)而嬉笑怒罵,時(shí)而感慨人生,時(shí)而出口成詩,毫不夸張的說比一般彈幕都要有內(nèi)涵。

我的膝蓋,開始不聽使喚了......

唯有疾呼“高山(頻)仰止,景行行止”。

誰的彈幕最受青睞(點(diǎn)贊數(shù)最多):

根據(jù)每個(gè)用戶累計(jì)點(diǎn)贊量排序,GET到彈幕點(diǎn)贊TOP10排行榜:

第一名“追劇小奶鵝”平均每集發(fā)6條彈幕,每條彈幕竟然能夠得到4585個(gè)贊!難道這就是傳說中的精神領(lǐng)袖嗎?難道大佬之外還有大佬嗎?

在看劇的時(shí)候經(jīng)常能夠被他的彈幕刷屏,而且他的彈幕比其他人停留時(shí)間更長(zhǎng),顏色更艷麗。經(jīng)核實(shí),發(fā)現(xiàn)第一名,原來是嫡系:

騰訊視頻電視劇彈幕專業(yè)陪聊,怪不得這么高的贊。

而第二名,又是我們的大佬“@L”,他憑借高頻、穩(wěn)定、持續(xù)輸出累計(jì)獲得21.69萬贊,平均每條彈幕獲贊78.22個(gè)。

大佬,請(qǐng)收下我的膝蓋!

3、高贊彈幕有何套路:

A)嫡系部隊(duì):

我們單獨(dú)把騰訊的嫡系部隊(duì)“追劇小奶鵝”拎出來,是因?yàn)樗麕缀鯄艛嗔烁哔潖椖籘OP300,嫡系光環(huán)加持,贊或許有虛高的嫌疑,但不妨礙我們單獨(dú)分析他內(nèi)容的套路:

(其實(shí)不少小奶鵝的彈幕并沒有其他的精彩,但畢竟是親兒子)他的套路暴力總結(jié)起來一句話:對(duì)仗工整提大強(qiáng),感天動(dòng)地夸明玉。

B)非嫡系部隊(duì):

高贊的(非嫡系)朋友們深得演唱會(huì)那句帶節(jié)奏名言“現(xiàn)場(chǎng)的朋友們,舉起你們的雙手,讓我看到你們的熱情”的真?zhèn)鳌?/p>

“覺得XX說的對(duì)點(diǎn)下謝謝”、“給XX點(diǎn)贊!”套路是獲贊的一大法寶,另一法寶就是推動(dòng)劇情的內(nèi)容總結(jié)了。

3、彈幕視角主人公情感分析

誰是蘇家最受彈幕關(guān)注的人兒

要分析誰是蘇家最受彈幕關(guān)注的人,必須先根據(jù)關(guān)鍵詞去甄別和定位到劇中角色。

這里列出了關(guān)于蘇家人的簡(jiǎn)單詞庫,用來識(shí)別彈幕在議論誰。

54.31%的彈幕沒有主觀傾向性,沒有提及具體的蘇家人(可能提及了劇中其他人,這里暫不考慮)。

明玉竟然搶過了大強(qiáng)的寶座,以19.91%的彈幕提及率拔得頭籌,而大強(qiáng)則以16.16%的關(guān)注度緊隨其后。

Emmm,無論是劇外熱度還是追劇時(shí)彈幕槽點(diǎn),我都覺得大強(qiáng)應(yīng)該才是最受關(guān)注的?。?/p>

作為一個(gè)嚴(yán)謹(jǐn)?shù)淖穭∪?,我開始排查彈幕,發(fā)現(xiàn)了很多戲精在發(fā)彈幕時(shí)都玩起了角色扮演,他們?cè)诎l(fā)彈幕時(shí),總是先在開頭署名“蘇明玉:”O(jiān)R其他劇中角色,仿佛在代他們發(fā)聲。

清洗完這部分調(diào)皮的用戶之后,排名出現(xiàn)了新的變化:

果然,其他除外,大強(qiáng)以15.16%的關(guān)注占比領(lǐng)先其他家人一個(gè)身位,明玉又把兩個(gè)哥哥拉開了一個(gè)身位的距離,占比8.82%,明成和明哲關(guān)注占比分別是4.84%和4.28%。

PS,明成關(guān)注度之所以低,是因?yàn)楹芏鄰椖涣R人并不會(huì)指名道姓:),而明哲嘛,對(duì)這個(gè)排名表示很失望。

彈幕情感分析

看?。◤椖唬r(shí)能夠明顯感覺到觀眾對(duì)于明成的態(tài)度從最開始的“過街老鼠,人人喊打”到后來的“明成懂事了”。

從數(shù)據(jù)分析的角度講,明成是否成功洗白?大強(qiáng)最后催淚演繹效果如何?

這里我們調(diào)用百度情感分析API,對(duì)每一條評(píng)價(jià)的內(nèi)容進(jìn)行情感打分,用情感分值來驗(yàn)證上述問題(分值在0-1之間,越靠近0負(fù)面傾向越強(qiáng),越接近1則情感越情面)。

調(diào)用方法很簡(jiǎn)單(只對(duì)內(nèi)容感興趣可以直接略過代碼):

#先安裝aip包from aip import AipNlp#到后臺(tái)配置權(quán)限,獲得相關(guān)ID和KEY,目前API是免費(fèi)且不限量的app_id = '輸入實(shí)際ID'api_key = '輸入實(shí)際KEY'secret_key = '輸入實(shí)際SECRET_KEY'client = AipNlp(app_id,api_key,secret_key) #定義函數(shù),以便循環(huán)爬取def senti_analy(text):data = client.sentimentClassify(text)sentiment = data['items'][0]['positive_prob']return sentiment for text in df['內(nèi)容']:try:sentiments.append(senti_analy(text))except:#print(text)sentiments.append('pass') df['情感分值'] = sentimentsbr

打分篩選過后,我們統(tǒng)計(jì)出每一集蘇家每個(gè)人的平均情感分值,并繪制出曲線圖(4個(gè)人導(dǎo)致折線圖可讀性較差,所以只有委屈大哥了):

大強(qiáng)開局不錯(cuò),和明玉持平,但憑借倪老師“作死小能手”的實(shí)力詮釋,讓情感分值迅速走低,11集的低點(diǎn)正式印證了大強(qiáng)的“癲瘋之作”,之后分值在0.38左右徘徊。隨著“蔡根花寶貝”梗的出現(xiàn),“嘲諷”替代了指責(zé),讓分值略微上?。ㄇ楦写蚍謱?duì)于高級(jí)黑式嘲諷難以準(zhǔn)確判斷)。最后老年癡呆發(fā)病后大強(qiáng)對(duì)明玉的愛讓分值一舉超過0.5,達(dá)到歷史峰值,成功上岸。

明玉是原生家庭的受害者,也是一個(gè)靠自己成功的女強(qiáng)人,前期愛恨分明,情感分值一度飆到0.59(超過其他所有角色),18集開始的買房紛爭(zhēng),網(wǎng)友紛紛表示強(qiáng)烈同情(例:明玉不能像十年前一樣別理他們嗎?情感分值只有0.041),這讓明玉相關(guān)的情感分值嚴(yán)重走低,隨后彈幕主旋律仍以叫好和同情為主。

明成的情感分值走勢(shì)更有意思,開局最低,靠欺負(fù)妹妹讓分值迅速降低,可謂“人人喊打”,后面分值的飆升,一度追上明玉,主要是因?yàn)槊鞒善谕狄呀?jīng)極低,但是他寵老婆的行為得到觀眾認(rèn)可。中期本色挨罵,降至低谷。27集明成情感分值再次超過0.5,竟然是因?yàn)槊鞒上雵樧叽髲?qiáng)進(jìn)行的一系列騷操作(尤其是廣場(chǎng)舞)。再后來就是明成幡然悔悟,走上正軌,分值在穩(wěn)定在0.45左右,也算成功洗白。

看來,開局降期望,中期隨便作,后期催淚逆風(fēng)翻盤,終究還是會(huì)被觀眾接受。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 數(shù)據(jù)分析
    +關(guān)注

    關(guān)注

    2

    文章

    1473

    瀏覽量

    35050
  • python
    +關(guān)注

    關(guān)注

    56

    文章

    4827

    瀏覽量

    86821
  • 數(shù)據(jù)集
    +關(guān)注

    關(guān)注

    4

    文章

    1224

    瀏覽量

    25462

原文標(biāo)題:Python爬取394452條《都挺好》彈幕數(shù)據(jù),發(fā)現(xiàn)彈幕比劇還精彩?

文章出處:【微信號(hào):rgznai100,微信公眾號(hào):rgznai100】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    語音彈幕 吐槽真爽快

    看《歡樂頌》,于是我說隨便說了句“劉濤和林心如合作什么好的電視呢”,然后電視屏幕上馬上就顯示“彈幕即將發(fā)射”,隨后電視屏幕上就出現(xiàn)了“劉濤和林心如合作什么好的電視呢”的文字。不得不說很讓人驚奇啊!有這
    發(fā)表于 05-22 12:02

    基于Python3對(duì)攜程網(wǎng)頁上北京五星級(jí)酒店列表的

    Python3 攜程網(wǎng)[1] 根據(jù)好評(píng)優(yōu)先順序,獲取北京五星級(jí)酒店列表
    發(fā)表于 04-19 16:25

    基于Canvas標(biāo)簽開發(fā)彈幕

    Canvas 彈幕的優(yōu)先選擇
    發(fā)表于 04-30 07:18

    基于Python實(shí)現(xiàn)一只小爬蟲拉勾網(wǎng)職位信息的方法

    通俗易懂的分析如何用Python實(shí)現(xiàn)一只小爬蟲,拉勾網(wǎng)的職位信息
    發(fā)表于 05-17 06:54

    手寫彈幕服務(wù)器的詳細(xì)介紹

    手寫彈幕服務(wù)器—包看懂篇
    發(fā)表于 07-19 17:17

    python音頻文件的步驟

    python爬蟲音頻文件
    發(fā)表于 08-22 14:23

    Python豆瓣電影信息和存儲(chǔ)數(shù)據(jù)

    Python——豆瓣電影信息并存儲(chǔ)數(shù)據(jù)
    發(fā)表于 03-11 11:19

    基于彈幕文本的視頻情感識(shí)別算法

    構(gòu)建基于隱含狄利克雷分布( LDA)的彈幕詞語分類,評(píng)估彈幕詞語在視頻片段中的多維情感向量,同時(shí),根據(jù)視頻片段之間的情感依賴關(guān)系推薦視頻的情感片段。所提方法的推薦準(zhǔn)確度基于詞頻一逆文檔頻率( TF-IDF)的推薦算法提
    發(fā)表于 12-04 10:53 ?1次下載

    Python CSDN的極客頭條

    Python 如何CSDN的極客頭條呢?
    的頭像 發(fā)表于 03-21 14:58 ?5123次閱讀
    <b class='flag-5'>Python</b> <b class='flag-5'>爬</b><b class='flag-5'>取</b>CSDN的極客頭條

    Python爬蟲網(wǎng)站

    后來發(fā)現(xiàn),其電視鏈接都是在文章里面,然后文章url后面有個(gè)數(shù)字編號(hào),就像這樣的http://cn163.net/archives/24016/,所以機(jī)智的我又用了之前寫過的爬蟲經(jīng)驗(yàn),解決方法就是
    的頭像 發(fā)表于 04-16 12:52 ?3015次閱讀
    <b class='flag-5'>Python</b>爬蟲<b class='flag-5'>爬</b><b class='flag-5'>取</b>美<b class='flag-5'>劇</b>網(wǎng)站

    到底可不可以設(shè)計(jì)一個(gè)物聯(lián)網(wǎng)彈幕

    物聯(lián)網(wǎng)彈幕器將會(huì)采集一個(gè)溫度傳感器的數(shù)據(jù)并簡(jiǎn)單處理一下,發(fā)送給云端實(shí)現(xiàn)設(shè)備上報(bào)數(shù)據(jù)的功能;在云端,我打算做一個(gè)Web應(yīng)用,你可以理解為制作一個(gè)網(wǎng)頁(我已經(jīng)玩過了,發(fā)現(xiàn)網(wǎng)頁代碼編寫炒雞簡(jiǎn)
    發(fā)表于 05-28 17:58 ?0次下載
    到底可不可以設(shè)計(jì)一個(gè)物聯(lián)網(wǎng)<b class='flag-5'>彈幕</b>器

    彈幕信息下的多目標(biāo)視頻分類任務(wù)綜述

    文中探究了彈幕信息協(xié)助下的視頻多標(biāo)簽分類任務(wù)。多標(biāo)簽視頻分類任務(wù)根據(jù)視頻內(nèi)容從不同角度賦予視頻多個(gè)標(biāo)簽,與視頻推薦等應(yīng)用緊密相關(guān)。多標(biāo)簽視頻數(shù)據(jù)集的髙標(biāo)注成本和對(duì)視頻內(nèi)容的多角度理解是該研究領(lǐng)域面臨
    發(fā)表于 04-20 11:13 ?5次下載
    <b class='flag-5'>彈幕</b>信息下的多目標(biāo)視頻分類任務(wù)綜述

    如何用python抖音app數(shù)據(jù)

    記錄一下如何用pythonapp數(shù)據(jù),本文以抖音視頻app為例。
    的頭像 發(fā)表于 03-16 09:07 ?5888次閱讀

    基于鴻蒙適配移植的開源彈幕解析繪制引擎項(xiàng)目

    項(xiàng)目介紹 項(xiàng)目名稱:開源彈幕解析繪制引擎項(xiàng)目 所屬系列:鴻蒙的第三方組件適配移植 功能:支持顯示、隱藏、顯示、暫停、繼續(xù)、發(fā)送、定時(shí)發(fā)送彈幕 項(xiàng)目移植狀態(tài):完成 調(diào)用差異:無 開發(fā)版本:sdk5
    發(fā)表于 04-11 10:38 ?2次下載

    Scrapy怎么Python文件

    我們介紹了Scrapy框架運(yùn)行基本原理,緊接著我們介紹了如何利用Scrapy文本數(shù)據(jù)
    的頭像 發(fā)表于 02-24 15:16 ?850次閱讀
    Scrapy怎么<b class='flag-5'>爬</b><b class='flag-5'>取</b><b class='flag-5'>Python</b>文件