爬蟲技術(shù)涉案大數(shù)據(jù)分析及法律解讀

爬蟲技術(shù)作為一種前端獲取網(wǎng)站信息數(shù)據(jù)的技術(shù)，在目前大數(shù)據(jù)應(yīng)用的背景下，異常火熱。但是由于使用者的不謹(jǐn)慎，也出現(xiàn)了很多涉案甚至涉罪情況。技術(shù)本身是無罪的，但是不代表使用技術(shù)的人也無罪。

許多律師在寫一些關(guān)于目前爬蟲技術(shù)的法律文章的時候，常常會將定點爬蟲和搜索引擎爬蟲給搞混淆，有的也給出了錯誤或者較為過時的定義與理解。作為不熟悉技術(shù)的法律人士，其實也在所難免。其實我們常常講的爬蟲技術(shù)，與搜索引擎的爬蟲引擎是完全不同的，其根本目的，是通過對指定網(wǎng)站進(jìn)行解析，自動并且批量獲取前端展示的數(shù)據(jù)。簡單來說，就是一種信息采集技術(shù)，“爬蟲”的稱呼，只是一種俗稱，我更愿意科學(xué)地稱其為“網(wǎng)站信息自動化采集技術(shù)”。本文以下所稱的爬蟲，皆為定向爬蟲。

爬蟲技術(shù)不是什么高深的技術(shù)，更不是什么“黑客技術(shù)”，甚至對于一些靜態(tài)網(wǎng)站，一個大學(xué)編程初學(xué)者，都可以輕松掌握自動化采集信息的技術(shù)。目前主流的爬蟲技術(shù)大致可以歸類為兩類：

1、 網(wǎng)站渲染后，通過正則表達(dá)式匹配前端代碼，獲取所需信息，以此往復(fù)。

2、 不通過網(wǎng)站渲染，或只經(jīng)過少量渲染，直接通過網(wǎng)站的API接口進(jìn)行動態(tài)調(diào)用。

技術(shù)含量高一點的爬蟲技術(shù)，都是跳過網(wǎng)頁靜態(tài)內(nèi)容的渲染，直接調(diào)用動態(tài)API接口，以達(dá)到最高效獲取信息的目的。部分法律人士認(rèn)為這是跳過了網(wǎng)站驗證機(jī)制，我覺得得個案細(xì)分，畢竟絕大多數(shù)的網(wǎng)站（99%），API接口都是直接暴露的。

如果讀者是法律從業(yè)人員，首先需要明確以下幾點，可能才能更好的理解爬蟲技術(shù)：

1、爬蟲技術(shù)獲取的信息全部都是網(wǎng)站公開信息（或面向爬取者公開）

2、爬蟲技術(shù)不會獲取任何被爬取網(wǎng)站的后臺權(quán)限

如果違背了以上兩個條件，那就不是爬蟲技術(shù)了，就是入侵計算機(jī)系統(tǒng)技術(shù)了，俗稱“黑客”技術(shù)。下面，通過爬蟲技術(shù)獲取對裁判文書進(jìn)行檢索，給大家簡單展示一下，爬蟲技術(shù)近年來刑事案件獲罪的情況，部分圖表通過Python語言實現(xiàn)。

（樣本檢索關(guān)鍵詞：爬蟲、數(shù)據(jù)抓取、數(shù)據(jù)爬取，時間點截止至2019-11-15，并對不相干的文書進(jìn)行了刪除，其中一篇文書將“侵犯公民個人信息罪”寫成了“公民個人信息罪”，進(jìn)行了修正。全部是一審、且二審未大幅度改判的文書數(shù)據(jù)。有效文書共計22篇。）

涉案罪名數(shù)量及比例（餅圖）

（涉案文書地域分布情況）

總結(jié)：

以上文書案例，最早的裁判時間為2014-07-07（鄭×等侵犯著作權(quán)罪一審刑事判決書），最晚的裁判時間為2019-10-28（北京瑞智華勝科技股份有限公司、周嘉林、黃健等違法運(yùn)用資金罪一審刑事判決書）。從數(shù)據(jù)中可以看到侵犯公民個人信息罪是重災(zāi)區(qū)，非法獲取計算機(jī)信息系統(tǒng)數(shù)據(jù)罪則是樣本中刑期最重的罪名。

樣本中較為受人關(guān)注的案件有“上海晟品網(wǎng)絡(luò)科技有限公司、侯明強(qiáng)等非法獲取計算機(jī)信息系統(tǒng)數(shù)據(jù)罪一審刑事判決書”，俗稱“今日頭條爬蟲案”。感興趣的讀者可以搜索筆者的另一篇文章《爬蟲獲取數(shù)據(jù)獲刑案件解析及無罪論點探討》

如果你是程序員讀者或者大數(shù)據(jù)從業(yè)者，亦或者是爬蟲工作室，如何區(qū)分罪與非罪的界限，提防職業(yè)風(fēng)險呢？筆者在此不做過多闡述，僅提出以下幾點意見供參考：

1、不爬取目標(biāo)網(wǎng)站的個人信息內(nèi)容以及公民隱私；

2、不交易爬取的目標(biāo)公司的商業(yè)數(shù)據(jù)；

3、對有版權(quán)的內(nèi)容的爬取應(yīng)審慎，未獲授權(quán)商業(yè)使用則違法。

值得注意的是，在獲得授權(quán)的情況下，利用爬蟲技術(shù)獲取信息，不違反法律。但是，超出授權(quán)內(nèi)容，再次使用，則有可能觸犯法律。舉例來說，你獲得用戶的授權(quán)，利用爬蟲技術(shù)調(diào)用該用戶的個人信息，不觸犯法律。但是未經(jīng)該用戶許可，再次使用該用戶個人信息，甚至利用該信息牟利，則嚴(yán)重違反法律。

最后，筆者想要強(qiáng)調(diào)的是，不是公開的信息爬取就是不違法的。比如網(wǎng)站的用戶信息，一樣受到法律保護(hù)。但是在處罰爬蟲從業(yè)者的同時，網(wǎng)站對個人信息的公開化處理，更應(yīng)該受到行政處罰，不應(yīng)將爬蟲程序員送進(jìn)牢房而得到豁免。比起不懂法的小作坊程序員，大公司對用戶信息數(shù)據(jù)的濫用和疏于管理，更加令人不齒。對于公檢法工作者以及律師工作者，在面對此類刑事案件中，不要聽到爬蟲技術(shù)，就將其妖魔化，關(guān)注的重點，還是應(yīng)該放在獲取方式的合法性上，對絕大多數(shù)情況下來說，對于公開信息的獲取，是很難定義為“非法手段”上去的，因此一定要慎重。對于商業(yè)領(lǐng)域的內(nèi)容競爭，在民事領(lǐng)域有法律適用的，不要輕易“以刑代民”。不僅會給行業(yè)的普通從業(yè)者帶來恐慌，也會做出負(fù)面的引導(dǎo)。

原文標(biāo)題：我寫的代碼合規(guī)嗎？【HDZ研習(xí)社25期】

文章出處：【微信公眾號：華為開發(fā)者社區(qū)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq