知乎大神“Seu Tao”，僅用半年時(shí)間參加了5次Kaggle比賽，就拿到了5個(gè)金牌（包括一個(gè) solo gold），順利成為了 Competitions Grandmaster。最近，他分享了比賽經(jīng)驗(yàn)。

又一位Kaggle大神！

Kaggle是全球首屈一指的數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)競(jìng)賽和分享平臺(tái)，企業(yè)和研究者可以在Kaggle平臺(tái)發(fā)布數(shù)據(jù)、舉行/參加競(jìng)賽，通過(guò)“眾包”的形式產(chǎn)生最好的模型，現(xiàn)在注冊(cè)用戶(hù)數(shù)量超過(guò)100萬(wàn)。

在Kaggle Competitions排行榜中，有一個(gè)頭銜是眾多用戶(hù)都十分向往的，那就是“Kaggle Grandmaster”，他們是排名0.1‰的頂級(jí)高手。目前，Kaggle只有136位Grandmaster。

Grandmaster除了代表你參加過(guò)很多競(jìng)賽并且多次獲得冠軍，這個(gè)頭銜在投簡(jiǎn)歷找工作時(shí)也很具吸引力。同時(shí)，參加大企業(yè)舉辦的大型競(jìng)賽，還能獲得獎(jiǎng)金。

知乎上有一位大神“Seu Tao”，他從2018年9月份到2019年3月，僅歷時(shí)半年，共參加了 5 次 Kaggle比賽，就拿到了5 個(gè)金牌（包括一個(gè) solo gold），順利成為了 Competitions Grandmaster！

Seu Tao告訴新智元，他17年本碩士畢業(yè)于東南大學(xué)，目前在某創(chuàng)業(yè)公司任職視覺(jué)算法工程師，這5次Kaggle比賽，也都是計(jì)算機(jī)視覺(jué)類(lèi)的任務(wù)。最近，Seu Tao把他參賽經(jīng)歷和經(jīng)驗(yàn)分享出來(lái)，我們一起膜拜下。

Kaggle 五次比賽成績(jī)（按名次排序）

2nd in Humpback Whale Identification (2/2131, top 1%,Solo Gold Medal)

4th in TGS Salt Identification Challenge (4/3234, top 1%,Gold Medal)

8th in Airbus Ship Detection Challenge (8/884, top 1%,Gold Medal)

9th in Human Protein Atlas Image Classification (9/2236, top 1%,Gold Medal)

12th in Google Doodle Recognition Challenge (12/1316, top 1%,Gold Medal)

SeuTao Kaggle主頁(yè)：

https://www.kaggle.com/shentao

五次比賽介紹（按時(shí)間排序，記錄下 5 次比賽的過(guò)程）

1. TGS Salt Identification Challenge（4/3234）金牌 2018.10

TGS 鹽體識(shí)別挑戰(zhàn)賽，挑戰(zhàn)者需要開(kāi)發(fā)出能準(zhǔn)確分割地表以下沉積鹽分布的算法。地震數(shù)據(jù)是通過(guò)地震反射（reflection seismology）收集的，這種方法要求能量的受控震源（如壓縮氣體或地震振動(dòng)器），以及記錄來(lái)自地下巖石界面反射的傳感器。之后處理記錄的數(shù)據(jù)，創(chuàng)建地球內(nèi)部的 3D 視圖。地震反射類(lèi)似于 X 光、聲波定位儀和回波定位。

比賽任務(wù)：地震圖像語(yǔ)義分割

這是我第一次完整的 Kaggle 比賽經(jīng)歷，堅(jiān)持刷 discussion，follow 蛙神的實(shí)驗(yàn)。比賽中后期一直保持著 top5 左右的名次，ddl 前一度上了 top1，最終 public 第 2，private 第 4。金牌 + 獎(jiǎng)金，一次 Kaggle 全體驗(yàn)。

solution 介紹：

https://www.kaggle.com/c/tgs-salt-identification-challenge/discussion/69178

代碼：

https://github.com/SeuTao/Kaggle_TGS2018_4th_place_solution

關(guān)于本次比賽的一些詳細(xì)解讀可以參考@AlexL的文章，他們是這次比賽的第 5 名團(tuán)隊(duì):

https://zhuanlan.zhihu.com/p/47412338

2. Airbus Ship Detection Challenge（8/884） 金牌 2018.11

Airbus 的遙感圖像分割檢測(cè)比賽Airbus Ship Detection Challenge，airbus 也就是空中客車(chē)公司，懸賞金額 6 萬(wàn)美金。航運(yùn)流量增長(zhǎng)迅速。更多的船只增加了海上違規(guī)行為的機(jī)會(huì)，這迫使許多組織對(duì)公海進(jìn)行更密切的監(jiān)視。在過(guò)去的 10 年里，人們做了大量的工作，從衛(wèi)星圖像中自動(dòng)提取目標(biāo)，取得了顯著的效果，但在實(shí)際操作中存在許多不足?，F(xiàn)在空中客車(chē)公司與 kaggle 共同舉辦比賽，尋求更好更快的船舶自動(dòng)檢測(cè)方案。

比賽任務(wù)：從衛(wèi)星圖片中找到所有的船只

剛結(jié)束 TGS 比賽，此時(shí)距離 Airbus deadline 僅剩下不到一個(gè)月了，好在之前訓(xùn)練了一個(gè)基礎(chǔ)的 unet 模型，同時(shí)把 TGS 的經(jīng)驗(yàn)遷移過(guò)來(lái)，敲定方案是 unet 語(yǔ)義分割模型 + mask rcnn 檢測(cè)模型，幾位隊(duì)友合力之下順利上升到了 PB 第 2 的位置。這題 AB 榜 shakeup 很大。最終我們 team PB 第 5，private 第 8。Do not trust LB, trust ur CV！

solution 介紹：

Do not trust the LB, trust your CV. (5th/8th in public/private LB)

https://www.kaggle.com/c/airbus-ship-detection/discussion/71601

代碼：

https://github.com/SeuTao/Kaggle_Airbus2018_8th_place_solution

附：來(lái)自@Pascal的方案：

https://zhuanlan.zhihu.com/p/48381892

3. Google Doodle Recognition Challenge（12/1316）金牌 2018.12

這次比賽識(shí)別的是 Quick, Draw! 游戲的 5000 萬(wàn)張涂鴉，它們由來(lái)自全球各國(guó)的超過(guò) 1500 萬(wàn)玩家貢獻(xiàn)，畫(huà)得大多是一些蘋(píng)果啊，浴缸啊，計(jì)算器啊之類(lèi)的日常用品。

比賽任務(wù)：靈魂畫(huà)手涂鴉分類(lèi)

跟 airbus 比賽一樣，花了一個(gè)月左右的時(shí)間去完成。跟之前比賽認(rèn)識(shí)到的伙伴們組成了 8 人小隊(duì)。賽題的數(shù)據(jù)量和需要的計(jì)算資源都很大，模型迭代的效率相對(duì)比較低。比賽結(jié)束之前也沒(méi)有太多有效的探索。有幸的是最終還是能夠 private 榜逆襲，拿下金牌的最后一名。

拿下這塊金牌之后，順利拿到了 kaggle master 頭銜 :)

代碼占坑：

https://github.com/SeuTao/Kaggle_Doodle2018_code

4. Human Protein Atlas Image Classification （9/2236）金牌 2019.01

多標(biāo)簽蛋白質(zhì)圖像分類(lèi)比賽。數(shù)據(jù)極不均衡，且原始圖像尺寸較大。

比賽任務(wù)：蛋白質(zhì)圖像多標(biāo)簽分類(lèi)

連續(xù)幾個(gè)月每天都用大量業(yè)余時(shí)間來(lái)做比賽確實(shí)比較辛苦，拿到 kaggle master tier 之后本來(lái)想著休息一段時(shí)間。本人本碩 BME 畢業(yè)，看到醫(yī)學(xué)圖像相關(guān)的主題異常親切，決定還是試一試蛋白分類(lèi)比賽。跟隊(duì)友二人集成 baseline 結(jié)果之后，進(jìn)入了金牌區(qū)（集成提升巨大）。之后就是加入了楊老師的隊(duì)伍：

楊佶 Kulbear：Kaggle Human Protein Atlas 蛋白質(zhì)分類(lèi)比賽第九名總結(jié)和復(fù)盤(pán)

https://zhuanlan.zhihu.com/p/54734559

結(jié)果是 public 第 19，private 第 9，金牌 :)

5. Humpback Whale Identification （2/2131）金牌 2019.03

為了幫助鯨魚(yú)保護(hù)，科學(xué)家們使用照片監(jiān)視系統(tǒng) (Photo Surveillance Systems) 來(lái)監(jiān)視海洋活動(dòng)。他們使用鯨魚(yú)尾巴這一獨(dú)一無(wú)二的標(biāo)記來(lái)在連續(xù)的圖像中識(shí)別鯨魚(yú)，并對(duì)它們的活動(dòng)進(jìn)行細(xì)致地分析。在過(guò)去的四十年里，大部分工作基于科學(xué)家們的手工作業(yè)，這也使得大量的數(shù)據(jù)未被充分利用。5004 個(gè) id 鯨魚(yú)數(shù)據(jù)，其中許多 id 僅有 one shot 的數(shù)據(jù)。這是一個(gè) few shot learning 和細(xì)粒度分類(lèi)的問(wèn)題。

比賽任務(wù)：座頭鯨識(shí)別

Kaggle Grandmaster tier 要求 5 塊金牌，其中包括一塊 solo gold，遂決定一鼓作氣嘗試 solo，爭(zhēng)取拿下 GM title。比賽時(shí)間比較充裕，面對(duì)的問(wèn)題也是我相對(duì)熟悉的，很快成績(jī)就進(jìn)入了前 10。然而 PB 達(dá)到 0.910 之后，實(shí)驗(yàn)一度沒(méi)有進(jìn)展，名次在逐步下滑。急于打破僵局，嘗試了相關(guān)的各種方案，sota 人臉 loss，Person reid 的模型結(jié)構(gòu)，metric learning，pytorch 下也重新搭建了 siamese net 的 pipeline。然而嘗試得越多，導(dǎo)致每條路線(xiàn)實(shí)驗(yàn)不夠充分，更難以得到提升。（后續(xù)比賽結(jié)果也證明，任何一條路線(xiàn)，工作足夠細(xì)致，都是能夠在比賽中取勝的）冷靜下來(lái)還是回歸最初的方案，穩(wěn)扎穩(wěn)打，最終 rank 2nd。

solution:

https://www.kaggle.com/c/humpback-whale-identification/discussion/83885

代碼:

https://github.com/SeuTao/Kaggle_Whale2019_2nd_palce_solution

Kaggle 參賽感受總結(jié)

關(guān)于成績(jī)：6 個(gè)月連續(xù)五次比賽全部金牌，這是我開(kāi)始做第一個(gè)比賽時(shí)沒(méi)有想到的，其中運(yùn)氣也占了很大成分。每個(gè)比賽的初期，我的預(yù)期都不會(huì)是一塊金牌（因?yàn)橥耆恢罆?huì)做成什么樣），而是隨著比賽的進(jìn)行，不斷提升對(duì)自己成績(jī)的要求（5%->1%->top10->top5）。

投入精力：在做競(jìng)賽之前，我的業(yè)余時(shí)間主要是用來(lái)做一些自己的 project 和學(xué)習(xí)充電。參加 kaggle 競(jìng)賽半年來(lái)，我把所有的業(yè)余時(shí)間都獻(xiàn)給了這個(gè)平臺(tái)。周末，國(guó)慶，元旦甚至春節(jié)假期，幾乎都是在 kaggle 中度過(guò)，kaggle 可以說(shuō)成為了我的第二職業(yè)。

收獲回報(bào)：從學(xué)習(xí)角度來(lái)說(shuō)，kaggle 上我收獲了對(duì)不同問(wèn)題，不同數(shù)據(jù)的認(rèn)識(shí)，相關(guān)技能上也有不少提升；從榮譽(yù)角度來(lái)說(shuō)，得到了多塊金牌，成為了 Grandmaster，在平臺(tái) 10w 用戶(hù)中能夠排名 top38（雖然對(duì)于很多大佬來(lái)說(shuō)不算什么）；還能夠認(rèn)識(shí)很多競(jìng)賽愛(ài)好者，并且相互交流提升；最后，獎(jiǎng)金也是一個(gè)很好的回報(bào) :)

比賽與工作：比賽與工作的關(guān)系，像是訓(xùn)練場(chǎng)與實(shí)戰(zhàn)。作為一個(gè)從業(yè)者，比賽給我提供了非常好的訓(xùn)練環(huán)境，有非常多的新鮮問(wèn)題和數(shù)據(jù)，在限制的條件下供我探索。在這里我想說(shuō)明的是，比賽成績(jī)好，決不能代表實(shí)際工作中能夠表現(xiàn)出色。但是反過(guò)來(lái)，一個(gè)算法工程師如果不具備在競(jìng)賽中得到好名次的能力，又怎么能勝任實(shí)際工作呢？