近日，香港中文大學-商湯聯合實驗室開源了基于 PyTorch 的檢測庫——mmdetection。上個月，商湯和港中大組成的團隊在 COCO 比賽的物體檢測（Detection）項目中奪得冠軍，而 mmdetection 正是基于 COCO 比賽時的 codebase 重構。

商湯稱，這個開源庫提供了已公開發(fā)表的多種視覺檢測核心模塊。通過這些模塊的組合，可以迅速搭建出各種著名的檢測框架，比如 Faster RCNN，Mask RCNN，和 R-FCN 等，以及各種新型框架，從而大大加快檢測技術研究的效率。

目前，mmdetection 的第一個版本已經實現了 RPN，Fast R-CNN，Faster R-CNN，Mask R-CNN，近期還計劃放出 RetinaNet 和 Cascade R-CNN。

項目地址：

https://github.com/open-mmlab/mmdetection

此次項目的參與者，香港中文大學陳愷博士稱，相比 FAIR 此前開源的 Detectron，mmdetection 有以下幾大優(yōu)勢：

編者注：Detectron 是 FAIR 用于實現最先進的目標檢測算法（包括 Mask R-CNN）的軟件系統。該系統基于深度學習框架 Caffe 2 ，由 Python 編寫而成。（《Mask R-CNN 源代碼終上線，Facebook 開源目標檢測平臺—Detectron》）

Performance 稍高：由于 PyTorch 官方 model zoo 里面的 ResNet 結構和 Detectron 所用的 ResNet 有細微差別（mmdetection 中可以通過 backbone 的 style 參數指定），導致模型收斂速度不一樣，所以我們用兩種結構都跑了實驗，一般來說在 1x 的 lr schedule 下 Detectron的會高，但 2x 的結果 PyTorch 的結構會比較高。

訓練速度稍快：Mask R-CNN 差距比較大，其余的很小。采用相同的 setting，Detectron 每個 iteration 需要 0.89s，而 mmdetection 只需要 0.69s。Fast R-CNN 比較例外，比 Detectron 的速度稍慢。另外在我們的服務器上跑 Detectron 會比官方 report 的速度慢 20% 左右，猜測是 FB 的 Big Basin 服務器性能比我們好？

所需顯存稍小：顯存方面優(yōu)勢比較明顯，會小 30% 左右。但這個和框架有關，不完全是 codebase 優(yōu)化的功勞。一個讓我們比較意外的結果是現在的 codebase 版本跑 ResNet-50 的 Mask R-CNN，每張卡（12 G）可以放 4 張圖，比我們比賽時候小了不少。

易用性更好：基于 PyTorch 和基于 Caffe2 的 code 相比，易用性是有代差的。成功安裝 Detectron 的時間，大概可以裝好一打的 mmdetection 吧。

當然，陳愷博士也承認 Detectron 也有一些明顯優(yōu)勢，“作為第一個全面的 detection codebase，加上 FAIR 的金字招牌，關注人數和用戶很多（雖然吐槽也比較多），release 的模型也比較全面。我們也在努力擴充 model zoo，奈何人力和算力還是有很大差距，所以還需要時間。”

與 mmdetection 一起開源的還有一個基礎庫——mmcv。據陳愷博士介紹， mmcv 基礎庫主要分為兩個部分：一部分是和 deep learning framework 無關的一些工具函數，比如 IO/Image/Video 相關的一些操作；另一部分是為 PyTorch 寫的一套訓練工具，可以大大減少用戶需要寫的代碼量，同時讓整個流程的定制變得容易。

項目地址：

https://github.com/open-mmlab/mmcv

實際上，mmdetection 和 mmcv 都同屬于香港中文大學多媒體實驗室的 Open-MMLab 計劃。港中大助理教授林達華稱，啟動 Open-MMLab 計劃，是希望在一個統一的代碼架構上，逐步開放實驗室積累的算法和模型，為計算機視覺的研究社區(qū)貢獻自己的一分力量。以下是簡單說明：

1. 這是一個純粹的學術開源計劃，所開放的都是已經公開發(fā)表的算法和模型（包括我們自己和其它研究組提出的代表性算法），不涉及任何的商業(yè)化技術。

2. 我們希望這個計劃能夠降低算法復現的難度，和不必要的重復實驗與訓練，從而讓使用者能夠專注于新問題的提出、新思路的探索，而不需要花費主要精力用于已有算法組件的細節(jié)調試。

3. 我們在開放的 codebase 中會對現有的主流算法框架進行重構，把它們分解為可復用的組件。希望未來的研究者可以基于這些組件，能迅速建立新的算法框架原型，加快探索的進度。

4. 我們希望 Open-MMLab 成為一個學術交流和探討的渠道。