在中國圖象圖形大會的華為昇思MindSpore技術(shù)論壇上，中國科學(xué)院空天信息創(chuàng)新研究院（以下簡稱“空天院”）發(fā)布了首個面向跨模態(tài)遙感數(shù)據(jù)的生成式預(yù)訓(xùn)練大模型“空天.靈眸”（RingMo，Remote Sensing Foundation Model）。

“空天.靈眸”大模型是空天院聯(lián)合北京昇騰人工智能生態(tài)創(chuàng)新中心技術(shù)團隊，基于成都智算中心的昇騰AI的澎湃算力訓(xùn)練而完成。在昇騰AI基礎(chǔ)軟硬件平臺的支持下，尤其是依托昇思MindSpore AI框架原生支持大模型的能力，“空天.靈眸”大模型的并行訓(xùn)練及下游任務(wù)開發(fā)得以加速實現(xiàn)，已在8個國際標準數(shù)據(jù)集上達到領(lǐng)先水平，填補了跨模態(tài)生成式預(yù)訓(xùn)練模型在遙感領(lǐng)域的空白。

在模型設(shè)計、模型訓(xùn)練、推理優(yōu)化等方向均進行了獨特的技術(shù)創(chuàng)新，“空天.靈眸”大模型深入結(jié)合光學(xué)、SAR（合成孔徑雷達）等跨模態(tài)遙感數(shù)據(jù)的成像機理和目標特性，并在場景分類、檢測定位、細粒度識別、要素提取及變化檢測等典型下游任務(wù)中得到有效驗證。

總體來看，“空天.靈眸”大模型具備如下四大亮點：

1. 以遙感特性為研發(fā)驅(qū)動

不同于現(xiàn)有遙感預(yù)訓(xùn)練模型大都采用有監(jiān)督或者對比式學(xué)習(xí)的模式，基于昇騰AI的“空天.靈眸”大模型依托掩膜自編碼結(jié)構(gòu)，是面向復(fù)雜場景且更具通用表征能力的遙感生成式自監(jiān)督預(yù)訓(xùn)練模型。

由于采用的是ViT和Swin Transformer等Transformer類骨干網(wǎng)絡(luò)，該大模型可對遙感數(shù)據(jù)的局部和全局特征的依賴關(guān)系進行有效建模，并結(jié)合目標特性引導(dǎo)的自監(jiān)督學(xué)習(xí)方法，通過引入幾何、電磁、目標結(jié)構(gòu)等多特性約束，讓遙感地物通用特征可被自動提取。

2. 擁有跨模態(tài)遙感數(shù)據(jù)集

為提升遙感預(yù)訓(xùn)練模型的特征表達能力，“空天。靈眸”大模型的數(shù)據(jù)集包含了200多萬幅分辨率為0.1m到30m的遙感影像，分別來源于中國遙感衛(wèi)星地面站、航空遙感飛機等平臺，以及高分系列衛(wèi)星、吉林衛(wèi)星、QuickBird衛(wèi)星等。

同時，在數(shù)據(jù)集中包含了1億多具有任意角度分布的目標實例，覆蓋全球150多個典型城市、鄉(xiāng)鎮(zhèn)以及常用機場、港口等場景。所用樣本數(shù)據(jù)具備遙感專業(yè)特色，且整個樣本集都無需標注，能大幅節(jié)省訓(xùn)練數(shù)據(jù)標注成本。

3. 具備應(yīng)用任務(wù)泛化能力

“空天。靈眸”大模型具備遙感數(shù)據(jù)理解、復(fù)原能力，可實現(xiàn)對跨模態(tài)遙感數(shù)據(jù)的共性語義空間進行表征。

針對不同的下游任務(wù)僅需修改預(yù)測頭部網(wǎng)絡(luò)，即可靈活快速遷移到不同領(lǐng)域的下游任務(wù)中，進行簡單微調(diào)后可適應(yīng)多目標細粒度分類、小目標檢測識別、復(fù)雜地物提取等任務(wù)。

4. 廣泛的產(chǎn)業(yè)應(yīng)用方向

從目標檢測識別、地物要素分類等任務(wù)的實測比較看，相對于業(yè)界通用的視覺模型，“空天.靈眸”大模型對遙感數(shù)據(jù)應(yīng)用效果的提升是顯著的。

可預(yù)見，在未來，基于昇騰AI的“空天。靈眸”大模型的應(yīng)用不止于在三維重建等領(lǐng)域，或?qū)⑦M一步推廣至國土資源、交通、水利等更多行業(yè)，為天臨空地一體化應(yīng)用提供整套解決方案。