2023年7月，依圖發(fā)布了智能安防領(lǐng)域首個(gè)可實(shí)戰(zhàn)可商用的多模態(tài)大模型—依圖天問(wèn)1.0。發(fā)布至今，依圖天問(wèn)大模型基座已完成了兩次迭代升級(jí)，并率先在全國(guó)50多個(gè)項(xiàng)目中部署應(yīng)用。 近日，在第十屆中國(guó)（上海）國(guó)際技術(shù)進(jìn)出口交易會(huì)上，依圖科技最新版本的“依圖天問(wèn)大模型4.0”正式發(fā)布，以全新的交互體驗(yàn)、超高的進(jìn)化能力，重新定義了多模態(tài)大模型在智能安防領(lǐng)域的應(yīng)用邊界。 此次發(fā)布的依圖天問(wèn)大模型4.0實(shí)現(xiàn)了眾多功能的跨越式升級(jí)：融合自然語(yǔ)言與視覺(jué)信息，大幅提升視頻內(nèi)容的模糊檢索能力；支持多條件組合場(chǎng)景布控，實(shí)現(xiàn)精細(xì)化布控和風(fēng)險(xiǎn)管理；依圖天問(wèn)4.0升級(jí)后的預(yù)訓(xùn)練模型支持算法極少樣本冷啟動(dòng)，通過(guò)Agent代理輔助訓(xùn)練，真正實(shí)現(xiàn)了“想法既算法”的智能飛躍。??????

視頻理解更細(xì)微，語(yǔ)義檢索更豐富?????????

語(yǔ)言交互的模糊性來(lái)源于語(yǔ)境的多樣性。依圖天問(wèn)4.0引入多模態(tài)視覺(jué)搜索技術(shù)，將自然語(yǔ)言與視覺(jué)信息融合，以“用戶”為主，深刻理解語(yǔ)境中的細(xì)微差別，例如：當(dāng)需要搜索“騎電動(dòng)車帶多個(gè)煤氣罐”的視頻內(nèi)容時(shí)，用戶只需用日常語(yǔ)言描述需求，系統(tǒng)便可呈現(xiàn)出最貼近意圖的搜索結(jié)果。同時(shí)，還可以針對(duì)視頻內(nèi)容里細(xì)小目標(biāo)做模糊化檢索。這些能力極大地提升了城市管理者日常運(yùn)營(yíng)和決策調(diào)度中的工作效率，降低了溝通成本。

全要素理解、多條件布控更全面

高精度的視頻內(nèi)容理解，解鎖了復(fù)雜視頻場(chǎng)景布控的可能。機(jī)器可以代替人去看視頻，像人一樣看"懂"視頻，對(duì)視頻內(nèi)容進(jìn)行全場(chǎng)景、全要素的理解，就可以對(duì)典型的場(chǎng)景目標(biāo)和規(guī)則進(jìn)行精準(zhǔn)布控，提前預(yù)警潛在風(fēng)險(xiǎn)，科學(xué)高效地輔助決策。依圖天問(wèn)4.0支持多條件組合的場(chǎng)景布控，可幫助管理者進(jìn)行精細(xì)化風(fēng)險(xiǎn)防控和管理。在城市管理、環(huán)境監(jiān)測(cè)、公共安全等領(lǐng)域，這項(xiàng)技術(shù)展現(xiàn)出極高的實(shí)戰(zhàn)應(yīng)用價(jià)值。?

樣本更少更高效，現(xiàn)場(chǎng)訓(xùn)練更靈活

智能系統(tǒng)的一大特征是可以根據(jù)環(huán)境和需求的變化快速適配。傳統(tǒng)的機(jī)器學(xué)習(xí)模型面對(duì)新的算法任務(wù)，需重新收集數(shù)據(jù)、訓(xùn)練模型，至少要1-3個(gè)月。依圖天問(wèn)4.0升級(jí)了預(yù)訓(xùn)練模型，可實(shí)現(xiàn)1分鐘內(nèi)對(duì)極少樣本的新算法進(jìn)行冷啟動(dòng)，1小時(shí)內(nèi)完成在線標(biāo)注訓(xùn)練，1天內(nèi)快速部署上線。通過(guò)日常工作過(guò)程中快速積累的數(shù)據(jù)飛輪，操作人員每天花幾分鐘對(duì)齊數(shù)據(jù)、簡(jiǎn)單點(diǎn)擊對(duì)錯(cuò)，幾天時(shí)間就可讓算法達(dá)到超過(guò)90%的準(zhǔn)確率，展現(xiàn)出前所未有的智能化和靈活性，充分滿足業(yè)務(wù)系統(tǒng)的敏捷性和管理的時(shí)效性。

想法即算法，Agent輔助更智能

Agent（代理）在多模態(tài)大模型體系里扮演著至關(guān)重要的角色。AI Agent能夠基于歷史交互記錄和現(xiàn)有的算法能力，做出更為精準(zhǔn)的決策輔助。依圖天問(wèn)4.0可輔助逐步對(duì)齊認(rèn)知，解構(gòu)重組算法。例如：當(dāng)我們想訓(xùn)練一個(gè)“大型倉(cāng)庫(kù)里的小型叉車”，Agent會(huì)針對(duì)“大型倉(cāng)庫(kù)”和“小型叉車”的語(yǔ)義做對(duì)齊，從而使得用戶的想法可以快速轉(zhuǎn)化為直觀的算法，讓用戶的每一個(gè)想法都能即時(shí)轉(zhuǎn)化為直觀的操作指令，實(shí)現(xiàn)“想法即算法”的飛躍，呈現(xiàn)出工作助手、智能體的靈動(dòng)與高效特征。

AI新時(shí)代，因?yàn)榭匆?jiàn)，所以相信！

2019年起，依圖就開(kāi)始了以Transformer為基礎(chǔ)的大模型研究與應(yīng)用探索。2020年，依圖推出預(yù)訓(xùn)練語(yǔ)言理解模型ConvBERT，通過(guò)全新的注意力模塊，僅用1/10的訓(xùn)練時(shí)間和1/6的參數(shù)就獲得了與谷歌BERT模型一樣的精度，相比OpenAI的GPT-3，可用更少時(shí)間去探索語(yǔ)言模型的訓(xùn)練，也降低了模型在預(yù)測(cè)時(shí)的計(jì)算成本。2023年7月，依圖天問(wèn)多模態(tài)大模型正式發(fā)布，快速在全國(guó)項(xiàng)目中部署應(yīng)用。

依圖天問(wèn)多模態(tài)大模型的工作范式，從傳統(tǒng)深度學(xué)習(xí)的像素標(biāo)注升級(jí)到了多模態(tài)大模型的表征對(duì)齊，通過(guò)視覺(jué)與語(yǔ)言模型的深度融合，歸一了物理世界和認(rèn)知世界的底層框架，構(gòu)建起物理與認(rèn)知世界的橋梁，實(shí)現(xiàn)了用戶需求與技術(shù)創(chuàng)新的完美對(duì)接。此次發(fā)布的依圖天問(wèn)4.0在類人交互、情境理解、認(rèn)知進(jìn)化等方面再次迭代出新特點(diǎn)，提升了多模態(tài)大模型對(duì)復(fù)雜視頻內(nèi)容的理解和發(fā)現(xiàn)能力。? 依圖求索新十年，在垂直視覺(jué)領(lǐng)域，隨著工程化應(yīng)用逐步落地，內(nèi)容理解的復(fù)雜度不斷提升，目標(biāo)特征、關(guān)系特征、空間特征、行為特征、統(tǒng)計(jì)特征、知識(shí)特征、業(yè)務(wù)推理不斷解鎖。而多模態(tài)大模型在理論基礎(chǔ)上的不斷突破，讓我們也看到解鎖更多應(yīng)用場(chǎng)景的可能。 我們堅(jiān)信，在智能安防領(lǐng)域，多模態(tài)大模型將發(fā)揮出更大潛能，尤其是在個(gè)性化需求強(qiáng)烈、環(huán)境多變的復(fù)雜場(chǎng)景中，將展現(xiàn)出更大的商業(yè)和社會(huì)價(jià)值?；跀?shù)據(jù)與算力的智能化運(yùn)營(yíng)將成為公共安全和城市治理的新常態(tài)，各行各業(yè)也必將隨著技術(shù)的突破性發(fā)展真正邁入人工智能的新時(shí)代。