首先介紹一下脈時(shí)云。脈時(shí)云主要從事谷歌云的出海業(yè)務(wù)，協(xié)助出海用戶(hù)做視頻和游戲，為用戶(hù)提供解決方案和日常的技術(shù)支持，提供專(zhuān)業(yè)的咨詢(xún)服務(wù)、遷移服務(wù)和運(yùn)維服務(wù)。同時(shí)，我們也根據(jù)客戶(hù)需求自研了產(chǎn)品賬單系統(tǒng)，幫助客戶(hù)使用GCP。

01 CloudVideoIntelligenceAPI介紹

首先，介紹Cloud Video Intelligence API。

在GCP上不需要過(guò)多的配置，可以通過(guò)SDK，比如Python或Go，來(lái)調(diào)用API，實(shí)現(xiàn)對(duì)視頻對(duì)象、地理位置和動(dòng)作捕獲的分析。

然后，可以實(shí)現(xiàn)幀級(jí)別、鏡頭級(jí)別和視頻級(jí)別的視頻元數(shù)據(jù)采集，其中，幀級(jí)別可以達(dá)到秒級(jí)。

同時(shí)，我們也支持流式視頻和基于對(duì)象的事件觸發(fā)，這意味著我們可以基于事件的觸發(fā)方式根據(jù)云原生的服務(wù)構(gòu)建出流式的數(shù)據(jù)分析。

此外，我們可以基于內(nèi)容實(shí)現(xiàn)精彩片段、標(biāo)簽功能等，打造優(yōu)質(zhì)客戶(hù)體驗(yàn)。

這個(gè)API可以實(shí)現(xiàn)的功能如圖所示。首先，它可以識(shí)別鏡頭切換，當(dāng)鏡頭從A對(duì)象轉(zhuǎn)向B對(duì)象時(shí)，其可以識(shí)別出來(lái)。

然后，可以根據(jù)內(nèi)容進(jìn)行標(biāo)簽化處理、實(shí)現(xiàn)目標(biāo)跟蹤和Logo識(shí)別，目前可以識(shí)別兩萬(wàn)種以上的Logo。

同時(shí)，還可以做到視頻文字內(nèi)容識(shí)別和音頻轉(zhuǎn)錄，達(dá)到字幕識(shí)別的效果。

此外，還可以做到人臉檢測(cè)與識(shí)別和人物識(shí)別，在日常生活中，這主要用于交通識(shí)別和小區(qū)出入的牌照識(shí)別。

最后，還可以做到露骨內(nèi)容檢測(cè)。

接下來(lái)具體介紹每個(gè)功能，首先是鏡頭切換識(shí)別?；阽R頭切換識(shí)別功能，可以對(duì)整個(gè)視頻、片段視頻或幀級(jí)別的視頻進(jìn)行內(nèi)容摘要方面的分析。

獲得摘要后，可以基于摘要生成縮略圖，或基于摘要判斷視頻內(nèi)容情況。

其次，可以基于視頻獲取標(biāo)簽。圖中展示的demo分析了動(dòng)物世界中的場(chǎng)景，可以看到，獲取的標(biāo)簽有動(dòng)物世界、樹(shù)、葉子、動(dòng)物等。

同時(shí)，可以對(duì)特定的片段進(jìn)行識(shí)別和分析。此外，可以選擇不同的模式，比如整段視頻或幀級(jí)別的視頻。

接下來(lái)，介紹目標(biāo)跟蹤功能。圖中的右下角有一個(gè)螞蚱，可以使用目標(biāo)跟蹤功能識(shí)別該對(duì)象，然后打開(kāi)對(duì)應(yīng)的時(shí)間段進(jìn)行標(biāo)記，通過(guò)標(biāo)簽關(guān)聯(lián)和識(shí)別框?qū)σ曨l進(jìn)行識(shí)別。

Logo識(shí)別功能可以識(shí)別出常見(jiàn)的Logo，比如Google Maps。同時(shí)，可以基于識(shí)別的數(shù)據(jù)信息實(shí)現(xiàn)視頻的標(biāo)簽化和數(shù)據(jù)的收集。

如圖所示，可以識(shí)別視頻中出現(xiàn)的文字。完成文本識(shí)別后，可以進(jìn)行標(biāo)簽化處理。同時(shí)，可以進(jìn)行關(guān)聯(lián)操作，實(shí)現(xiàn)真實(shí)的影像識(shí)別。

音頻轉(zhuǎn)錄功能基于谷歌的API，可以自動(dòng)識(shí)別常見(jiàn)的語(yǔ)言，并將其轉(zhuǎn)錄為視頻文字，基于此完成字幕要求。

露骨內(nèi)容識(shí)別功能可以基于A(yíng)PI對(duì)視頻的前十幀進(jìn)行分析，判斷視頻是否包含敏感內(nèi)容。

同時(shí)，該功能也可對(duì)幀、視頻流和視頻片段進(jìn)行分析，判斷其是否包含敏感信息。

02VideoIntelligenceAPI Beta 功能

接下來(lái)，介紹目前API預(yù)先發(fā)布的一些功能。

第一個(gè)功能是流式傳輸。首先，將預(yù)存的文件組合成一定大小的文件，以視頻流的方式傳給API，API會(huì)對(duì)其進(jìn)行分析和標(biāo)簽化處理，還會(huì)檢測(cè)鏡頭變化、創(chuàng)建元數(shù)據(jù)信息和跟蹤對(duì)象。

同時(shí)，可以基于另一個(gè)API實(shí)現(xiàn)動(dòng)態(tài)內(nèi)容的跟蹤與識(shí)別，比如在體育賽事中，識(shí)別運(yùn)動(dòng)員的進(jìn)球動(dòng)作等。

第二個(gè)功能是直播，可以對(duì)常見(jiàn)的直播的視頻流，比如RTMP，進(jìn)行實(shí)時(shí)流式分析和標(biāo)簽化檢測(cè)。

同時(shí)，將內(nèi)容放在對(duì)象存儲(chǔ)或谷歌的BigQuery里，實(shí)現(xiàn)元數(shù)據(jù)的管理，并基于事件的方式實(shí)現(xiàn)視頻內(nèi)容的分析和識(shí)別。最后，根據(jù)標(biāo)簽和內(nèi)容向客戶(hù)推薦相關(guān)視頻。

審核編輯：劉清