在進(jìn)行AI模型開發(fā)時(shí)，數(shù)據(jù)的數(shù)量與質(zhì)量直接影響模型效果。在實(shí)地?cái)?shù)據(jù)采集之后，企業(yè)往往需要從大量數(shù)據(jù)中篩選出符合訓(xùn)練要求的相關(guān)數(shù)據(jù)，剔除質(zhì)量差或不相關(guān)的數(shù)據(jù)，這個(gè)步驟被稱為數(shù)據(jù)清洗。

通常來講，在清洗數(shù)據(jù)時(shí)主要會(huì)清理掉對(duì)訓(xùn)練任務(wù)沒有用途的數(shù)據(jù)，例如在訓(xùn)練工廠工人佩戴安全帽識(shí)別模型時(shí)，希望在視頻抽幀后的大量圖片中僅保留有工人出現(xiàn)的圖片進(jìn)行標(biāo)注訓(xùn)練。在這一步驟上，傳統(tǒng)做法是進(jìn)行人工篩選，人力投入較多且容易發(fā)生遺漏；隨著人工智能發(fā)展，目前許多平臺(tái)，如百度大腦AI開放平臺(tái)，已經(jīng)提供人臉檢測(cè)、人體檢測(cè)的通用接口，用戶可以先調(diào)用接口處理數(shù)據(jù)，篩選出采集到人像的數(shù)據(jù)，再進(jìn)入到具體的檢測(cè)識(shí)別步驟。那么，是否有一個(gè)集成了各項(xiàng)數(shù)據(jù)處理能力，盡量減少人工干預(yù)，能夠自動(dòng)完成視頻數(shù)據(jù)采集、抽幀、數(shù)據(jù)清洗、智能標(biāo)注，從而高效提取高質(zhì)量訓(xùn)練數(shù)據(jù)的解決方案呢？

關(guān)注到有越來越多的用戶對(duì)數(shù)據(jù)處理有強(qiáng)烈需求，今年4月，百度全新推出智能數(shù)據(jù)服務(wù)平臺(tái)EasyData，集數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)注等功能于一身，完成上述數(shù)據(jù)處理工作之后，可以在EasyDL平臺(tái)進(jìn)行模型訓(xùn)練、模型部署。

針對(duì)數(shù)據(jù)清洗這一具體功能，EasyData目前上線了去相似、去模糊、旋轉(zhuǎn)、裁剪和鏡像這5種基礎(chǔ)的數(shù)據(jù)清洗功能。那么除了常規(guī)能力之外，EasyData還有什么業(yè)內(nèi)獨(dú)家的終極秘技？

從應(yīng)用出發(fā)，高級(jí)清洗功能讓數(shù)據(jù)處理事半功倍

在園區(qū)智能管理等場(chǎng)景下，需要監(jiān)測(cè)工廠園區(qū)、林區(qū)中是否有人闖入，或檢查工人是否佩戴安全帽。為了滿足此類場(chǎng)景下的圖片清洗需求，EasyData上線了高級(jí)清洗功能，將無人臉、無人體出現(xiàn)的數(shù)據(jù)進(jìn)行過濾。EasyData聯(lián)動(dòng)百度大腦AI開放平臺(tái)提供的前沿技術(shù)能力，用戶僅需在百度智能云上開通相應(yīng)的服務(wù)（人臉檢測(cè)和人體檢測(cè)都可以免費(fèi)試用），就可以通過簡單的配置，在EasyData平臺(tái)上直接使用這些功能進(jìn)行自動(dòng)數(shù)據(jù)清洗。

1、過濾無人臉圖片

如果以前沒有用過百度智能云的人臉檢測(cè)服務(wù)，第一次使用高級(jí)清洗的功能會(huì)提示“申請(qǐng)免費(fèi)試用”，點(diǎn)擊鏈接會(huì)進(jìn)入百度智能云人臉檢測(cè)的頁面，按照提示，開通服務(wù)后，再回到EasyData的頁面就可以正常使用了。

和基礎(chǔ)的數(shù)據(jù)清洗服務(wù)一樣，過濾無人臉圖片也是以數(shù)據(jù)集為單位的。在數(shù)據(jù)清洗頁面選擇過濾無人臉圖片，點(diǎn)擊保存，提交任務(wù)就可以進(jìn)行清洗。如果勾選了“保留標(biāo)簽”，那么不僅會(huì)把沒有人臉的圖片過濾，還會(huì)將人臉畫框同步至清洗后的數(shù)據(jù)集。

例如下圖，清洗前的數(shù)據(jù)集除了人臉圖片，還有一些風(fēng)景照、車輛等其他物體的照片，人臉過濾會(huì)把這些沒有人臉的圖片過濾，保留下來包含人臉的圖片，包括戴口罩、被遮擋的人臉也可以識(shí)別出來。

過濾無人體圖片同樣會(huì)用到百度智能云的人體檢測(cè)能力，在使用之前需要在百度智能云上開通相應(yīng)的服務(wù)。過濾無人體圖片會(huì)用到兩個(gè)接口，人體檢測(cè)和屬性分析（https://ai.baidu.com/tech/body/attr）和人像分割（https://ai.baidu.com/tech/body/seg）。數(shù)據(jù)集模板為圖像分類和物體檢測(cè)的數(shù)據(jù)集會(huì)調(diào)用人體檢測(cè)和屬性分析接口，數(shù)據(jù)集模板為圖像分割的數(shù)據(jù)集會(huì)調(diào)用人像分割接口。百度智能云上的人像分割接口返回的是人像圖片對(duì)應(yīng)的二值圖片（人像為1，背景為0），在后端會(huì)執(zhí)行相應(yīng)的標(biāo)簽轉(zhuǎn)換，返回的二值圖片轉(zhuǎn)換成對(duì)應(yīng)的標(biāo)簽。

關(guān)注廣泛需求，提供多種基礎(chǔ)數(shù)據(jù)清洗功能

1、去相似圖片

用攝像頭自動(dòng)采集圖片的時(shí)候，由于長時(shí)間在同一個(gè)場(chǎng)景下，即使做了抽幀處理，還是會(huì)有大量的相似圖片。大量的相似圖片，數(shù)據(jù)價(jià)值低，而且占用了大量的存儲(chǔ)空間，而人工篩選，耗時(shí)費(fèi)力，容易出錯(cuò)。EasyData平臺(tái)推出的去相似圖片利用圖片的相似檢索特征，計(jì)算圖片的兩兩相關(guān)性，可以自動(dòng)地判斷相似圖片、保留不相似的圖片，具體操作也十分簡便。

如下圖所示，去相似前的數(shù)據(jù)集里有8張圖片，根據(jù)圖片的相似度，圖片可以分成3類。清洗完成后的數(shù)據(jù)集中有3張圖片，分別是清洗前的3類圖片中的一張。

2、去模糊圖片

相機(jī)抖動(dòng)、物體快速移動(dòng)都會(huì)造成拍出來的圖片不清晰、產(chǎn)生低質(zhì)圖片。通過人工挑選的方法去除模糊圖片缺乏統(tǒng)一的標(biāo)準(zhǔn)，容易漏刪或多刪。利用EasyData的去模糊圖片，可以輕易地去除模糊圖片。

以示例圖片為例，清洗前有5張圖片，畫質(zhì)不一，清洗后保留下來兩張高質(zhì)量的圖片。此外，如果用戶認(rèn)為有部分模糊圖片沒有去除，或者高質(zhì)量的圖片沒有保留下來，可以考慮調(diào)整清晰度的分值，重新清洗。

對(duì)于普通清洗，可以在一個(gè)清洗任務(wù)中提交多個(gè)清洗操作，例如同時(shí)勾選去相似、去模糊功能，即可同時(shí)去除相似和模糊的圖片。

目前的數(shù)據(jù)清洗服務(wù)所能支持的最大數(shù)據(jù)集大小是5萬張圖片?；贓asyData平臺(tái)的大數(shù)據(jù)處理平臺(tái)，對(duì)于基礎(chǔ)清洗服務(wù)，2萬張圖片的數(shù)據(jù)集，僅需1小時(shí)可以完成清洗；5萬張圖片的數(shù)據(jù)集，只需2小時(shí)即可完成清洗。對(duì)于高級(jí)清洗服務(wù)來說，清洗效率也可以通過配置QPS靈活調(diào)整清洗效率，更方便快捷。

考慮到智能園區(qū)管理等場(chǎng)景中，有對(duì)視頻進(jìn)行截幀、自動(dòng)上傳的需求，EasyData平臺(tái)也免費(fèi)提供SDK，供用戶進(jìn)行下載，可以將SDK接入業(yè)務(wù)現(xiàn)場(chǎng)的數(shù)據(jù)采集終端，在平臺(tái)設(shè)置截幀時(shí)間與間隔，自動(dòng)將原始視頻數(shù)據(jù)截為圖片數(shù)據(jù)并上傳至EasyData平臺(tái)進(jìn)行后續(xù)處理。

EasyData是百度大腦推出的業(yè)內(nèi)首個(gè)提供軟硬一體、端云協(xié)同的智能數(shù)據(jù)采集與處理平臺(tái)，支持圖片、文本、音頻和視頻四類數(shù)據(jù)的處理，其中圖片數(shù)據(jù)支持了采集、清洗、標(biāo)注一站式處理，覆蓋模型開發(fā)中的各類數(shù)據(jù)管理需求。EasyData處理后的數(shù)據(jù)可直接應(yīng)用于EasyDL模型訓(xùn)練，通過EasyDL預(yù)訓(xùn)練模型和自動(dòng)遷移學(xué)習(xí)機(jī)制，高效開發(fā)AI模型。
責(zé)編AJX