用39塊錢的V851se視覺開發(fā)板做了個小相機(jī)。

可以進(jìn)行物品識別、自動追焦！

我和我的小伙伴都饞哭了！

這個超低成本的小相機(jī)是在V851se上移植使用全志在線開源版本的Tina Linux與OpenCV框架開啟攝像頭拍照捕獲視頻，并結(jié)合NPU實現(xiàn)Mobilenet v2目標(biāo)分類識別以及運動追蹤等功能......并最終實現(xiàn)功能完整的智能小相機(jī)。

ISP適配

可以適配V851se的Tina5.0升級到了21.05版本的OpenWrt，相較于商業(yè)量產(chǎn)版本的Tina Linux 支持更多新的軟件包，不過可惜的是MPP包沒有移植到Tina5.0，所以想使用攝像頭就需要另辟蹊徑。

雖然Tina5.0并沒有移植MPP包，但也內(nèi)置了一個libAWispApi包，支持在用戶層對接 ISP，但是很可惜這個包也沒有適配V85x系列，這里就需要自行適配。

其實適配很簡單，SDK 已經(jīng)提供了lib只是沒提供編譯支持，我們需要前往以下文件夾中新建一個v851se文件夾：

openwrt/package/allwinner/vision/libAWIspApi/machinfo

然后再新建文件build.mk寫入如下配置：

ISP_DIR:=isp600

然后在menuconfig中勾選上這個包，并進(jìn)行如下配置：

Allwinner --->
 Vision --->
  <*> camerademo........................................ camerademo test sensor --->
   [*]  Enabel vin isp support

編譯系統(tǒng)然后燒錄系統(tǒng)，運行命令camerademo，可以看到是正常拍攝照片的

OpenCV適配

* OpenCV在打包好的固件中已經(jīng)默認(rèn)適配好了，如果不想了解如何適配OpenCV可以直接前往文末【閱讀原文】獲取資料并跳過這部分

OpenCV默認(rèn)不支持開啟RAW Sensor，不過現(xiàn)在需要配置為OpenCV開啟RAW Sensor抓圖，然后通過OpenCV送圖到之前適配的libAWispApi庫進(jìn)行 ISP 處理。

在這里增加一個函數(shù)作為 RAW Sensor 抓圖的處理。

#ifdef __USE_VIN_ISP__
bool CvCaptureCAM_V4L::RAWSensor()
{
  struct v4l2_control ctrl;
  struct v4l2_queryctrl qc_ctrl;


  memset(&ctrl, 0, sizeof(struct v4l2_control));
  memset(&qc_ctrl, 0, sizeof(struct v4l2_queryctrl));
  ctrl.id = V4L2_CID_SENSOR_TYPE;
  qc_ctrl.id = V4L2_CID_SENSOR_TYPE;


  if (-1 == ioctl (deviceHandle, VIDIOC_QUERYCTRL, &qc_ctrl)){
    fprintf(stderr, "V4L2: %s QUERY V4L2_CID_SENSOR_TYPE failed
", deviceName.c_str());
    return false;
  }


  if (-1 == ioctl(deviceHandle, VIDIOC_G_CTRL, &ctrl)) {
    fprintf(stderr, "V4L2: %s G_CTRL V4L2_CID_SENSOR_TYPE failed
", deviceName.c_str());
    return false;
  }


  return ctrl.value == V4L2_SENSOR_TYPE_RAW;
}
#endif

這段代碼的功能是檢查V4L2攝像頭設(shè)備的傳感器類型是否為RAW格式。它使用了V4L2的ioctl函數(shù)來查詢和獲取傳感器類型信息。

然后在OpenCV的捕獲流函數(shù)：

bool CvCaptureCAM_V4L::streaming(bool startStream)

添加 ISP 處理

#ifdef __USE_VIN_ISP__
 RawSensor = RAWSensor();


 if (startStream && RawSensor) {
  int VideoIndex = -1;


  sscanf(deviceName.c_str(), "/dev/video%d", &VideoIndex);


  IspPort = CreateAWIspApi();
  IspId = -1;
  IspId = IspPort->ispGetIspId(VideoIndex);
  if (IspId >= 0)
   IspPort->ispStart(IspId);
 } else if (RawSensor && IspId >= 0 && IspPort) {
  IspPort->ispStop(IspId);
  DestroyAWIspApi(IspPort);
  IspPort = NULL;
  IspId = -1;
 }
#endif

這段代碼主要用于控制圖像信號處理（ISP）的啟動和停止。根據(jù)條件的不同，可以選擇在開始視頻流捕獲時啟動ISP流處理，或者在停止視頻流捕獲時停止ISP流處理，以便對視頻數(shù)據(jù)進(jìn)行處理和增強(qiáng)。

至于其他包括編譯腳本的修改，全局變量定義等操作，可以參考原文鏈接中的補(bǔ)丁文件。

在執(zhí)行完以上步驟后，可以快速測試攝像頭輸出demo：

OpenCV --->
 <*> opencv....................................................... opencv libs
 [*]  Enabel sunxi vin isp support
 <*> opencv_camera.............................opencv_camera and display image

MobileNet V2

MobileNet V2是一種輕量級的卷積神經(jīng)網(wǎng)絡(luò)，它專為移動設(shè)備和嵌入式設(shè)備上的實時圖像分類和目標(biāo)檢測任務(wù)設(shè)計。

MobileNet V2的關(guān)鍵特點包括使用深度可分離卷積來減少計算量和參數(shù)數(shù)量，引入帶線性瓶頸的倒殘差結(jié)構(gòu)以增加非線性表示能力，以及提供寬度乘數(shù)參數(shù)以適應(yīng)不同計算資源限制。這些特點使得MobileNet V2成為資源受限的移動設(shè)備上的理想選擇。

首先對輸入圖像進(jìn)行預(yù)處理，以適應(yīng)MobileNet V2 SSD模型的輸入要求。通過通道格式轉(zhuǎn)換、圖像大小調(diào)整和數(shù)據(jù)填充等操作，將輸入圖像轉(zhuǎn)換為適合模型輸入的格式。

void get_input_data(const cv::Mat& sample, uint8_t* input_data, int input_h, int input_w, const float* mean, const float* scale){
  cv::Mat img;
  if (sample.channels() == 1)
    cv::cvtColor(sample, img, cv::COLOR_GRAY2RGB);
  else
    cv::cvtColor(sample, img, cv::COLOR_BGR2RGB);
  cv::resize(img, img, cv::Size(input_h, input_w));
  uint8_t* img_data = img.data;
  /* nhwc to nchw */
  for (int h = 0; h < input_h; h++) {
 ? ? ? ?for (int w = 0; w < input_w; w++) {
 ? ? ? ? ? ?for (int c = 0; c < 3; c++) {
 ? ? ? ? ? ? ? ?int in_index = h * input_w * 3 + w * 3 + c;
 ? ? ? ? ? ? ? ?int out_index = c * input_h * input_w + h * input_w + w;
 ? ? ? ? ? ? ? ?input_data[out_index] = (uint8_t)(img_data[in_index]); ?//uint8

關(guān)鍵步驟是要實現(xiàn)非極大值抑制算法(NMS)，用于去除高度重疊的框，只保留得分最高的那個框。算法通過計算框之間的交集面積和設(shè)置的閾值來進(jìn)行篩選，并將保留的框的索引存儲在picked向量中。

// 非極大值抑制算法（NMS）
static void nms_sorted_bboxes(const std::vector& bboxs, std::vector& picked, float nms_threshold) {
  picked.clear();
  const int n = bboxs.size();
  
  // 創(chuàng)建存儲每個框面積的向量
  std::vector areas(n);
  
  // 計算每個框的面積并存儲
  for (int i = 0; i < n; i++){
 ? ? ? ?areas[i] = (bboxs[i].xmax - bboxs[i].xmin) * (bboxs[i].ymax - bboxs[i].ymin);

通過一系列操作，包括轉(zhuǎn)換為向量、計算縮放比例、創(chuàng)建存儲檢測結(jié)果的向量等，將輸出數(shù)據(jù)轉(zhuǎn)換為檢測結(jié)果，并按照置信度從高到低排序。然后應(yīng)用非極大值抑制算法對檢測結(jié)果進(jìn)行篩選，最后將篩選后的目標(biāo)框位置、大小和類別置信度等信息繪制在圖像上。

// 按照分?jǐn)?shù)對框進(jìn)行排序
  std::sort(BBox.begin(), BBox.end(), comp);


  // 應(yīng)用非極大值抑制算法，獲取保留的框的索引
  std::vector keep_index;
  nms_sorted_bboxes(BBox, keep_index, iou_threshold);


  // 創(chuàng)建存儲框位置的向量
  std::vector bbox_per_frame;


  // 遍歷保留的框，繪制框和標(biāo)簽
  for(int i = 0; i < keep_index.size(); i++) {
 ? ? ? ?int left = BBox[keep_index[i]].xmin;
 ? ? ? ?int top = BBox[keep_index[i]].ymin;
 ? ? ? ?int right = BBox[keep_index[i]].xmax;
 ? ? ? ?int bottom = BBox[keep_index[i]].ymax;
 ? ? ? ?cv::rectangle(bgr, cv::Point(left, top), cv::Point(right, bottom), cv::Scalar(0, 0, 255), 1);
 ? ? ? ?char text[256];
 ? ? ? ?sprintf(text, "%s %.1f%%", class_names[BBox[keep_index[i]].cls_idx], BBox[keep_index[i]].score * 100);
 ? ? ? ?cv::putText(bgr, text, cv::Point(left, top), cv::FONT_HERSHEY_COMPLEX, 1, cv::Scalar(0, 255, 255), 1, 8, 0);
 ? ? ? ?bbox_per_frame.emplace_back(left, top, width, height);
 ? ?}

NPU開發(fā)流程

V851se芯片內(nèi)置一顆NPU，其處理性能為最大0.5TOPS并有128KB內(nèi)部高速緩存用于高速數(shù)據(jù)交換，NPU 開發(fā)完整的流程如下圖所示：

模型訓(xùn)練

在模型訓(xùn)練階段，用戶根據(jù)需求和實際情況選擇合適的框架（如Caffe、TensorFlow 等）使用數(shù)據(jù)集進(jìn)行訓(xùn)練得到符合需求的模型，此模型可稱為預(yù)訓(xùn)練模型。也可直接使用已經(jīng)訓(xùn)練好的模型。V851s 的 NPU 支持包括分類、檢測、跟蹤、人臉、姿態(tài)估計、分割、深度、語音、像素處理等各個場景90 多個公開模型。

signal函數(shù)

在模型轉(zhuǎn)化階段，通過Acuity Toolkit把預(yù)訓(xùn)練模型和少量訓(xùn)練數(shù)據(jù)轉(zhuǎn)換為NPU可用的模型NBG文件。一般步驟如下：

模型導(dǎo)入，生成網(wǎng)絡(luò)結(jié)構(gòu)文件、網(wǎng)絡(luò)權(quán)重文件、輸入描述文件和輸出描述文件。

模型量化，生成量化描述文件和熵值文件，可改用不同的量化方式。

仿真推理，可逐一對比float和其他量化精度的仿真結(jié)果的相似度，評估量化后的精度是否滿足要求。

模型導(dǎo)出，生成端側(cè)代碼和*.nb 文件，可編輯輸出描述文件的配置，配置是否添加后處理節(jié)點等。

審核編輯：湯梓紅