Jetson Orin Nano 介紹

NVIDIA Jetson Orin Nano 系列模組以最小的 Jetson 外形提供高達(dá) 40 TOPS 的 AI 算力，功耗在 7W 至 15W 之間，算力相當(dāng)于是 NVIDIA Jetson Nano 的 80 倍。Jetson Orin Nano 提供 8GB 和 4GB兩個(gè)版本，其中開(kāi)發(fā)套件是8GB版本。

可以廣泛應(yīng)用于智能機(jī)器人開(kāi)發(fā)、智能無(wú)人機(jī)開(kāi)發(fā)、智能相機(jī)開(kāi)發(fā)。從Jetson Orin Nano 到最高性能的 Jetson AGX Orin，有六個(gè)基于相同架構(gòu)的不同模塊，是端側(cè)與邊緣智能的理想開(kāi)發(fā)載板。

顯示器接口是DP的，必須買(mǎi)個(gè)DP轉(zhuǎn)HDMI轉(zhuǎn)接頭才可以接到HDMI支持的顯示器，最重要的這款支持WIFI了。以前的Jetson Nano是USB供電就可以了，這個(gè)是配有專(zhuān)門(mén)的電源線(xiàn)，19V電源輸入，沒(méi)辦法算力強(qiáng)悍肯定得多耗電，相對(duì)來(lái)說(shuō)還是低功耗。

JetPack5.1鏡像制作

安裝JetPack5.1之前先準(zhǔn)備好一個(gè)microSD卡，最少是64G，推薦買(mǎi)128G的，因?yàn)镴etpack5.1安裝程序燒錄完成已經(jīng)是20G，再安裝一些其它第三方庫(kù)比如pytorch、torchvision、pyqt5或者QT什么的，就沒(méi)有多少應(yīng)用程序開(kāi)發(fā)與部署可用空間了。準(zhǔn)備好microSD卡之后，就先下載鏡像文件

必須NVIDIA的賬號(hào)登錄之后才可以下載。JetPack5.1已經(jīng)預(yù)安裝好了

- CUDA11.4.19
- cuDNN8.6.0
- TensorRT8.5.2
- OpenCV4.5.4

還有其他的一些支持工具軟件。下載好Jetpack5.1鏡像包之后，先下載SD卡格式化軟件，格式化SD卡。截圖如下：

然后下載鏡像制作軟件

安裝好之后選擇鏡像文件與SD卡，然后開(kāi)始制作，顯示如下：

燒錄完成以后插到Jetson Orin Nano開(kāi)發(fā)板的風(fēng)扇下方的卡槽中

安裝pytorch與torchvision

安裝好了Jetpack5.1之后，我才發(fā)現(xiàn)英偉達(dá)官方還沒(méi)有正式發(fā)布適配的pytorch版本跟torchvision版本，

意思是用pytorch1.14版本，以此類(lèi)推torchvision選擇0.15.1版本。然后從這里直接下載1.14適配jetpack的版本文件，

下載好之后，別著急安裝pytroch，先通過(guò)下面的命令行安裝好依賴(lài)：

sudo apt-get -y install autoconf bc build-essential g++-8 gcc-8 clang-8 lld-8 gettext-base gfortran-8 iputils-ping libbz2-dev libc++-dev libcgal-dev libffi-dev libfreetype6-dev libhdf5-dev libjpeg-dev liblzma-dev libncurses5-dev libncursesw5-dev libpng-dev libreadline-dev libssl-dev libsqlite3-dev libxml2-dev libxslt-dev locales moreutils openssl python-openssl rsync scons python3-pip libopenblas-dev;

國(guó)內(nèi)安裝經(jīng)常會(huì)有網(wǎng)絡(luò)無(wú)法連接發(fā)生各種錯(cuò)誤，沒(méi)事多執(zhí)行幾次命令行肯定可以安裝成功的（我的個(gè)人經(jīng)驗(yàn)）。 安裝好pytorch相關(guān)依賴(lài)之后，安裝pytorch就很簡(jiǎn)單：

pip3 install torch-1.14.0a0+44dac51c.nv23.02-cp38-cp38-linux_aarch64.whl

安裝好pytorch之后，使用下面的命令行從源碼安裝torchvision 0.15.1版本，先安裝依賴(lài)，然后下載安裝包，最后從源碼編譯安裝，大概十分鐘左右就好，相關(guān)命令行如下：

sudo apt install libjpeg-dev zlib1g-dev libpython3-dev libavcodec-dev libavformat-dev libswscale-dev
pip3 install --upgrade pillow
wget https://github.com/pytorch/vision/archive/refs/tags/v0.15.1.zip
unzip v0.15.1.zip
cd vision-0.15.1
export BUILD_VERSION=0.15.1
python3 setup.py install --user

同樣不行就執(zhí)行幾次，肯定會(huì)成功安裝的，我安裝與運(yùn)行的截圖如下：

都安裝好了用pip3 list查一下，然后我發(fā)現(xiàn)pip list顯示沒(méi)有TensorRT，但是我查一下已經(jīng)有了，只是缺少python包支持，我記得jetpack4.x刷機(jī)之后就自動(dòng)有了，這個(gè)怎么沒(méi)有了，我暈！不過(guò)沒(méi)關(guān)系，執(zhí)行下面的命令行安裝python TensorRT支持，執(zhí)行完之后肯定有了！

最終驗(yàn)證測(cè)試如下：

說(shuō)明一切準(zhǔn)備工作就緒了。

說(shuō)明一下，安裝過(guò)程中要求輸入提示的都輸入 y

ONNX2ENGINE

我發(fā)現(xiàn)我在TensorRT8.4上面轉(zhuǎn)換的engine文件無(wú)法在TensorRT8.5上面成功加載，所以我直接把YOLOv8n的ONNX格式模型文件直接拷貝到Jetson Orin Nano上，然后通過(guò)命令行重新生成engine文件：

cd /usr/src/tensorrt/bin
./trtexec --onnx= --saveEngine=

相關(guān)截圖如下：

這個(gè)時(shí)間大概在五分鐘左右，需要等一下才可以轉(zhuǎn)換好。

YOLOv8對(duì)象檢測(cè)演示

在此之前，我已經(jīng)寫(xiě)好了YOLOv8 + TensorRT的測(cè)試程序，所以我直接把程序拷貝過(guò)來(lái)，然后用新生成的yolov8n.engine開(kāi)啟YOLOv8對(duì)象檢測(cè)推理，測(cè)試視頻運(yùn)行如下：

這里程序中FPS計(jì)算包含了前后處理，因?yàn)閮蓚€(gè)視頻的分辨率不同，導(dǎo)致前后處理的耗時(shí)不同，對(duì)象我之前在Jetson Nano上的推理速度，我只能說(shuō)太厲害了，因?yàn)槲抑癙ython版本tensorRT的推理這個(gè)程序在Jetson Nano一跑過(guò)一會(huì)就要卡死的感覺(jué)，特別慢！相關(guān)的測(cè)試源碼如下：

  1importtensorrtastrt
  2fromtorchvisionimporttransforms
  3importtorchast
  4fromcollectionsimportOrderedDict,namedtuple
  5importcv2ascv
  6importtime
  7importnumpyasnp
  8
  9img_transform=transforms.Compose([transforms.ToTensor(),
 10transforms.Resize((640,640))
 11])
 12
 13defload_classes():
 14withopen("classes.txt","r")asf:
 15class_list=[cname.strip()forcnameinf.readlines()]
 16returnclass_list
 17
 18
 19defformat_yolov8(frame):
 20row,col,_=frame.shape
 21_max=max(col,row)
 22result=np.zeros((_max,_max,3),np.uint8)
 23result[0:row,0:col]=frame
 24result=cv.cvtColor(result,cv.COLOR_BGR2RGB)
 25returnresult
 26
 27defwrap_detection(input_image,output_data):
 28class_ids=[]
 29confidences=[]
 30boxes=[]
 31out_data=output_data.T
 32rows=out_data.shape[0]
 33
 34image_width,image_height,_=input_image.shape
 35
 36x_factor=image_width/640.0
 37y_factor=image_height/640.0
 38
 39forrinrange(rows):
 40row=out_data[r]
 41classes_scores=row[4:]
 42class_id=np.argmax(classes_scores)
 43if(classes_scores[class_id]>.25):
 44class_ids.append(class_id)
 45confidences.append(classes_scores[class_id])
 46x,y,w,h=row[0].item(),row[1].item(),row[2].item(),row[3].item()
 47left=int((x-0.5*w)*x_factor)
 48top=int((y-0.5*h)*y_factor)
 49width=int(w*x_factor)
 50height=int(h*y_factor)
 51box=np.array([left,top,width,height])
 52boxes.append(box)
 53
 54indexes=cv.dnn.NMSBoxes(boxes,confidences,0.25,0.25)
 55
 56result_class_ids=[]
 57result_confidences=[]
 58result_boxes=[]
 59
 60foriinindexes:
 61result_confidences.append(confidences[i])
 62result_class_ids.append(class_ids[i])
 63result_boxes.append(boxes[i])
 64
 65returnresult_class_ids,result_confidences,result_boxes
 66defgpu_trt_demo():
 67class_list=load_classes()
 68device=t.device('cuda:0')
 69Binding=namedtuple('Binding',('name','dtype','shape','data','ptr'))
 70logger=trt.Logger(trt.Logger.INFO)
 71withopen("yolov8n.engine",'rb')asf,trt.Runtime(logger)asruntime:
 72model=runtime.deserialize_cuda_engine(f.read())
 73bindings=OrderedDict()
 74forindexinrange(model.num_bindings):
 75name=model.get_binding_name(index)
 76dtype=trt.nptype(model.get_binding_dtype(index))
 77shape=model.get_binding_shape(index)
 78data=t.from_numpy(np.empty(shape,dtype=np.dtype(dtype))).to(device)
 79bindings[name]=Binding(name,dtype,shape,data,int(data.data_ptr()))
 80binding_addrs=OrderedDict((n,d.ptr)forn,dinbindings.items())
 81context=model.create_execution_context()
 82
 83capture=cv.VideoCapture("test.mp4")
 84colors=[(255,255,0),(0,255,0),(0,255,255),(255,0,0)]
 85whileTrue:
 86_,frame=capture.read()
 87ifframeisNone:
 88print("Endofstream")
 89break
 90fh,fw,fc=frame.shape
 91start=time.time()
 92image=format_yolov8(frame)
 93x_input=img_transform(image).view(1,3,640,640).to(device)
 94binding_addrs['images']=int(x_input.data_ptr())
 95context.execute_v2(list(binding_addrs.values()))
 96out_prob=bindings['output0'].data.cpu().numpy()
 97end=time.time()
 98
 99class_ids,confidences,boxes=wrap_detection(image,np.squeeze(out_prob,0))
100for(classid,confidence,box)inzip(class_ids,confidences,boxes):
101ifbox[2]>fw*0.67:
102continue
103color=colors[int(classid)%len(colors)]
104cv.rectangle(frame,box,color,2)
105cv.rectangle(frame,(box[0],box[1]-20),(box[0]+box[2],box[1]),color,-1)
106cv.putText(frame,class_list[classid]+""+("%.2f"%confidence),(box[0],box[1]-10),cv.FONT_HERSHEY_SIMPLEX,.5,(0,0,0))
107
108inf_end=end-start
109fps=1/inf_end
110fps_label="FPS:%.2f"%fps
111cv.putText(frame,fps_label,(10,25),cv.FONT_HERSHEY_SIMPLEX,1,(0,0,255),2)
112cv.imshow("YOLOv8+TensorRT8.5.xObjectDetection",frame)
113cc=cv.waitKey(1)
114ifcc==27:
115break
116cv.waitKey(0)
117cv.destroyAllWindows()
118
119
120if__name__=="__main__":
121gpu_trt_demo()

總結(jié)：

Jetson Orin Nano從系統(tǒng)燒錄到安裝好pytorch、torchvision、部署運(yùn)行YOLOv8推理演示程序基本沒(méi)有什么坑，唯一需要注意的是numpy別用1.24的最新版本。Jetson Orin Nano算力相比Jetson Nano感覺(jué)是一個(gè)天上一個(gè)地下。





審核編輯：劉清