隨著物聯(lián)網(wǎng)和人工智能的快速發(fā)展，實時視頻傳輸在嵌入式系統(tǒng)中變得越來越重要。無論是智能攝像頭、無人機還是工業(yè)監(jiān)控設(shè)備，都需要高效、低延遲的流媒體傳輸解決方案。
慧視推出的LLSM低延遲低帶寬流媒體傳輸模塊，就能夠?qū)崿F(xiàn)在500K帶寬環(huán)境下進行穩(wěn)定的流媒體傳輸，且延遲在50ms左右（不含數(shù)據(jù)鏈）。

該結(jié)果基于我們團隊完整而周密的延遲測試！
目前大多數(shù)流媒體視頻典型的傳輸鏈路如下：攝像頭成像輸出 -> 流媒體傳輸模塊處理 -> 拉流端顯示
于是我們從這三個方面入手。

測試設(shè)備如下：

采集端：SDI相機，分辨率 1080p@60HZ

處理端：Rockchip RK3588，自帶硬件編解碼器

拉流端:

CPU：Intel Xeon E5-2650 v2 @ 2.6GHZ

GPU: Nvidia GeForce RTX 2060

顯示器：2k@120HZ顯示器，支持 PiP（可同時接收兩個輸入源，并以畫中畫的方式顯示）

網(wǎng)路環(huán)境：本地局域網(wǎng)

成像延時測試測試目的：在同分辨率同幀率的條件下，對比不同相機的成像延時。
測試步驟：

1. 顯示器同時接入兩個輸入源，并開啟畫中畫模式。
2. 一個輸入源接電腦輸出
3. 一個輸入源接相機，相機通過SDI轉(zhuǎn)HDMI轉(zhuǎn)換器接入（該轉(zhuǎn)化器延時約為10ms）。
4. 在電腦上運行高幀率秒表程序，相機對準(zhǔn)秒表程序。
5. 使用高幀率相機對屏幕進行拍照，照片中兩個秒表的差值即為相機的成像延時。

測試結(jié)果：廠家一相機測試結(jié)果如圖，減去轉(zhuǎn)換器延時，相機延時為23ms。

廠家二相機測試結(jié)果如圖，減去轉(zhuǎn)換器延時，相機延時為61ms。


不同協(xié)議下的整體延時測試測試目的：在整體鏈路相同的條件下，對比使用不同協(xié)議時，整個鏈路的整體延時。
測試步驟：

1. 使用延時為 23ms 的相機，接入 RK3588 流媒體模塊。
2. 在電腦上運行高幀率秒表程序，相機對準(zhǔn)秒表程序。
3. 在電腦上運行專用拉流軟件，進行拉流顯示。
4. 對整個屏幕進行高幀率錄屏。
5. 使用 vlc 按幀查看視頻，視頻中兩個秒表的差值即為整體延時。
6. 更換 RK3588 流媒體模塊的流媒體協(xié)議，重復(fù)上述步驟。

測試結(jié)果：首先確認錄制的視頻確實為120Hz！

使用 rtsp 協(xié)議的整體延時為100ms。

使用 rtmp 協(xié)議的整體延時為108ms。

使用自定義協(xié)議的整體延時為60ms。


拉流端延時測試測試目的：在整體鏈路相同的條件下，對比使用不同拉流軟件時，整個鏈路的整體延時。
測試步驟：

1. 與上述不同協(xié)議下的整體延時測試的測試步驟相同。
2. 流媒體協(xié)議固定為 rtsp，使用不同的拉流軟件。

測試結(jié)果：使用專用拉流軟件，延時為100ms。

使用 vlc 進行拉流播放，延時為192ms。

大部分流媒體視頻傳輸都有低帶寬高畫質(zhì)的需求。常見的流媒體協(xié)議（rtsp，rtmp）傳輸?shù)亩际?H264/H265 碼流，其傳輸時需要的帶寬與編碼后的碼流大小相關(guān)。
于是我們通過設(shè)置不同碼率，來對比成像畫質(zhì)，且觀察帶寬波動。

RTSP 2M 碼率1080p@60HZ 的視頻流，使用rtsp協(xié)議，編碼格式為 H264，并設(shè)置為 2M 碼率下的效果以及網(wǎng)絡(luò)帶寬使用如下圖：

通過上圖可以發(fā)現(xiàn)：圖片有些部分已經(jīng)模糊了，碼率再低一點就沒法看了碼率上下波動較大

自定義協(xié)議 0.5M 碼率1080p@60HZ 的視頻流，使用自定義協(xié)議，并設(shè)置為 0.5M 碼率下的效果以及網(wǎng)絡(luò)帶寬使用如下圖：

通過上圖可以發(fā)現(xiàn)：圖片基本清晰可看碼率上下波動小，基本穩(wěn)定

FAQ

• 如何減少流媒體視頻傳輸?shù)难訒r：

1. 使用成像延時低的相機。
2. 使用性能強勁的CPU以及ISP處理能力強的MCU。
3. 使用低延遲流媒體協(xié)議，甚至私有協(xié)議。
4. 使用性能較好的硬件編解碼器。
5. 使用專用拉流軟件。
6. 使用優(yōu)良的網(wǎng)絡(luò)環(huán)境。
7. 使用高刷新屏幕，屏幕刷新率至少為視頻幀率兩倍。

• 如何減少流媒體視頻傳輸?shù)膸挘?/span>

1. 使用壓縮率高的編碼標(biāo)準(zhǔn)（如H265），甚至私有協(xié)議。
2. 將視頻縮小后再進行編碼傳輸。