什么是FFMedia？

RK3588 系列芯片擁有超強(qiáng)的視頻編解碼能力，尤其在多路視頻并發(fā)處理上表現(xiàn)優(yōu)異。然而我們在視頻處理應(yīng)用開發(fā)時，經(jīng)常面對 gstreamer、ffmpeg 等通用框架未能充分發(fā)揮芯片性能、官方原始 api 太靠近底層、學(xué)習(xí)成本高、周期長、開發(fā)工作量大等問題。

為此，F(xiàn)irefly 基于 Rockchip MPP/RGA 庫，開發(fā)了一套性能高效、接口簡潔、功能完善的視頻處理框架——FFMedia。它完整支持市面上主流容器、協(xié)議的媒體數(shù)據(jù)前處理和后處理，同時還支持媒體數(shù)據(jù)從內(nèi)存、管道及文件描述符等方式輸入和輸出，方便對接其他應(yīng)用和編程語言。

各單元主要組件如下：

輸入單元

包含 rtsp、rtmp、whep、camera、file 等輸入單元；

處理單元

包含硬件解碼、編碼、圖像處理及推理單元等支持硬件加速的處理單元；

輸出單元

包含 rtsp、rtmp、whip、drm display、gb28181、file 等輸出單元。

功能與特點(diǎn)

核心架構(gòu)

- 模塊化架構(gòu)：整個框架采用 Productor / Consumer 模型，將各個單元都抽象為 ModuleMedia 類；

- 高效內(nèi)存管理技術(shù)：單元之間及硬件的數(shù)據(jù)交互均使用零拷貝實(shí)現(xiàn)。

媒體處理能力

- 格式支持：支持 mp4 / mkv / flv / ts 等主流容器格式及 rtsp / rtmp / gb28181 / webrtc 等主流協(xié)議的解析與封裝；

- 轉(zhuǎn)碼和處理：支持視頻轉(zhuǎn)碼、裁剪、拼接、水印添加等處理；

- 流媒體處理：支持從攝像頭、網(wǎng)絡(luò)流等源拉取媒體流進(jìn)行實(shí)時處理、轉(zhuǎn)發(fā)和存儲等處理。

性能優(yōu)化

- 低負(fù)載和低延遲性：深度優(yōu)化數(shù)據(jù)流處理及傳遞，與 GStreamer 和 FFmpeg 相比，CPU 占用更低，且具備更高的數(shù)據(jù)實(shí)時性；

- 高效 Python 模塊：通過 pybind11 實(shí)現(xiàn) C++ 和 Python 之間的無縫互操作性；

- 統(tǒng)一接口：屏蔽和優(yōu)化復(fù)雜的底層操作，為使用者提供高效、統(tǒng)一的接口。

平臺兼容性

- 芯片級適配：支持 Firefly 平臺下所有瑞芯微芯片機(jī)器版型；

- 系統(tǒng)支持：支持 Buildroot / Ubuntu / Debian 等不同版本系統(tǒng)。

下載源碼

拉取源碼

gitclonehttps://github.com/Firefly-rk-linux-utils/ffmedia_release.git

編譯測試

參考：編譯與運(yùn)行

開發(fā)接口

所有接口支持 C++ 與 Python 調(diào)用。

C++ 語言范式

autortsp_c =make_shared("rtsp://xxx");autoret = rtsp_c->init()

Python 語言范式

rtsp_c= ff_pymedia.ModuleRtspClient("rtsp://xxx")ret= rtsp_c.init()

典型場景與性能測試

測試環(huán)境：ITX-3588J

低延遲實(shí)時流播放

測試播放 H265 的 1080p@30fps 的 RTSP 實(shí)時流，使用相關(guān)模塊：

- RTSP 客戶端：

采用自實(shí)現(xiàn)的輕量級 RTSP 客戶端模塊；取流一幀耗時 0.03 毫秒左右；

- MPP 解碼：

基于 MPP 實(shí)現(xiàn)的解碼模塊；解碼一幀耗時 1.2 毫秒（多通道模式可低至0.7）左右；

- DRM 顯示：

基于 DRM 框架實(shí)現(xiàn)的顯示模塊；送顯一幀耗時 0.9 毫秒左右。

可計算出直播一路 H265（p幀系列為順序方式）、1080P 延遲：數(shù)據(jù)流從網(wǎng)絡(luò)到解碼成 YUV 裸流延遲在1.3 毫秒左右，畫面顯示還受到屏幕刷新率影響。如 60fps 的屏幕刷新間隔為 16.667 毫秒，可得出顯示延遲在 0.9~16.667 毫秒之間。綜上，直播一路 1080P 視頻的最低延遲為 2.4 毫秒左右。

性能指標(biāo)如下表所示：

簡單測試命令如下：

./demo rtsp://xxx -d 0

測試播放 32 路 H265 的 1080p@30fps rtsp 實(shí)時流性能指標(biāo)如下表所示：

簡單測試命令如下：

./demo rtsp://xxx -d 0 -c 32

實(shí)時視頻流轉(zhuǎn)碼轉(zhuǎn)播

測試將 H265 的 1080p@30fps 的 RTSP 實(shí)時流轉(zhuǎn)碼成 H264 的 RTSP 流，使用相關(guān)模塊：

- RTSP 客戶端：

輕量級 RTSP 客戶端模塊；取流一幀耗時 0.03 毫秒左右；

- MPP 解碼：

基于 MPP 實(shí)現(xiàn)的解碼模塊；解碼一幀耗時 1.2 毫秒（多通道模式可低至0.7）左右；

- MPP 編碼：

基于 MPP 實(shí)現(xiàn)的編碼模塊；編碼一幀耗時 4.8 毫秒（多通道模式可低至 2.5）左右；

- RTSP 服務(wù)端：

輕量級 RTSP 服務(wù)端模塊；推流一幀耗時 0.1 毫秒左右。

可初步估計視頻幀從取流、轉(zhuǎn)碼最后推流理論耗時為6.3毫秒左右。

性能指標(biāo)如下表所示：

簡單測試命令如下：

./demo rtsp://xxx -e h264 -p 8554# 可用demo或其他軟件拉取轉(zhuǎn)碼后的rtsp流：rtsp://ip:8554/live/0