聯(lián)詠 NT98568 是一款高度整合的系統(tǒng)單芯片 (SoC)，專為 2Mp 至 8Mp 的邊緣 IP 攝影機(jī)應(yīng)用量身打造。它具備卓越的影像品質(zhì)、低碼率、低功耗，并支持 preroll 和 always-on video 模式，特別適合電池供電的智慧門鈴和居家安防設(shè)備。

這款芯片集成了雙核ARM Cortex-A7 CPU、新一代ISP、H.265/H.264視頻編解碼器、硬件DLA模塊、圖形引擎、視頻處理引擎（VPE）和顯示控制器。此外，還支持以太網(wǎng)、USB 2.0、音頻編解碼器、RTC和SD/SDIO 3.0等外圍功能，提供高性價(jià)比的全方位邊緣攝像解決方案，滿足多樣化的智能應(yīng)用需求。

NT98568的Preroll功能能夠持續(xù)將影像緩存至內(nèi)存中，在觸發(fā)事件發(fā)生時(shí)保留事件前的影像數(shù)據(jù)。這一功能對(duì)于捕捉完整事件場(chǎng)景至關(guān)重要，確保不會(huì)錯(cuò)過任何關(guān)鍵時(shí)刻。搭配OnSemi OS04E10感光元件，NT98568在低光環(huán)境下表現(xiàn)尤為出色，為電池供電的智能設(shè)備提供了理想的解決方案。

Sensor 介紹

OmniVision OS04E10是一款分辨率為2K2K（2048x2048）的正方形CMOS圖像傳感器，專為1:1長寬比的超廣角安防攝像機(jī)設(shè)計(jì)，如吸頂攝像頭或魚眼鏡頭應(yīng)用。其獨(dú)特的數(shù)字水印功能可防止視頻源被篡改，確保影像的真實(shí)性和可靠性。此外，該傳感器支持512p常開低功耗模式，能夠即時(shí)捕捉快速移動(dòng)的畫面，同時(shí)實(shí)現(xiàn)優(yōu)異的Preroll視頻錄制功能，非常適合長時(shí)間待機(jī)的電池供電設(shè)備。

在8051系統(tǒng)下，可實(shí)現(xiàn)512x512分辨率的影片錄制，總計(jì)20幀（7幀/秒，錄制3秒）。當(dāng)傳感器檢測(cè)到物體移動(dòng)時(shí)，觸發(fā)“md hits”功能，系統(tǒng)進(jìn)入Fastboot 2.0模式。在RTOS階段，所有Preroll幀被編碼為H26x位元流，后續(xù)可在HDAL階段獲取。

系統(tǒng)流程

Preroll流程圖

Pre-roll的流程說明如下，系統(tǒng)上電后，會(huì)先執(zhí)行RTOS部分

1. 進(jìn)入RTOS，啟動(dòng)8051 Preroll功能

2. 8051開始產(chǎn)生壓縮后的preroll影像，RTOS進(jìn)入power-off狀態(tài)

3. 當(dāng)sensor偵測(cè)到動(dòng)作后，開始喚醒系統(tǒng)

(1)準(zhǔn)備RTOS環(huán)境，并行以下任務(wù)

載入Linux

進(jìn)行快速編碼

(2)釋放RTOS資源并與Linux SMP同步

4. 同時(shí)間Linux部分流程為

開啟sensor

進(jìn)行分辨率調(diào)整

等待并跳轉(zhuǎn)至Linux

Linux開機(jī)

等待RTOS并入Linux SMP

執(zhí)行application

5. 當(dāng)偵測(cè)的事件處理完成后，可再回到preroll模式等待下個(gè)事件發(fā)生

執(zhí)行過程

在開機(jī)過程中，系統(tǒng)最初從RTOS啟動(dòng)，當(dāng)控制臺(tái)日志停在'notify 8051 shut'時(shí)，表示系統(tǒng)已進(jìn)入preroll模式并正在錄制影片。

當(dāng)感測(cè)器偵測(cè)到物體移動(dòng)（在感測(cè)器前揮手）并觸發(fā)'md hits'功能時(shí)，系統(tǒng)會(huì)轉(zhuǎn)換到RTOS系統(tǒng)。此時(shí)，控制臺(tái)日志會(huì)顯示'Hello RTOS World! CPU[1]'。隨后，當(dāng)看到日志顯示'is_fastboot = 1'時(shí)，表示系統(tǒng)已進(jìn)入Fastboot 2.0模式。

當(dāng)日志顯示'fastboot_version = 2'時(shí)，表示這是Fastboot 2.0版本，同時(shí)也代表RTOS階段即將結(jié)束。當(dāng)系統(tǒng)切換到Linux系統(tǒng)時(shí)，日志會(huì)顯示'%%Booting Linux on physical CPU 0x0'。

當(dāng)Linux開機(jī)程序完成后，系統(tǒng)會(huì)進(jìn)入shell界面，顯示'root@NVTEVM:~$'提示符號(hào)。

接著可以執(zhí)行preroll AP 'preroll_fastboot 1 0'指令，取得preroll位元流檔案'dump_bs_preroll_0.dat'和主要位元流檔案'dump_bs_main_0.dat'。

當(dāng)AP執(zhí)行時(shí)，按下'p'鍵會(huì)讓8051進(jìn)入preroll模式，在此期間main part會(huì)關(guān)閉電源。當(dāng)感測(cè)器偵測(cè)到動(dòng)作時(shí)，系統(tǒng)將重復(fù)上述流程。

?場(chǎng)景應(yīng)用圖

?產(chǎn)品實(shí)體圖

?展示板照片

?方案方塊圖

?核心技術(shù)優(yōu)勢(shì)

1. 提供完整SDK予客戶使用

2. Preroll模式可降低功耗，延長待機(jī)時(shí)間

3. 整合CNN，實(shí)現(xiàn)邊緣運(yùn)算

?方案規(guī)格

1. 芯片核心 Dual Cortex-A7

2. 內(nèi)嵌8051 MCU

3. AI運(yùn)算力是0.5T

4. 電源輸入是12V/2A

5. Kernel version：Linux 5.10.168

6. 結(jié)合影像和語音編解碼器

Q＆A

Q1. 是否支持外部PSRAM？

A：是。

Q2. 系統(tǒng)主頻為多少？

A：800 Mhz。

Q3. NT98568支持多大容量的內(nèi)存？

A：根據(jù)型號(hào)的不同，有以下規(guī)格

568QC/QD - 1024(Mb)/2048(Mb)

568QB - 512(Mb)。

Q4. 目前preroll功能是否僅支持OS04E10

A：還有支持 GalaxyCore GC4103。

Q5. preroll模式喚醒后開機(jī)需時(shí)多久？

A：在lower power模式下需200ms。

歡迎關(guān)注大聯(lián)大工程師社區(qū)——大大通

登錄大大通網(wǎng)站，提問/評(píng)論，獲取技術(shù)文檔等更多資訊！