如下介紹如何監(jiān)控 Rockchip 設(shè)備的 NPU 使用情況。

如今，新型設(shè)備開(kāi)始配備內(nèi)置 AI 芯片?！癆I 芯片”的正確技術(shù)術(shù)語(yǔ)是 NPU，即神經(jīng)處理單元。

如果您有板載 NPU，您可能想知道您的系統(tǒng)是否正在使用它。

在本教程中，我將分享如何監(jiān)控 Rockchip 處理器上的 NPU 使用情況。

這里討論的方法僅適用于 Rockchip 處理器中集成的 NPU。我使用帶有 RK3588 處理器的ArmSoM Sige7設(shè)備對(duì)其進(jìn)行了測(cè)試。

你可以用以下命令檢查你的系統(tǒng)是否有 npu：

dmesg | grep -i npu

分析輸出以確定是否存在 NPU。

檢查 Rockchip NPU 利用率

值得慶幸的是，Rockchip 使用了debugfs功能。Debugfs 是一種特殊類型的虛擬文件系統(tǒng)，可以實(shí)時(shí)提供調(diào)試信息，類似于 proc 提供的信息。

可隨時(shí)提供 NPU 使用情況的文件是：

/sys/kernel/debug/rknpu/load

這是我在ArmSoM設(shè)備上運(yùn)行它時(shí)顯示的內(nèi)容。它顯示了 NPU 所有三個(gè)核心的使用情況：

abhishek@armsom:~$ sudo cat /sys/kernel/debug/rknpu/load
NPU load:  Core0:  0%, Core1:  0%, Core2:  0%,
abhishek@armsom:~$ 

如您所見(jiàn)，它僅提供當(dāng)前的 NPU 使用情況并結(jié)束它。如果您想監(jiān)控 NPU 使用情況，這不是很有用。

另一種方法是將其與 watch 命令結(jié)合起來(lái)，該命令將每?jī)擅脒\(yùn)行一次（默認(rèn)）：

watch sudo cat /sys/kernel/debug/rknpu/load

這是我在本地運(yùn)行利用 NPU 的 LLM 的屏幕截圖：

要停止正在運(yùn)行的監(jiān)視命令，請(qǐng)按 Ctrl+C。

要實(shí)際查看 NPU 使用情況，您應(yīng)該運(yùn)行一個(gè)應(yīng)該使用 NPU 的程序。否則，所有核心的使用率將始終為 0。

還有另一種監(jiān)控NPU使用情況的方法。我在用ezrknpu項(xiàng)目試驗(yàn)使用Rockchip NPU運(yùn)行LLM時(shí)發(fā)現(xiàn)了它。

該項(xiàng)目有一個(gè)ntop.sh 腳本，它以類似 top 命令的方式顯示 NPU 使用情況。這并不完全正確，因?yàn)?top 命令不會(huì)污染屏幕。另一方面，ntop.sh 腳本會(huì)用所有這些行充斥屏幕，并且在您按下 Ctrl+C 后它們不會(huì)消失。

腳本內(nèi)容如下：

#!/bin/bash
# Title: ntop.sh
# Author: Pelochus
# Brief: A very basic 'top' style program that shows the status of the NPU in Rockchip's SoCs 

# Variables
CLEAR=""

# Parameters check
if [[ $1 = '-h' ]]
then
    echo
    echo "ntop Help"
    echo
    echo "-c: Clears output every refresh"
    echo "-h: Shows this help screen"
    echo 
    echo "For more information visit https://github.com/Pelochus/ezrknpu"
    echo
    exit 
elif [[ $1 = '-c' ]]
then
    CLEAR="clear"
fi

while true; do
    eval $CLEAR # If empty, will not clear
    cat /sys/kernel/debug/rknpu/load
    sleep 0.5
done

重點(diǎn)是最后的while循環(huán)，下面是使用該腳本檢查NPU使用情況的示例。

結(jié)論

如您所見(jiàn)，沒(méi)有標(biāo)準(zhǔn)的 top 類命令來(lái)顯示各個(gè)制造商的 NPU 使用情況。目前，我只有 Rockchip，所以我的探索有限，因此本教程僅限于 Rockchip NPU。如果我有機(jī)會(huì)接觸到更多這樣的硬件，我也會(huì)寫(xiě)關(guān)于它們的文章。

審核編輯 黃宇