這將是一個(gè)略有不同的評(píng)論，因?yàn)樗皇顷P(guān)于成品的——我已經(jīng)收到了 ArmSom/BananaPi 即將推出的 AI 模塊 7（將很快在 CrowdSupply 上推出）的早期樣品，我想分享我對(duì)它的早期印象。

免責(zé)聲明： ArmSom免費(fèi)為我提供了一塊AIM7和一塊 AIM-IO 載板（對(duì)此我表示感謝），此外這篇文章遵循我的審核政策，我應(yīng)該強(qiáng)調(diào)一下，這是一個(gè)眾籌項(xiàng)目，所以不能保證最終產(chǎn)品與我收到的產(chǎn)品完全相同。

硬件

AIM7本身是一個(gè)仿照 NVIDIA Jetson 的簡(jiǎn)單模塊，具有相同的 DIMM 類連接器和板載 RAM 和 eMMC 存儲(chǔ)：

組件布局

如果您不熟悉該芯片組，這些是基本規(guī)格：

4xARM Cortex-A76 + 4xCortex-A55 CPU 核心

Mali-G610 MP4 GPU

3 核 NPU，每秒處理能力達(dá) 6 TOPS

高達(dá) 32GB 的 LPDDR4 RAM

高達(dá) 128GB 的 eMMC 存儲(chǔ)空間

我買了一個(gè) 8GB RAM/32GB EMMC 板，說實(shí)話，無論是 RAM 還是存儲(chǔ)空間都非常緊張——對(duì)于我嘗試過的大多數(shù) AI 工作負(fù)載來說，這個(gè) RAM 肯定太少了，而且考慮到?jīng)]有其他方式連接高速存儲(chǔ)，這對(duì)于開發(fā)來說相當(dāng)有限。

但正如我們稍后會(huì)看到的，它可能非常適合工業(yè)應(yīng)用，而不是 GenAI 的幻想。

散熱和功耗

該模塊沒有配備散熱解決方案，因此我使用我常用的一組銅墊片來保持其（安靜地）冷卻。在這方面（和功耗），它與我測(cè)試過的許多 RK3588 設(shè)備沒有太大區(qū)別，范圍從 4 到 11W（典型使用與滿 CPU 負(fù)載）。

輸入/輸出

載板是所有 I/O 操作發(fā)生的地方 - 除了通過 12V 筒式插孔或 USB-C 供電（這次我選擇了前者）之外，它還有 4 個(gè) USB-A 端口、HDMI、DisplayPort、一個(gè)千兆以太網(wǎng)端口，以及一組常用的硬件端口 - 40 針 GPIO 接頭、MIPI-CSI/DSI、microSD 讀卡器，以及用于 Wi-Fi 的 M.2 E-key 插槽：

它幾乎都是 I/O 端口，所以，您無法獲得任何高速存儲(chǔ)擴(kuò)展。

除了單個(gè)載板之外，BananaPi 維基頁面還暗示了一個(gè) 4 模塊 AI 邊緣網(wǎng)關(guān)，因此這里顯然有構(gòu)建 ARM 集群的潛力。

認(rèn)識(shí)杰森一家

將 AIM7 與 Jetson Nano 進(jìn)行比較，相似之處顯而易見：

外形尺寸相同，熱特性卻截然不同。

ArmSom 的Crowdsupply 頁面與 Jetson Nano 進(jìn)行了快速比較并提供了一些基準(zhǔn)信息，因此我不會(huì)在這里花費(fèi)太多時(shí)間，只會(huì)說這些模塊實(shí)際上是引腳兼容的。

話雖如此，由于以下幾個(gè)原因，我無法運(yùn)行一組比較基準(zhǔn)測(cè)試：我為 Jetson Nano 獲得的 5V 電源在去年年底的某個(gè)時(shí)候耗盡了，所以我現(xiàn)在無法為其供電 - 但即使我嘗試更換載板，我擁有的 Nano 運(yùn)行的是相當(dāng)舊版本的 Ubuntu 和 CUDA，因此實(shí)際上很難進(jìn)行有意義的比較。

事實(shí)上，除非你自己編寫代碼，否則能夠在 Nano 上運(yùn)行的現(xiàn)代代碼實(shí)在太少了。

那么，AIM7會(huì) 取代NVIDIA Jetson 嗎？好吧，僅從軟件角度考慮，簡(jiǎn)短的答案是“如果你真的需要使用 CUDA，那就不會(huì)”，但我將在下文中討論這個(gè)問題。

簡(jiǎn)而言之，如果您有興趣了解 Rockchip 的各種 NPU 庫，它提供了一個(gè)有趣的選擇——這些庫在過去幾個(gè)月中實(shí)際上已經(jīng)有了很大的改進(jìn)。

基礎(chǔ)操作系統(tǒng)

該主板附帶 Debian Bullseye (11) 和內(nèi)核 5.10.160，雖然感覺有點(diǎn)過時(shí)，但在 Rockchip 世界中卻是正常現(xiàn)象。

由于該主板尚未支持 Armbian，我只是將語言環(huán)境設(shè)置重置為en_US.UTF-8（它帶有通常的中文語言環(huán)境）并使用它：

uname -a
Linux armsom-aim7 5.10.160 #98 SMP Thu Jan 2 15:14:22 CST 2025 aarch64 GNU/Linux

locale
sudo vi /etc/locale.gen
sudo locale-gen
sudo vi /etc/default/locale

GENAI、法學(xué)碩士 (LLM) 和 RKLLM

是的，我一拿到它就立即運(yùn)行了 DeepSeek。這是一個(gè)很棒的派對(duì)技巧，但除了展示 NPU 的功能外，它并沒有做太多事情。

我發(fā)現(xiàn)更有趣的是直接在 NPU 上運(yùn)行一些其他模型，例如marco-o1和gemma-2：

NPU 上的gemma-2講解電視

但是，它們中的任何一個(gè)都非常緊湊 - 8GB 的 RAM 是主要的限制，我gemma-3:4b根本無法運(yùn)行 - 盡管我能夠gemma-3:1b在下面運(yùn)行ollama（因?yàn)槲覠o法轉(zhuǎn)換它 - 更多信息見下文）。

因此，簡(jiǎn)而言之，如果您打算使用 LLM，請(qǐng)選擇具有更多 eMMC 存儲(chǔ)和 RAM 的更大 SKU——8GB/32GB 版本對(duì)于除了幾個(gè)小型號(hào)之外的任何東西來說都太緊張了，即使這樣一次也只能使用一個(gè)。

工具說明

我對(duì) Rockchip 工具鏈的抱怨之一是，很多rkllm代碼不完整且難以使用。不過，一些勇敢的人已經(jīng)努力了，現(xiàn)在rkllm-1.1.4它實(shí)際上相當(dāng)好用。

RK3588 的 NPU 還有一些其他工具可供使用，可能有助于那些想要嘗試 LLM 的人更輕松地完成任務(wù)，其中包括我在上面的屏幕截圖中使用的兩個(gè)工具：

rkllama為您提供ollama類似的體驗(yàn)（甚至可以從云端下載預(yù)先轉(zhuǎn)換的模型，在本例中直接從 Huggingface 下載）

rknputop最接近nvtopNPU 使用情況的視圖（盡管仍然有點(diǎn)問題，并且包括 CPU、RAM 和溫度）

還有（最終）記錄的和可重復(fù)的方法來將模型轉(zhuǎn)換為格式，并且（甚至更好的是）Huggingface 上有.rkllm令人驚訝的數(shù)量的預(yù)先轉(zhuǎn)換的模型。

LLM 注意事項(xiàng)

轉(zhuǎn)換模型實(shí)際上變得有些簡(jiǎn)單，只要你使用相對(duì)較舊的模型系列即可。例如，我無法轉(zhuǎn)換或格式化phi4最新的模型，因?yàn)椋篻emma3.rkllm

我遇到了很多與phi4標(biāo)記器有關(guān)的問題，因此，盡管我可以轉(zhuǎn)換，但phi3相同的轉(zhuǎn)換代碼卻不適用于phi4。

gemma3在我完成這篇文章時(shí)剛剛發(fā)布，rkllm但該模型實(shí)際上宣稱自己是不同的“家族”，因此根本不受支持。

現(xiàn)在，還要過一段時(shí)間rkllm才會(huì)更新，但是現(xiàn)在我沒有時(shí)間或耐心去修改模型樹，所以我還沒能想出一個(gè)合適的解決方法。torchtransformers

但總體方法非常簡(jiǎn)單：

from rkllm.api import RKLLM
from os.path import basename
import torch

# tried to use these to convert the tokenizer
from transformers import AutoTokenizer, AutoModel, PreTrainedTokenizerFast
#...

modelpath = './Phi-3-mini'
llm = RKLLM()

# options ['cpu', 'cuda']
ret = llm.load_huggingface(model=modelpath, model_lora = None, device='cuda')
# ret = llm.load_gguf(model = modelpath)
if ret != 0:
    print('Load model failed!')
    exit(ret)

# break out the parameters for quicker tweaking
ret = llm.build(do_quantization=True, 
                optimization_level=1,
                quantized_dtype="W8A8",
                quantized_algorithm="normal",
                target_platform="RK3588", 
                num_npu_core=3, 
                extra_qparams=None, 
                dataset=None)
if ret != 0:
    print('Build model failed!')
    exit(ret)

# Export rkllm model
ret = llm.export_rkllm(f"./{basename(modelpath)}_{quantized_dtype}_{target_platform}.rkllm")
if ret != 0:
    print('Export model failed!')
    exit(ret)

您還可以調(diào)整其他一些選項(xiàng)，但使用我的 3060 轉(zhuǎn)換幾個(gè)小模型僅花了幾分鐘。

視覺、語音和 RKNN

但是，我認(rèn)為AIM7不會(huì)用于在現(xiàn)實(shí)生活中攻讀 LLM。

對(duì)于大多數(shù)人來說rknn-toolkit2可能會(huì)更感興趣，因?yàn)樗试S您使用whisper各種版本的 YOLO（您可以從模型庫中獲取）進(jìn)行語音和圖像識(shí)別。

我確實(shí)知道 Jetson Nano 被廣泛應(yīng)用于生產(chǎn)線上的圖像處理和缺陷檢測(cè)，雖然我還沒有時(shí)間在這個(gè)板上實(shí)際測(cè)試 YOLO，但我知道AIM7是一個(gè)合適的替代品，因?yàn)樵S多其他 RK3588 板已經(jīng)在使用它。

這就是為什么用 RK3588 主板直接替代 Jetson（順便說一句，Jetson 對(duì)功率要求很挑剔，而且更熱、更吵）是非常有意義的。

我不確定視頻幀速率，因?yàn)檫@總是嚴(yán)重依賴于模型，但早期帶有原始rknn工具包的 RK3588 主板能夠超過 25fps，而且我懷疑通過一些仔細(xì)的優(yōu)化，這個(gè)速率至少會(huì)翻倍。

但最重要的是，找到用于對(duì)象檢測(cè)的示例代碼并不難rknn，現(xiàn)在甚至還有來自Frigate等工具的官方支持，所以它肯定不再是一條未知的道路。

結(jié)論

我喜歡AIM7 – 我無法將它與我評(píng)測(cè)過的其他 RK3588 SBC在功能方面（芯片組和基本 I/O 除外）直接進(jìn)行比較，因?yàn)樗菍ｉT為替代或與 Jetson 競(jìng)爭(zhēng)而設(shè)計(jì)的，但具有諷刺意味的是，在所有這些產(chǎn)品中，它最適合工業(yè)應(yīng)用——在這些應(yīng)用中，你并不真正需要 NVMe 存儲(chǔ)，即使是 32GB 也足以擁有 YOLO 等視覺模型的多個(gè)副本。

我只是希望它能配備更多 RAM……

審核編輯 黃宇