摘要

在瑞薩提供的R-Car SoC相關(guān)的一些DNN模擬器中，本文將重點介紹能夠?qū)崿F(xiàn)與實際硬件等價運算的Accurate Simulator，并說明如何應(yīng)用它來分析和提高神經(jīng)網(wǎng)絡(luò)的精度。

太田 寛史

Principal Software Engineer

背景

R-Car SoC是我們提出的一種高性能、低功耗的SoC。為了在R-Car SoC上運行客戶用主流深度學習框架（如PyTorch、TensorFlow等）訓練的模型，需要采用剪枝^（*1）和量化^（*2）等非等效的近似方法進行模型壓縮。我們提供的R-Car CNN工具，不僅可以在R-Car SoC上執(zhí)行上述近似程序，運行客戶訓練好的深度學習模型，還可以根據(jù)客戶的應(yīng)用場景提供不同精度和速度的模擬器。這樣即使您沒有R-Car SoC硬件，也可以驗證操作和進行性能預估。^(*3)

在各類模擬器中，Accurate Simulator能獲得與實際R-Car SoC最為一致的輸出結(jié)果。本文提出使用Accurate Simulator對模型進行調(diào)試分析和精度改進的方法。通過逐步追蹤在實際的R-Car SoC中無法確認的模型的中間輸出，我們將介紹確定意外結(jié)果產(chǎn)生原因并提高準確性的方法。

使用場景

為了將客戶訓練好的深度學習模型轉(zhuǎn)換成可以在R-Car SoC上執(zhí)行的格式，需要進行非等價的近似模型壓縮，如剪枝和量化。量化是一種將為浮點運算的模型近似為整數(shù)運算模型的方法。在這個過程中，每層輸出張量的最大值和最小值由多個輸入圖像估計，每層權(quán)重參數(shù)的最大值和最小值，以及量化參數(shù)（scaleとzero point）將被確定（校準）。當在實際的R-Car SoC或模擬器^（*4）上驗證這個量化模型時，與原始訓練模型的結(jié)果相比，不同的輸入圖像數(shù)據(jù)可能會導致意想不到的結(jié)果。在這種情況下，使用Accurate Simulator來分析模型是非常有用的，它可以直接觀察模型中的中間輸出，而這些輸出在實際的R-Car SoC上無法獲取。

使用Accurate Simulator

進行模型分析的流程

在上述案例中，校準時輸入圖像數(shù)據(jù)的質(zhì)量或數(shù)量不足，可能導致（a）校準不理想或（b）中間輸出波動較大的層所導致的量化失敗。在這種情況下，首先確定原因是（a）還是（b），然后采?。╝）增加或更新輸入圖像數(shù)據(jù)并再次進行校準，或（b）確定發(fā)生問題的層并增加該層的位寬以提高量化模型的準確性等有效方法。

Accurate Simulator是一個模擬器，旨在確保輸出結(jié)果與實際的R-Car SoC機器完全匹配。與R-Car SoC不同，Accurate Simulator允許用戶提取模型中每一層的中間輸出。具體來說，用戶可以用Accurate Simulator從輸入圖像數(shù)據(jù)的層側(cè)開始逐一提取各層的中間輸出，并與原始訓練模型的中間輸出相比較以確認誤差。

演示示例

當使用我們的R-Car SoC時，客戶使用我們的R-Car CNN工具將訓練好的模型轉(zhuǎn)換為R-Car SoC的執(zhí)行格式并執(zhí)行。以下假設(shè)在原始訓練模型（例如TensorFlow）和R-Car SoC的輸出結(jié)果在運行時不匹配的情況下找出原因并解決的方法。我們將說明如何使用Accurate Simulator直接比較原始TensorFlow模型和R-Car可執(zhí)行格式模型的中間輸出來估計量化誤差。

1

將客戶訓練好的TensorFlow模型轉(zhuǎn)換為ONNX，并使用我們的R-Car CNN工具將其轉(zhuǎn)換為Accurate Simulator可執(zhí)行的格式，同時提供量化條件和足夠數(shù)量的圖像數(shù)據(jù)用于校準。

2

運行客戶的TensorFlow模型，提取要比較的層的中間輸出。

3

使用R-Car SDK runtime，運行①中生成的Accurate Simulator的執(zhí)行格式模型。需要比較的層的中間輸出可以在這個步驟被提取出來。

4

比較在②和③中得到的中間輸出的組成部分。Accurate Simulator的輸出結(jié)果是在模型量化的前提下以整數(shù)表示的，我們也準備了反量化的工具。圖中的圖表顯示了由TensorFlow和Accurate Simulator生成的中間輸出張量成分的直接比較。在這個例子中，比較結(jié)果幾乎是相同的，這一層沒有任何問題。

5

重復步驟①到④，以確定近似被破壞的那一層。通過增加相關(guān)層的量化參數(shù)的顯示位寬（如從8位到16位）可以提高量化模型的輸出結(jié)果精度。

圖1：TensorFlow和Accurate Simulator之間的中間輸出比較流程

總結(jié)

本文介紹了一種方法，當客戶訓練的模型在我們的R-Car SoC上運行，其輸出結(jié)果不盡如人意的時候，可以使用Accurate Simulator找出原因并提高模型的精度。Accurate Simulator的設(shè)計是為了獲得與實際R-Car SoC相當?shù)挠嬎憬Y(jié)果，可用于調(diào)查無法使用實際設(shè)備檢查的模型的中間輸出。我們希望客戶能利用這一點進行模型的調(diào)試評估，提高模型的精度。今后，瑞薩將繼續(xù)致力于R-Car CNN工具的開發(fā)，供客戶用于模型評估和驗證。

備注

（*1）對識別結(jié)果貢獻小的權(quán)重被設(shè)置為零，這些權(quán)重的計算被跳過，從而減少計算量和內(nèi)存的使用。

（*2）推理過程中浮點計算通常被轉(zhuǎn)換為近似（如8bit）的整數(shù)運算。這里的量化被稱為PTQ（post training quantization），它通過使用多個輸入圖像進行校準來優(yōu)化量化參數(shù)（scale & zero point）。

（*3）點擊查看往期文章：R-Car DNN模擬器的介紹

（*4）除了Accurate Simulator外，瑞薩還提供指令集模擬器（ISS），其目的是實現(xiàn)與實際硬件相當?shù)挠嬎憔?。不僅如此，ISS還模擬實際硬件的計算過程本身，使用戶能夠在非常接近實際硬件的環(huán)境下測試模型。

1

END

1

瑞薩電子 (TSE: 6723)

科技讓生活更輕松，致力于打造更安全、更智能、可持續(xù)發(fā)展的未來。作為全球微控制器供應(yīng)商，瑞薩電子融合了在嵌入式處理、模擬、電源及連接方面的專業(yè)知識，提供完整的半導體解決方案。成功產(chǎn)品組合加速汽車、工業(yè)、基礎(chǔ)設(shè)施及物聯(lián)網(wǎng)應(yīng)用上市，賦能數(shù)十億聯(lián)網(wǎng)智能設(shè)備改善人們的工作和生活方式。更多信息，敬請訪問renesas.com