本章說明 C++ API 的基本用法，假設您從 ONNX 模型開始。sampleOnnxMNIST更詳細地說明了這個用例。

C++ API 可以通過頭文件NvInfer.h訪問，并且位于nvinfer1命名空間中。例如，一個簡單的應用程序可能以：

#include “NvInfer.h”

using namespace nvinfer1;

TensorRT C++ API 中的接口類以前綴I開頭，例如ILogger、IBuilder等。

CUDA 上下文會在 TensorRT 第一次調用 CUDA 時自動創(chuàng)建，如果在該點之前不存在。通常最好在第一次調用 TensoRT 之前自己創(chuàng)建和配置 CUDA 上下文。 為了說明對象的生命周期，本章中的代碼不使用智能指針；但是，建議將它們與 TensorRT 接口一起使用。

3.1. The Build Phase

要創(chuàng)建構建器，首先需要實例化ILogger接口。此示例捕獲所有警告消息，但忽略信息性消息：

class Logger : public ILogger           
{
    void log(Severity severity, const char* msg) noexcept override
    {
        // suppress info-level messages
        if (severity <= Severity::kWARNING)
            std::cout << msg << std::endl;
    }
} logger;

然后，您可以創(chuàng)建構建器的實例：

IBuilder* builder = createInferBuilder(logger);

3.1.1. Creating a Network Definition

創(chuàng)建構建器后，優(yōu)化模型的第一步是創(chuàng)建網絡定義：

uint32_t flag = 1U <
    (NetworkDefinitionCreationFlag::kEXPLICIT_BATCH); 

INetworkDefinition* network = builder->createNetworkV2(flag);

為了使用 ONNX 解析器導入模型，需要kEXPLICIT_BATCH標志。有關詳細信息，請參閱顯式與隱式批處理部分。

3.1.2. Importing a Model using the ONNX Parser

現(xiàn)在，需要從 ONNX 表示中填充網絡定義。 ONNX 解析器 API 位于文件NvOnnxParser.h中，解析器位于nvonnxparserC++ 命名空間中。

#include “NvOnnxParser.h”

using namespace nvonnxparser;

您可以創(chuàng)建一個 ONNX 解析器來填充網絡，如下所示：

IParser*  parser = createParser(*network, logger);

然后，讀取模型文件并處理任何錯誤。

parser->parseFromFile(modelFile, 
    static_cast(ILogger::Severity::kWARNING));
for (int32_t i = 0; i < parser.getNbErrors(); ++i)
{
std::cout << parser->getError(i)->desc() << std::endl;
}

TensorRT 網絡定義的一個重要方面是它包含指向模型權重的指針，這些指針由構建器復制到優(yōu)化的引擎中。由于網絡是通過解析器創(chuàng)建的，解析器擁有權重占用的內存，因此在構建器運行之前不應刪除解析器對象。

3.1.3. Building an Engine

下一步是創(chuàng)建一個構建配置，指定 TensorRT 應該如何優(yōu)化模型。

IBuilderConfig* config = builder->createBuilderConfig();

這個接口有很多屬性，你可以設置這些屬性來控制 TensorRT 如何優(yōu)化網絡。一個重要的屬性是最大工作空間大小。層實現(xiàn)通常需要一個臨時工作空間，并且此參數(shù)限制了網絡中任何層可以使用的最大大小。如果提供的工作空間不足，TensorRT 可能無法找到層的實現(xiàn)。默認情況下，工作區(qū)設置為給定設備的總全局內存大?。槐匾獣r限制它，例如，在單個設備上構建多個引擎時。

config->setMemoryPoolLimit(MemoryPoolType::kWORKSPACE, 1U << 20);

一旦指定了配置，就可以構建引擎。

IHostMemory*  serializedModel = builder->buildSerializedNetwork(*network, *config);

由于序列化引擎包含權重的必要拷貝，因此不再需要解析器、網絡定義、構建器配置和構建器，可以安全地刪除：

delete parser;
delete network;
delete config;
delete builder;

然后可以將引擎保存到磁盤，并且可以刪除它被序列化到的緩沖區(qū)。

delete serializedModel

注意：序列化引擎不能跨平臺或 TensorRT 版本移植。引擎特定于它們構建的確切 GPU 模型（除了平臺和 TensorRT 版本）。

3.2. Deserializing a Plan

假設您之前已經序列化了一個優(yōu)化模型并希望執(zhí)行推理，您將需要創(chuàng)建一個運行時接口的實例。與構建器一樣，運行時需要一個記錄器實例：

IRuntime* runtime = createInferRuntime(logger);

假設您已將模型從緩沖區(qū)中讀取，然后可以對其進行反序列化以獲得引擎：

ICudaEngine* engine = 
  runtime->deserializeCudaEngine(modelData, modelSize);

3.3. Performing Inference

引擎擁有優(yōu)化的模型，但要執(zhí)行推理，我們需要管理中間激活的額外狀態(tài)。這是通過ExecutionContext接口完成的：

IExecutionContext *context = engine->createExecutionContext();

一個引擎可以有多個執(zhí)行上下文，允許一組權重用于多個重疊的推理任務。 （當前的一個例外是使用動態(tài)形狀時，每個優(yōu)化配置文件只能有一個執(zhí)行上下文。）

要執(zhí)行推理，您必須為輸入和輸出傳遞 TensorRT 緩沖區(qū)，TensorRT 要求您在指針數(shù)組中指定。您可以使用為輸入和輸出張量提供的名稱查詢引擎，以在數(shù)組中找到正確的位置：

int32_t inputIndex = engine->getBindingIndex(INPUT_NAME);
int32_t outputIndex = engine->getBindingIndex(OUTPUT_NAME);

使用這些索引，設置一個緩沖區(qū)數(shù)組，指向 GPU 上的輸入和輸出緩沖區(qū)：

void* buffers[2];
buffers[inputIndex] = inputBuffer;
buffers[outputIndex] = outputBuffer;

然后，您可以調用 TensorRT 的 enqueue 方法以使用CUDA 流異步啟動推理：

context->enqueueV2(buffers, stream, nullptr);

通常在內核之前和之后將cudaMemcpyAsync()排入隊列以從 GPU 中移動數(shù)據(jù)（如果數(shù)據(jù)尚不存在）。enqueueV2()的最后一個參數(shù)是一個可選的 CUDA 事件，當輸入緩沖區(qū)被消耗時發(fā)出信號，并且可以安全地重用它們的內存。

要確定內核（可能還有memcpy()）何時完成，請使用標準 CUDA 同步機制，例如事件或等待流。

關于作者

Ken He 是 NVIDIA 企業(yè)級開發(fā)者社區(qū)經理 & 高級講師，擁有多年的 GPU 和人工智能開發(fā)經驗。自 2017 年加入 NVIDIA 開發(fā)者社區(qū)以來，完成過上百場培訓，幫助上萬個開發(fā)者了解人工智能和 GPU 編程開發(fā)。在計算機視覺，高性能計算領域完成過多個獨立項目。并且，在機器人和無人機領域，有過豐富的研發(fā)經驗。對于圖像識別，目標的檢測與跟蹤完成過多種解決方案。曾經參與 GPU 版氣象模式GRAPES，是其主要研發(fā)者。

審核編輯：郭婷