多模板匹配是一種在圖像中同時尋找多個模板的技術(shù)。通過對每個模板逐一進(jìn)行匹配，找到與輸入圖像最相似的區(qū)域，并標(biāo)記出匹配度最高的結(jié)果。本實驗提供了一個簡單的多模板匹配案例，并將其封裝為一個自定義函數(shù) multiTemplateMatching，方便快速移植和使用。

源代碼地址：https://gitee.com/LockzhinerAI/LockzhinerVisionModule/tree/master/Cpp_example/C03_Template_Matching_more

1. 基本知識講解

1.1 多模板匹配的重要性

目標(biāo)檢測：多模板匹配可以用于檢測圖像中的多個特定對象。

應(yīng)用場景：廣泛應(yīng)用于物體識別、工業(yè)自動化、機(jī)器人導(dǎo)航等領(lǐng)域。

優(yōu)勢：支持多個模板的同時匹配，能夠靈活處理多種目標(biāo)。

局限性：對旋轉(zhuǎn)、縮放和光照變化較為敏感，因此通常需要結(jié)合其他技術(shù)來提高魯棒性。

1.2 多模板匹配的流程

獲取輸入圖像和多個模板圖像。

遍歷每個模板，逐一執(zhí)行模板匹配算法（如歸一化互相關(guān) NCC）。

找到每個模板匹配結(jié)果中的最大值及其位置。

根據(jù)相似度閾值篩選匹配結(jié)果，并記錄匹配度最高的模板。

繪制矩形框標(biāo)記匹配區(qū)域并顯示結(jié)果。

2. API文檔

2.1 頭文件

#include

2.2 模板匹配

cv::matchTemplate(image,templ,result,method);

功能：在輸入圖像中搜索模板圖像的最佳匹配位置。

參數(shù)：

CV_TM_SQDIFF：平方差匹配。

image：輸入圖像。

templ：模板圖像。

result：匹配結(jié)果圖像，輸出參數(shù)。

method：匹配方法，可選值有：

返回值：無。

2.3 查找機(jī)制

cv::minMaxLoc(src,minVal,maxVal,minLoc,maxLoc,mask);

功能：查找匹配結(jié)果圖像中的最小值和最大值及其位置。

參數(shù)：

src：輸入矩陣。

minVal：輸出的最小值。

maxVal：輸出的最大值。

minLoc：最小值的位置。

maxLoc：最大值的位置。

mask：可選的掩碼矩陣。

返回值：無。

3. 綜合代碼解析

3.1 流程圖

3.2 代碼解釋

使用多模板匹配函數(shù)

multiTemplateMatching(img,templates,0.7,true);

自定義多模板匹配函數(shù)具體參數(shù)如下所示。

voidmultiTemplateMatching(constMat&img,constvector<string>&templatePaths,
doublethreshold=0.7,boolisGrayscale=false);

功能：對多個模板逐一執(zhí)行匹配，并標(biāo)記匹配度最高的區(qū)域。

參數(shù)：

img：輸入圖像。

templatePaths：模板圖像路徑列表。

threshold：相似度閾值，默認(rèn)為 0.7。

isGrayscale：是否將輸入圖像轉(zhuǎn)換為灰度圖像，默認(rèn)為 false。

返回值：無。

輸出結(jié)果

edit.Print(img);

3.3 完整代碼實現(xiàn)

#include

#include
#include
#include
#include

usingnamespacecv;
usingnamespacestd;

// 多模板匹配函數(shù)（支持彩色或灰度圖像，僅繪制匹配度最高的框）
voidmultiTemplateMatching(constMat&img,constvector<string>&templatePaths,
doublethreshold=0.7,boolisGrayscale=false)
{
// 初始化最高匹配度和對應(yīng)的模板路徑、位置
doublebestMatchValue=0.0;
stringbestMatchTemplatePath="";
RectbestMatchRect;

// 遍歷每個模板路徑
for(constauto&templatePath:templatePaths)
{
// 加載模板圖像（根據(jù) isGrayscale 決定是灰度還是彩色）
Mattempl=imread(templatePath,isGrayscale?IMREAD_GRAYSCALE:IMREAD_COLOR);
if(templ.empty())
{
cerr<<"無法加載模板圖像: "<<templatePath<<endl;
continue;
}

// 如果輸入圖像是灰度圖像，則將彩色圖像轉(zhuǎn)換為灰度
MatinputImage=img.clone();
if(isGrayscale&&inputImage.channels()==3)
{
cvtColor(inputImage,inputImage,COLOR_BGR2GRAY);
}

// 創(chuàng)建結(jié)果矩陣
intresult_cols=inputImage.cols-templ.cols+1;
intresult_rows=inputImage.rows-templ.rows+1;
Matresult(result_rows,result_cols,CV_32FC1);

// 執(zhí)行模板匹配
matchTemplate(inputImage,templ,result,TM_CCOEFF_NORMED);

// 查找最佳匹配位置
doubleminVal,maxVal;
PointminLoc,maxLoc;
minMaxLoc(result,&minVal,&maxVal,&minLoc,&maxLoc);

// 如果當(dāng)前模板的最大匹配度高于之前的記錄，則更新最佳匹配信息
if(maxVal>bestMatchValue&&maxVal>=threshold)
{
bestMatchValue=maxVal;
bestMatchTemplatePath=templatePath;
bestMatchRect=Rect(maxLoc.x,maxLoc.y,templ.cols,templ.rows);
}
}

// 如果找到匹配度高于閾值的最佳匹配，則繪制矩形框
if(!bestMatchTemplatePath.empty())
{
rectangle(img,bestMatchRect,Scalar(0,255,0),2);// 綠色矩形框
cout<<"匹配到模板: "<<bestMatchTemplatePath
<<", 匹配度: "<<bestMatchValue<<endl;
}
else
{
cout<<"未找到匹配度高于閾值的模板。"<<endl;
}
}

intmain(intargc,char*argv[])
{
lockzhiner_vision_module::Editedit;
if(!edit.StartAndAcceptConnection())
{
std::cerr<<"Error: Failed to start and accept connection."<<std::endl;
returnEXIT_FAILURE;
}
std::cout<<"Device connected successfully."<<std::endl;

cv::VideoCapturecap;
intwidth=320; // 設(shè)置攝像頭分辨率寬度
intheight=240;// 設(shè)置攝像頭分辨率高度
cap.set(cv::CAP_PROP_FRAME_WIDTH,width);
cap.set(cv::CAP_PROP_FRAME_HEIGHT,height);

// 打開攝像頭設(shè)備
cap.open(0);// 參數(shù) 0 表示默認(rèn)攝像頭設(shè)備
if(!cap.isOpened())
{
std::cerr<<"Error: Could not open camera."<<std::endl;
returnEXIT_FAILURE;
}

// 檢查命令行參數(shù)是否提供了模板路徑
vector<string>templates;
if(argc<2)
{
cerr<<"Usage: "<<argv[0]<<" template_path1 [template_path2 ...]"<<endl;
returnEXIT_FAILURE;
}

// 從命令行讀取模板路徑
for(inti=1;i<argc;++i)
{
templates.push_back(argv[i]);
}

while(true)
{
cv::Matimg;// 存儲每一幀圖像
cap>>img; // 獲取新的一幀

// 檢查是否成功讀取幀
if(img.empty())
{
std::cerr<<"Warning: Couldn't read a frame from the camera."
<<std::endl;
continue;
}

// 執(zhí)行多模板匹配（示例中仍使用彩色圖像）
multiTemplateMatching(img,templates,0.7,true);

// 顯示結(jié)果
edit.Print(img);
}

return0;
}

4.2 Cmake介紹

# CMake最低版本要求
cmake_minimum_required(VERSION3.10)

project(test-TemplateMatching-more)

set(CMAKE_CXX_STANDARD17)
set(CMAKE_CXX_STANDARD_REQUIRED ON)

# 定義項目根目錄路徑
set(PROJECT_ROOT_PATH"${CMAKE_CURRENT_SOURCE_DIR}/../..")
message("PROJECT_ROOT_PATH = "${PROJECT_ROOT_PATH})

include("${PROJECT_ROOT_PATH}/toolchains/arm-rockchip830-linux-uclibcgnueabihf.toolchain.cmake")

# 定義 OpenCV SDK 路徑
set(OpenCV_ROOT_PATH"${PROJECT_ROOT_PATH}/third_party/opencv-mobile-4.10.0-lockzhiner-vision-module")
set(OpenCV_DIR"${OpenCV_ROOT_PATH}/lib/cmake/opencv4")
find_package(OpenCV REQUIRED)
set(OPENCV_LIBRARIES"${OpenCV_LIBS}")
# 定義 LockzhinerVisionModule SDK 路徑
set(LockzhinerVisionModule_ROOT_PATH"${PROJECT_ROOT_PATH}/third_party/lockzhiner_vision_module_sdk")
set(LockzhinerVisionModule_DIR"${LockzhinerVisionModule_ROOT_PATH}/lib/cmake/lockzhiner_vision_module")
find_package(LockzhinerVisionModule REQUIRED)

# 基本圖像處理示例
add_executable(Test-TemplateMatching-more Template_Matching_more.cc)
target_include_directories(Test-TemplateMatching-more PRIVATE${LOCKZHINER_VISION_MODULE_INCLUDE_DIRS})
target_link_libraries(Test-TemplateMatching-more PRIVATE${OPENCV_LIBRARIES}${LOCKZHINER_VISION_MODULE_LIBRARIES})

install(
TARGETS Test-TemplateMatching-more
RUNTIME DESTINATION .
)

4. 編譯結(jié)果

4.1 編譯環(huán)境搭建

請確保你已經(jīng)按照開發(fā)環(huán)境搭建指南正確配置了開發(fā)環(huán)境。

同時以正確連接開發(fā)板。

4.3 編譯項目

使用 Docker Destop 打開 LockzhinerVisionModule 容器并執(zhí)行以下命令來編譯項目

# 進(jìn)入Demo所在目錄
cd/LockzhinerVisionModuleWorkSpace/LockzhinerVisionModule/Cpp_example/C03_TemplateMatching_more
# 創(chuàng)建編譯目錄
rm-rfbuild &&mkdirbuild &&cdbuild
# 配置交叉編譯工具鏈
exportTOOLCHAIN_ROOT_PATH="/LockzhinerVisionModuleWorkSpace/arm-rockchip830-linux-uclibcgnueabihf"
# 使用cmake配置項目
cmake ..
# 執(zhí)行編譯項目
make-j8&&makeinstall

在執(zhí)行完上述命令后，會在build目錄下生成可執(zhí)行文件。

5. 例程運(yùn)行示例

5.1 準(zhǔn)備工作

下載凌智視覺模塊圖片傳輸助手：點擊下載

5.2 運(yùn)行過程

在凌智視覺模塊中輸入以下命令：

chmod777Test-TemplateMatching-more
# 在實際運(yùn)行中，模板數(shù)量越少，相對來說運(yùn)行的幀率越高，如需更高幀率請自行降低分辨率。
./Test-TemplateMatching-more template_0.png template_1.png template_2.png template_3.png

5.3 運(yùn)行效果

運(yùn)行程序后，您將看到實時視頻流中匹配度最高的區(qū)域被綠色矩形框標(biāo)記出來。如果未找到匹配度高于閾值的模板，則會輸出提示信息。

• 模板照片如下

6. 總結(jié)

通過上述內(nèi)容，我們詳細(xì)介紹了多模板匹配的流程及相關(guān) API 的使用方法，包括：

圖像讀取：加載輸入圖像和多個模板圖像。

模板匹配：使用歸一化互相關(guān)方法計算相似度。

查找極值：獲取每個模板的最佳匹配位置。

繪制與顯示：標(biāo)記匹配度最高的區(qū)域并顯示結(jié)果。