概念概述

• 網(wǎng)格劃分：YOLO 首先將輸入圖像劃分為S×S網(wǎng)格。每個網(wǎng)格單元負(fù)責(zé)預(yù)測中心位于該單元內(nèi)的物體。這種劃分使模型能夠定位物體并確保檢測分布在圖像上。

• 邊界框預(yù)測：對于每個網(wǎng)格單元，YOLO 會預(yù)測多個邊界框。每個邊界框預(yù)測包括坐標(biāo)（中心、寬度和高度）以及置信度分?jǐn)?shù)，該分?jǐn)?shù)反映了邊界框的準(zhǔn)確性以及該框包含特定對象的可能性。

• 類別概率：除了邊界框預(yù)測之外，每個網(wǎng)格單元還會預(yù)測其檢測到的對象屬于哪個類別的概率。這些概率取決于包含對象的網(wǎng)格單元。

• 組合預(yù)測：YOLO 流程的最后一步是將邊界框預(yù)測與類別概率相結(jié)合，以提供完整的檢測輸出。每個邊界框的置信度分?jǐn)?shù)由類別概率調(diào)整，確保檢測既反映邊界框的準(zhǔn)確性，又反映模型對對象類別的置信度。

YOLO 架構(gòu)揭曉

從圖像到預(yù)測

• 卷積主干：YOLO 使用一系列卷積層作為主干。這些層負(fù)責(zé)從輸入圖像中提取特征。這些層的架構(gòu)在 YOLO 的不同版本（例如 YOLOv3、YOLOv4 等）之間可能有所不同，每個版本都旨在在速度和準(zhǔn)確性之間取得平衡。

• 特征提取：當(dāng)圖像穿過卷積層時，網(wǎng)絡(luò)會提取和下采樣特征，從而創(chuàng)建一個豐富的特征圖，其中包含檢測所需的基本信息。

• 預(yù)測層：在網(wǎng)絡(luò)末端，YOLO 過渡到預(yù)測層，該層通常是具有特定數(shù)量濾波器的卷積層。這些濾波器對應(yīng)于每個網(wǎng)格單元的預(yù)測向量，包括邊界框坐標(biāo)、置信度分?jǐn)?shù)和類別概率。

• 輸出張量：輸出是形狀為 (S×S×(B×5+C)) 的張量，其中S×S是網(wǎng)格大小，B是每個網(wǎng)格單元的邊界框數(shù)量，55 表示四個邊界框坐標(biāo)加上置信度分?jǐn)?shù)，C表示類別數(shù)量。此張量封裝了網(wǎng)絡(luò)對圖像進(jìn)行的所有檢測。

代碼片段：加載和使用預(yù)訓(xùn)練的 YOLO 模型

import torch
import torchvision.transforms as transforms
from PIL import Image


# Load a pre-trained YOLO model
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)


# Function to perform object detection
def detect_objects(image_path):
# Load and transform the image
image = Image.open(image_path)
transform = transforms.Compose([
transforms.ToTensor(),
])
image = transform(image).unsqueeze(0) # Add batch dimension


# Perform inference
model.eval() # Set the model to evaluation mode
with torch.no_grad():
predictions = model(image)


# Process predictions
# Note: The output format can vary, so adjust the processing as needed
for pred in predictions[0]:
bbox = pred[:4] # Bounding box coordinates
score = pred[4] # Confidence score
class_id = pred[5] # Class ID
print(f'Class: {class_id}, Score: {score}, BBox: {bbox}')


# Example usage
detect_objects('path/to/your/image.jpg')

訓(xùn)練 YOLO 模型

學(xué)會觀察

• 定位損失：損失函數(shù)的這一部分懲罰邊界框預(yù)測位置和大小的誤差。它通常關(guān)注預(yù)測邊界框坐標(biāo)與地面真實坐標(biāo)之間的差異，通常使用諸如平方誤差和之類的度量。

• 置信度損失：此組件懲罰邊界框置信度分?jǐn)?shù)中的錯誤。置信度分?jǐn)?shù)反映了模型對邊界框包含物體的確定性以及模型認(rèn)為邊界框的準(zhǔn)確度。對于包含物體的邊界框和不包含物體的邊界框，計算的損失不同，以幫助模型區(qū)分這兩種情況。

• 分類損失：損失函數(shù)的這一部分針對每個網(wǎng)格單元的類別概率預(yù)測。它通常涉及預(yù)測概率和獨(dú)熱編碼的真實類別標(biāo)簽之間的分類交叉熵?fù)p失。

代碼片段：YOLO 的訓(xùn)練設(shè)置

import torch
import torch.optim as optim


# Assuming yolo_model is your YOLO model and train_loader is your data loader


# Define the optimizer
optimizer = optim.Adam(yolo_model.parameters(), lr=0.001)


# Placeholder for the YOLO loss function
# Note: You'll need to define this based on the specific YOLO version and its output format
def yolo_loss(predictions, targets):
    # Compute localization loss, confidence loss, and classification loss
    # localization_loss = ...
    # confidence_loss = ...
    # classification_loss = ...
    
    # Combine the losses
    total_loss = localization_loss + confidence_loss + classification_loss
    return total_loss


# Training loop
for epoch in range(num_epochs):
    for images, targets in train_loader:  # Assuming targets contain ground truth
        optimizer.zero_grad()  # Zero the gradients
        
        # Forward pass
        predictions = yolo_model(images)
        
        # Compute loss
        loss = yolo_loss(predictions, targets)
        
        # Backward pass and optimize
        loss.backward()
        optimizer.step()
    
    print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item()}')

YOLO 實際應(yīng)用：真實世界的應(yīng)用

超越基礎(chǔ)

• 監(jiān)控：YOLO 的實時處理能力在監(jiān)控系統(tǒng)中特別有用，它可以同時檢測和跟蹤多個物體，例如個人、車輛或任何異?；顒?，從而增強(qiáng)公共和私人空間的安全措施。

• 自動駕駛：在自動駕駛汽車領(lǐng)域，YOLO 有助于完成檢測和分類汽車、行人和交通標(biāo)志等物體的關(guān)鍵任務(wù)，使汽車能夠做出明智的決策并安全行駛。

• 野生動物監(jiān)測：YOLO 已被用于野生動物監(jiān)測項目，它有助于自動檢測和識別自然棲息地中的物種，協(xié)助保護(hù)工作和生物多樣性研究。

• 零售和庫存管理：在零售領(lǐng)域，YOLO 可以通過實時檢測和跟蹤貨架上的產(chǎn)品來簡化庫存管理，并可以通過交互式顯示和監(jiān)控來增強(qiáng)客戶體驗。

代碼片段：將 YOLO 應(yīng)用于視頻流

import cv2
import torch


# Load the pre-trained YOLO model
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)


# Initialize the video stream (replace '0' with a video file path for processing a video file)
cap = cv2.VideoCapture(0)


while True:
    # Read frames from the video stream
    ret, frame = cap.read()
    if not ret:
        break


    # Convert the frame to the format expected by the model
    frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    results = model([frame_rgb], size=640)  # Adjust size as needed


    # Render the detections on the frame
    frame_with_detections = results.render()[0]


    # Convert the frame back to BGR for displaying with OpenCV
    frame_with_detections_bgr = cv2.cvtColor(frame_with_detections, cv2.COLOR_RGB2BGR)


    # Display the frame with detections
    cv2.imshow('YOLO Object Detection', frame_with_detections_bgr)


    # Break the loop when 'q' is pressed
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break


# Release the video stream and close windows
cap.release()
cv2.destroyAllWindows()