diff --git a/src/carla_tracking/README.md b/src/carla_tracking/README.md index badad65bcf..cff3cef147 100644 --- a/src/carla_tracking/README.md +++ b/src/carla_tracking/README.md @@ -1,99 +1,99 @@ -# CARLA 目标检测与跟踪系统 +# CARLA目标检测与跟踪系统 + +这是一个基于CARLA仿真环境的目标检测与跟踪系统,使用YOLOv5作为检测模型,结合改进的SORT算法实现多目标跟踪,并利用深度信息提升跟踪性能。 ## 功能特点 -- 基于CARLA仿真环境的实时目标检测与跟踪 -- 使用YOLOv5系列模型(yolov5s、yolov5su、yolov5m、yolov5mu、yolov5x)进行目标检测 -- 改进版SORT跟踪算法,结合深度信息优化跟踪效果 -- 动态调整的卡尔曼滤波器,根据目标距离自适应调整参数 -- 基于深度图像的目标距离估算(支持中位数和加权平均两种计算方式) -- 实时计算目标速度信息 -- 可视化标注,显示目标边界框、ID、距离和速度信息 -- 支持NPC车辆自动生成与交通管理 - -## 依赖环境 - -- Python 3.8+ -- CARLA Simulator 0.9.10+ -- 必要的Python库: - - carla - - opencv-python - - numpy - - torch - - ultralytics - - scipy - - argparse - - queue - -## 主要组件说明 - -### 1. 目标检测模块 -- `load_detection_model`:加载YOLOv5检测模型,自动选择设备(GPU/CPU),支持半精度计算加速 -- 支持模型自动 fallback 机制,当指定模型不存在时自动选择可用模型 - -### 2. 跟踪模块 -- `Sort`类:改进版SORT跟踪器,结合深度信息优化跟踪效果 - - 动态IOU阈值:根据目标距离调整匹配阈值 - - 距离加权匹配:近距离目标权重更高 - - 基于距离的跟踪生命周期管理 -- `KalmanFilter`类:卡尔曼滤波器,用于目标运动预测 - - 根据目标距离动态调整过程噪声协方差Q - - 支持位置和速度状态估计 - -### 3. 深度信息处理 -- `get_target_distance`:从深度图像中计算目标距离 - - 支持中位数和加权平均两种距离计算方式 - - 基于目标区域的有效深度提取 - -### 4. CARLA相关函数 -- `setup_carla_client`:设置CARLA客户端和世界环境,配置同步模式 -- `spawn_ego_vehicle`:生成主车辆,优先选择林肯MKZ,失败时自动 fallback 到其他车型 -- `spawn_npcs`:生成NPC车辆,确保在主车辆周围合理范围内生成 -- 交通管理器配置:设置NPC车辆的自动驾驶行为参数 - -## 运行说明 - -### 基本命令 +- 连接CARLA仿真环境,生成主车辆和NPC车辆 +- 使用YOLOv5模型进行实时目标检测 +- 基于改进的SORT算法实现多目标跟踪,结合卡尔曼滤波预测 +- 利用深度相机数据计算目标距离和速度 +- 实时性能监控与可视化 +- 支持多种YOLOv5模型选择,可根据硬件性能调整 + +## 安装依赖 + ```bash -python main.py --model yolov5mu --tracker sort --npc-count 30 +# 基础依赖 +pip install numpy opencv-python torch torchvision +pip install carla # 请根据CARLA版本安装对应版本 +pip install scipy argparse ``` -### 主要参数 -- `--model`:选择YOLOv5模型(yolov5s、yolov5su、yolov5m、yolov5mu、yolov5x) -- `--tracker`:选择跟踪器(当前仅支持sort) -- `--host`:CARLA服务器地址(默认localhost) -- `--port`:CARLA服务器端口(默认2000) -- `--conf-thres`:检测置信度阈值(默认0.15) -- `--iou-thres`:IOU阈值(默认0.4) -- `--use-depth`:使用深度信息(默认True) -- `--show-depth`:显示深度图像(默认False) -- `--npc-count`:NPC车辆数量(默认30) - -### 操作说明 -- 按 'q' 键:退出程序 -- 按 'r' 键:重新生成NPC车辆 - -## 自定义配置 - -- 在`load_detection_model`函数中修改模型路径或添加新模型 -- 在`Sort`类初始化时调整跟踪参数(max_age, min_hits, iou_threshold) -- 在`KalmanFilter`中调整滤波器参数(Q_base, R, dist_thresholds) -- 在`spawn_npcs`函数中调整NPC生成范围和密度 -- 在主循环中调整性能监控参数和显示信息 - -## 性能优化 - -- 对于GPU用户,自动使用半精度计算加速 -- 深度图像预处理优化,平衡精度和速度 -- 跟踪算法中使用距离信息动态调整参数,提高跟踪效率 -- 性能监控功能,自动识别瓶颈并提供优化建议 -- 通过调整模型类型和参数,可以在检测精度和运行速度之间取得平衡 +## 使用方法 + +```bash +python main.py [参数选项] +``` + +### 参数说明 + +| 参数 | 说明 | 可选值 | 默认值 | +|------|------|--------|--------| +| --model | 选择YOLOv5模型 | yolov5s, yolov5su, yolov5m, yolov5mu, yolov5x | yolov5mu | +| --tracker | 选择跟踪算法 | sort | sort | +| --host | CARLA服务器地址 | - | localhost | +| --port | CARLA服务器端口 | - | 2000 | +| --conf-thres | 检测置信度阈值 | 0-1 | 0.15 | +| --iou-thres | IOU阈值 | 0-1 | 0.4 | +| --use-depth | 是否使用深度相机 | - | True | +| --show-depth | 是否显示深度图像 | - | False | +| --npc-count | NPC车辆数量 | - | 30 | + +## 系统架构 + +1. **CARLA环境交互模块**:负责连接CARLA服务器,生成车辆和传感器 +2. **传感器数据获取模块**:获取RGB图像和深度图像数据 +3. **目标检测模块**:使用YOLOv5模型检测图像中的车辆目标 +4. **目标跟踪模块**:基于改进的SORT算法,结合卡尔曼滤波实现多目标跟踪 +5. **可视化模块**:实时显示检测和跟踪结果,以及性能监控信息 + +## 核心算法说明 + +### 卡尔曼滤波器 + +实现了一个针对目标跟踪优化的卡尔曼滤波器,根据目标距离动态调整过程噪声协方差矩阵Q: +- 远距离目标(>50m):增大Q值,允许更大的预测误差 +- 中距离目标(30-50m):中等Q值 +- 近距离目标(<30m):减小Q值,提高跟踪稳定性 + +### 改进的SORT跟踪算法 + +在标准SORT算法基础上进行了以下改进: +- 结合深度信息动态调整IOU阈值 +- 对不同距离的目标使用不同的尺寸过滤条件 +- 对远距离目标延长跟踪保留时间 +- 使用加权平滑处理目标中心位置,提高跟踪稳定性 +- 基于距离变化计算目标速度 + +## 操作说明 + +- 运行程序后,系统会自动连接CARLA并生成仿真环境 +- 按 'q' 键退出程序 +- 按 'r' 键重新生成NPC车辆 ## 性能监控 -程序每50帧会输出一次性能统计,包括: +系统提供实时性能监控面板,显示各阶段耗时: - CARLA同步时间 -- 图像和深度获取时间 -- 目标检测和跟踪时间 -- 结果绘制和显示时间 -- 自动识别性能瓶颈并提供优化建议 \ No newline at end of file +- 图像获取时间 +- 深度图像处理时间 +- 目标检测时间 +- 目标跟踪时间 +- 结果绘制时间 +- 显示输出时间 + +每50帧会打印一次性能统计信息,并自动识别性能瓶颈并给出优化建议。 + +## 优化建议 + +- 若检测耗时过长,可尝试使用更小的模型(如yolov5s)或降低检测分辨率 +- 若跟踪耗时过长,可减少NPC车辆数量 +- 若CARLA同步耗时过长,可降低仿真频率或减少场景复杂度 +- 对于远距离目标检测,可调整检测阈值以提高检测率 + +## 注意事项 + +- 确保CARLA服务器已启动并正常运行 +- 根据硬件性能选择合适的模型,高性能GPU推荐使用yolov5x,CPU或低性能GPU推荐使用yolov5s +- 深度相机数据处理可能会增加系统负载,若性能不足可关闭(--use-depth=False) \ No newline at end of file