diff --git a/src/carla_tracking/README.md b/src/carla_tracking/README.md index cff3cef147..1e44cc44a2 100644 --- a/src/carla_tracking/README.md +++ b/src/carla_tracking/README.md @@ -1,99 +1,109 @@ -# CARLA目标检测与跟踪系统 +# CARLA 目标检测与跟踪系统 -这是一个基于CARLA仿真环境的目标检测与跟踪系统,使用YOLOv5作为检测模型,结合改进的SORT算法实现多目标跟踪,并利用深度信息提升跟踪性能。 +这是一个基于CARLA模拟器的车辆目标检测与跟踪系统,集成了YOLOv5目标检测模型和优化版SORT跟踪算法,能够实时检测和跟踪道路上的车辆,并实现基本的自动驾驶控制功能。 ## 功能特点 -- 连接CARLA仿真环境,生成主车辆和NPC车辆 -- 使用YOLOv5模型进行实时目标检测 -- 基于改进的SORT算法实现多目标跟踪,结合卡尔曼滤波预测 -- 利用深度相机数据计算目标距离和速度 -- 实时性能监控与可视化 -- 支持多种YOLOv5模型选择,可根据硬件性能调整 +- 基于YOLOv5模型的实时目标检测 +- 优化版SORT跟踪算法,支持多目标持续跟踪 +- 深度相机数据融合,提升远距离目标跟踪效果 +- 车辆自动控制,包括速度调节和障碍物避障 +- NPC车辆管理,可生成多个自动驾驶的NPC车辆 +- 实时性能监控面板,展示系统各模块运行效率 -## 安装依赖 +## 环境要求 -```bash -# 基础依赖 -pip install numpy opencv-python torch torchvision -pip install carla # 请根据CARLA版本安装对应版本 -pip install scipy argparse -``` +- Python 3.8+ +- CARLA Simulator 0.9.13+ +- 依赖库: + - carla + - opencv-python + - numpy + - torch + - ultralytics + - scipy -## 使用方法 +## 安装步骤 +1. 安装CARLA模拟器:参考[官方文档](https://carla.readthedocs.io/en/latest/start_quickstart/) + +2. 安装依赖包: ```bash -python main.py [参数选项] +pip install carla opencv-python numpy torch ultralytics scipy ``` -### 参数说明 - -| 参数 | 说明 | 可选值 | 默认值 | -|------|------|--------|--------| -| --model | 选择YOLOv5模型 | yolov5s, yolov5su, yolov5m, yolov5mu, yolov5x | yolov5mu | -| --tracker | 选择跟踪算法 | sort | sort | -| --host | CARLA服务器地址 | - | localhost | -| --port | CARLA服务器端口 | - | 2000 | -| --conf-thres | 检测置信度阈值 | 0-1 | 0.15 | -| --iou-thres | IOU阈值 | 0-1 | 0.4 | -| --use-depth | 是否使用深度相机 | - | True | -| --show-depth | 是否显示深度图像 | - | False | -| --npc-count | NPC车辆数量 | - | 30 | - -## 系统架构 - -1. **CARLA环境交互模块**:负责连接CARLA服务器,生成车辆和传感器 -2. **传感器数据获取模块**:获取RGB图像和深度图像数据 -3. **目标检测模块**:使用YOLOv5模型检测图像中的车辆目标 -4. **目标跟踪模块**:基于改进的SORT算法,结合卡尔曼滤波实现多目标跟踪 -5. **可视化模块**:实时显示检测和跟踪结果,以及性能监控信息 - -## 核心算法说明 - -### 卡尔曼滤波器 - -实现了一个针对目标跟踪优化的卡尔曼滤波器,根据目标距离动态调整过程噪声协方差矩阵Q: -- 远距离目标(>50m):增大Q值,允许更大的预测误差 -- 中距离目标(30-50m):中等Q值 -- 近距离目标(<30m):减小Q值,提高跟踪稳定性 +3. 下载YOLOv5模型文件并放置在指定路径(默认路径:`D:\yolo\`) -### 改进的SORT跟踪算法 - -在标准SORT算法基础上进行了以下改进: -- 结合深度信息动态调整IOU阈值 -- 对不同距离的目标使用不同的尺寸过滤条件 -- 对远距离目标延长跟踪保留时间 -- 使用加权平滑处理目标中心位置,提高跟踪稳定性 -- 基于距离变化计算目标速度 - -## 操作说明 - -- 运行程序后,系统会自动连接CARLA并生成仿真环境 -- 按 'q' 键退出程序 -- 按 'r' 键重新生成NPC车辆 +## 使用方法 -## 性能监控 +1. 启动CARLA服务器: +```bash +./CarlaUE4.sh # Linux +CarlaUE4.exe # Windows +``` -系统提供实时性能监控面板,显示各阶段耗时: -- CARLA同步时间 -- 图像获取时间 -- 深度图像处理时间 -- 目标检测时间 -- 目标跟踪时间 -- 结果绘制时间 -- 显示输出时间 +2. 运行主程序: +```bash +python main.py [参数选项] +``` -每50帧会打印一次性能统计信息,并自动识别性能瓶颈并给出优化建议。 +## 主要参数选项 + +| 参数 | 说明 | 默认值 | +|------|------|--------| +| --model | 选择YOLOv5模型 | yolov5m | +| --host | CARLA服务器地址 | localhost | +| --port | CARLA服务器端口 | 2000 | +| --conf-thres | 检测置信度阈值 | 0.15 | +| --iou-thres | IOU阈值 | 0.4 | +| --use-depth | 使用深度相机数据 | True | +| --show-depth | 显示深度图像 | False | +| --npc-count | NPC车辆数量 | 20 | +| --enable-physics | 启用物理模拟 | True | +| --target-speed | 目标速度(km/h) | 30.0 | +| --manual-control | 手动控制模式 | False | + +## 系统模块说明 + +1. **目标检测模块**:使用YOLOv5模型检测图像中的车辆目标 + +2. **目标跟踪模块**:基于优化版SORT算法,包含: + - 卡尔曼滤波器预测目标运动轨迹 + - 匈牙利算法进行目标匹配 + - 动态IOU阈值调整,适应不同距离目标 + +3. **车辆控制模块**: + - 基于PID的速度控制 + - 障碍物检测与避障 + - 支持手动控制和自动驾驶模式 + +4. **NPC管理模块**: + - 生成指定数量的NPC车辆 + - 控制NPC车辆自动驾驶 + - 动态调整NPC行为 + +5. **传感器模块**: + - RGB相机获取环境图像 + - 深度相机获取距离信息 + - 数据预处理与优化 + +## 性能优化 + +- 使用半精度浮点数加速模型推理(CUDA设备) +- 图像和深度数据的内存优化处理 +- 跟踪算法的计算效率优化 +- 多线程数据处理与缓冲队列 -## 优化建议 +## 注意事项 -- 若检测耗时过长,可尝试使用更小的模型(如yolov5s)或降低检测分辨率 -- 若跟踪耗时过长,可减少NPC车辆数量 -- 若CARLA同步耗时过长,可降低仿真频率或减少场景复杂度 -- 对于远距离目标检测,可调整检测阈值以提高检测率 +- 确保CARLA服务器在运行程序前已启动 +- 首次运行会下载YOLOv5模型,可能需要较长时间 +- 高分辨率和大量NPC会增加系统负载,可能需要调整参数以获得流畅体验 +- 深度相机数据处理对性能影响较大,可通过`--use-depth`参数关闭 -## 注意事项 +## 界面说明 -- 确保CARLA服务器已启动并正常运行 -- 根据硬件性能选择合适的模型,高性能GPU推荐使用yolov5x,CPU或低性能GPU推荐使用yolov5s -- 深度相机数据处理可能会增加系统负载,若性能不足可关闭(--use-depth=False) \ No newline at end of file +- 主窗口显示摄像头实时画面,包含目标检测框和跟踪信息 +- 左上角性能监控面板显示各模块运行时间和FPS +- 目标框颜色随距离变化:近距离(红色)、中距离(黄色)、远距离(绿色) +- 每个目标框显示类别、置信度、跟踪ID、距离和速度信息 \ No newline at end of file