diff --git a/src/carla_tracking/README.md b/src/carla_tracking/README.md index 20b0faee56..ac79c046cc 100644 --- a/src/carla_tracking/README.md +++ b/src/carla_tracking/README.md @@ -3,20 +3,14 @@ ## 项目概述 本项目实现了基于YOLOv5算法和CARLA仿真器的自动驾驶目标检测与跟踪功能。通过CARLA仿真环境生成动态交通场景,利用YOLOv5模型实时检测车辆、摩托车、公交车、卡车等交通参与者,结合内置优化版SORT跟踪算法实现目标的连续追踪,并通过OpenCV实时可视化检测与跟踪结果。 -### 核心功能: -- 基于YOLOv5模型(支持yolov5s、yolov5m、yolov5x)进行实时目标检测,默认置信度阈值0.2 -- 集成优化版SORT跟踪算法(内置实现,无需额外依赖),通过卡尔曼滤波和历史位置平滑处理,实现对检测目标的稳定跟踪,支持多目标ID持续标注 -- 与CARLA仿真器深度集成,自动生成主车辆和NPC交通流,挂载RGB相机和深度相机采集实时图像(RGB相机分辨率800×600) -- 支持同步模式运行,保证检测帧率与仿真环境一致(默认0.05s/帧,20FPS) -- 实时可视化检测/跟踪结果,显示目标类别、置信度、跟踪ID、距离及速度信息,不同类别目标使用差异化颜色标注 -- 引入深度信息优化:基于目标距离动态调整跟踪参数,提升不同距离目标的跟踪稳定性 +## 核心功能 +- 基于CARLA仿真器构建真实交通场景 +- 集成YOLOv5模型实现多类别交通目标检测 +- 优化版SORT跟踪算法实现目标连续追踪,支持ID分配与轨迹预测 +- 深度相机数据融合,实现目标距离估计与速度计算 +- 实时可视化检测结果,包括边界框、置信度、跟踪ID、距离和速度信息 ## 安装步骤 -### 前置条件: -- Python 3.7+(推荐3.7,与CARLA兼容性更佳) -- CARLA仿真器(支持0.9.x系列版本,版本需与Python API匹配) -- NVIDIA显卡(支持CUDA 11.3+,可选,用于加速模型推理) - ### 操作步骤: 1. 下载并安装CARLA仿真器: @@ -55,42 +49,58 @@ easy_install carla-<版本号>-py3.7-<平台>.egg ``` 5. 下载YOLOv5预训练模型: -将模型文件(yolov5s.pt/yolov5m.pt/yolov5x.pt)放置在指定路径(默认路径为`D:\yolo\`,可在代码`load_detection_model`函数中修改) - -## 使用方法 +将模型文件(yolov5s.pt/yolov5su.pt/yolov5m.pt/yolov5mu.pt/yolov5x.pt)放置在指定路径(默认路径为`D:\yolo\`,可在代码`load_detection_model`函数中修改) -1. 启动CARLA仿真器: +## 使用说明 +### 基本运行 ```bash -cd D:\CARLA -# Windows系统 -CarlaUE4.exe -# Linux系统 -./CarlaUE4.sh +python main.py ``` -等待地图加载完成(显示3D城市场景) -2. 运行主程序: +### 可选参数 ```bash -# 基础运行(默认yolov5m模型+SORT跟踪器,启用深度增强) -python main.py +# 选择检测模型 +python main.py --model yolov5mu -# 可选参数配置 -python main.py --model yolov5x --tracker sort --host localhost --port 2000 --conf-thres 0.25 --iou-thres 0.45 --npc-count 20 -``` +# 调整置信度阈值 +python main.py --conf-thres 0.2 -3. 操作指令: -- 按`q`键:退出程序 -- 程序运行时会自动生成主车辆、NPC车辆及相机,实时显示检测跟踪结果 +# 调整NPC车辆数量 +python main.py --npc-count 50 -## 功能说明 +<<<<<<< HEAD +# 禁用深度相机 +python main.py --use-depth False +``` -1. 目标检测: -- 支持检测类别:汽车(car)、摩托车(motorcycle)、公交车(bus)、卡车(truck)(对应COCO数据集ID:2、3、5、7) -- 模型选择:yolov5s(轻量快速)、yolov5m(平衡精度与速度)、yolov5x(高精度,适合对精度要求高的场景) -- 检测优化: - - 采用多帧投票机制(保留至少2帧出现的目标),提高小目标检测稳定性 - - 过滤过小检测框(基于距离动态调整阈值,远距离目标允许更小检测框),减少误检 - - 支持置信度阈值(--conf-thres)和NMS IOU阈值(--iou-thres)配置 +### 交互控制 +- 按 `q` 键:退出程序 +- 按 `r` 键:重新生成NPC车辆 + +## 核心算法说明 +### 1. 优化版SORT跟踪算法 +- 基于卡尔曼滤波器的运动预测,考虑目标距离动态调整过程噪声 +- 结合匈牙利算法实现检测框与跟踪轨迹的最优匹配 +- 引入深度信息加权的IOU计算,提升远距离目标跟踪稳定性 +- 动态IOU阈值调整,根据目标距离自适应匹配严格程度 + +### 2. 目标距离与速度估计 +- 利用深度相机数据计算目标距离 +- 通过距离变化率估算目标相对速度 +- 距离历史平滑处理,降低测量噪声影响 + +### 3. NPC生成策略 +- 优先在主车辆周围10-50米范围内生成NPC +- 避免NPC车辆过度拥挤(最小间距8米) +- 分阶段生成策略,确保目标数量充足 +- 交通管理器参数优化,实现更真实的车辆行为 + +## 可视化说明 +可视化窗口将显示以下信息: +- 目标边界框(颜色随距离变化:红色<15m,黄色15-30m,绿色30-50m) +- 目标类别、置信度、跟踪ID +- 目标距离(单位:米)和相对速度(单位:米/秒) +- 实时FPS、帧数、跟踪数量等统计信息 2. 目标跟踪: - 采用优化版SORT跟踪算法,核心改进包括: @@ -121,6 +131,7 @@ python main.py --model yolov5x --tracker sort --host localhost --port 2000 --con - 检测与跟踪主逻辑:集成YOLOv5检测与SORT跟踪,实现端到端流程 - YOLOv5预训练模型(yolov5s.pt/yolov5m.pt/yolov5x.pt):需放置在指定路径 + ## 常见问题 ### CARLA连接失败: - 确保CARLA仿真器已启动,且端口与脚本参数一致(默认2000) @@ -140,7 +151,4 @@ python main.py --model yolov5x --tracker sort --host localhost --port 2000 --con ## 参考文档 - [CARLA官方文档](https://carla.readthedocs.io/) - [YOLOv5官方文档](https://docs.ultralytics.com/yolov5/) -- [SORT跟踪算法论文](https://arxiv.org/abs/1602.00763) - -## 许可协议 -本项目基于MIT许可协议开源,详情参见LICENSE文件。 \ No newline at end of file +- [SORT跟踪算法论文](https://arxiv.org/abs/1602.00763) \ No newline at end of file diff --git a/src/carla_tracking/requirements.txt b/src/carla_tracking/requirements.txt index 6e1f4bff39..8f14755854 100644 --- a/src/carla_tracking/requirements.txt +++ b/src/carla_tracking/requirements.txt @@ -1,3 +1,14 @@ +python >= 3.7 +numpy >= 1.21.0 +opencv-python >= 4.5.0 +scipy >= 1.7.0 +torch >= 1.10.0 +torchvision >= 0.11.0 +ultralytics >= 8.0.0 +carla == 0.9.11 +matplotlib >= 3.5.0 +tqdm >= 4.62.0 +pygame >= 2.1.0 python>=3.7 numpy>=1.19.5 opencv-python>=4.5.0 @@ -5,4 +16,5 @@ scipy>=1.7.0 carla>=0.9.10 ultralytics>=8.0.0 torch>=1.10.0+cu113 -torchvision>=0.11.0+cu113 \ No newline at end of file +torchvision>=0.11.0+cu113 +