diff --git a/src/carla_tracking/README.md b/src/carla_tracking/README.md index ac79c046cc..d119334663 100644 --- a/src/carla_tracking/README.md +++ b/src/carla_tracking/README.md @@ -1,154 +1,94 @@ -# CARLA_YOLO_ObjectTracking +# CARLA 目标检测与跟踪系统 -## 项目概述 -本项目实现了基于YOLOv5算法和CARLA仿真器的自动驾驶目标检测与跟踪功能。通过CARLA仿真环境生成动态交通场景,利用YOLOv5模型实时检测车辆、摩托车、公交车、卡车等交通参与者,结合内置优化版SORT跟踪算法实现目标的连续追踪,并通过OpenCV实时可视化检测与跟踪结果。 +这是一个基于CARLA仿真环境的目标检测与跟踪系统,使用YOLOv5模型进行目标检测,并结合改进的SORT算法实现多目标跟踪,同时利用深度信息增强跟踪稳定性和距离估算。 -## 核心功能 -- 基于CARLA仿真器构建真实交通场景 -- 集成YOLOv5模型实现多类别交通目标检测 -- 优化版SORT跟踪算法实现目标连续追踪,支持ID分配与轨迹预测 -- 深度相机数据融合,实现目标距离估计与速度计算 -- 实时可视化检测结果,包括边界框、置信度、跟踪ID、距离和速度信息 +## 功能特点 + +- 基于CARLA仿真环境的实时目标检测与跟踪 +- 使用YOLOv5系列模型进行高精度目标检测 +- 改进版SORT跟踪算法,结合深度信息优化跟踪效果 +- 动态调整的卡尔曼滤波器,适应不同距离的目标 +- 基于深度信息的距离估算与速度计算 +- 可视化标注,显示目标类别、ID、距离和速度信息 + +## 依赖环境 + +- Python 3.8+ +- CARLA Simulator 0.9.10+ +- 必要的Python库: + - carla + - opencv-python + - numpy + - torch + - ultralytics + - scipy ## 安装步骤 -### 操作步骤: -1. 下载并安装CARLA仿真器: -```plaintext -https://github.com/carla-simulator/carla/releases -``` -选择适合操作系统的版本,解压至任意路径(如D:\CARLA) +1. 安装CARLA模拟器,请参考[官方文档](https://carla.readthedocs.io/en/latest/start_quickstart/) -2. 克隆或下载本项目代码: +2. 安装所需Python库: ```bash -git clone <项目仓库地址> -cd CARLA_YOLO_ObjectTracking +pip install carla opencv-python numpy torch ultralytics scipy ``` -3. 安装Python依赖库: -```bash -# 安装PyTorch(支持CUDA加速) -pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu113 +3. 下载YOLOv5模型文件,并在`load_detection_model`函数中更新模型路径 -# 安装YOLOv5依赖 -pip install ultralytics +## 主要组件说明 -# 安装其他依赖 -pip install numpy opencv-python scipy carla +### 1. 优化版SORT跟踪器 -# 若使用CPU版本PyTorch -pip install torch torchvision -``` +- `KalmanFilter`:卡尔曼滤波器,用于预测目标位置,根据目标距离动态调整过程噪声 +- `Track`:单个目标的跟踪信息,包括边界框、中心点、距离、速度等 +- `Sort`:多目标跟踪器,使用匈牙利算法进行数据关联,结合深度信息优化IOU阈值 + +### 2. YOLOv5检测模型 + +- `load_detection_model`:加载YOLOv5模型,支持多种模型类型,自动选择可用设备(CPU/GPU) + +### 3. 工具函数 -4. 安装CARLA Python API: +- `draw_bounding_boxes`:在图像上绘制边界框及相关信息 +- `preprocess_depth_image`:预处理深度图像,提高距离估算精度 +- `get_target_distance`:根据深度图像和边界框计算目标距离 + +### 4. CARLA相关函数 + +- `setup_carla_client`:设置CARLA客户端和世界环境 +- `spawn_ego_vehicle`:生成主车辆 +- `spawn_npcs`:生成NPC车辆 + +## 使用方法 + +1. 启动CARLA服务器: ```bash -# 进入CARLA安装目录下的PythonAPI路径 -cd D:\CARLA\PythonAPI\carla\dist -# 安装对应版本的egg文件(需与Python版本匹配) -easy_install carla-<版本号>-py3.7-<平台>.egg +./CarlaUE4.sh # Linux +CarlaUE4.exe # Windows ``` -5. 下载YOLOv5预训练模型: -将模型文件(yolov5s.pt/yolov5su.pt/yolov5m.pt/yolov5mu.pt/yolov5x.pt)放置在指定路径(默认路径为`D:\yolo\`,可在代码`load_detection_model`函数中修改) - -## 使用说明 -### 基本运行 +2. 运行主程序: ```bash python main.py ``` -### 可选参数 -```bash -# 选择检测模型 -python main.py --model yolov5mu +## 自定义配置 -# 调整置信度阈值 -python main.py --conf-thres 0.2 +- 可以在`load_detection_model`函数中切换不同的YOLOv5模型 +- 在`Sort`类初始化时调整跟踪参数(max_age, min_hits, iou_threshold) +- 在`KalmanFilter`中调整滤波器参数 +- 在`draw_bounding_boxes`中修改可视化样式 -# 调整NPC车辆数量 -python main.py --npc-count 50 +## 注意事项 -<<<<<<< HEAD -# 禁用深度相机 -python main.py --use-depth False -``` +- 确保CARLA服务器在运行程序前已启动 +- 首次运行可能需要下载YOLOv5模型权重 +- 调整CARLA的画质设置可能会影响性能和检测效果 +- 深度信息的准确性对跟踪效果有较大影响 + +## 性能优化 + +- 对于GPU用户,程序会自动使用半精度计算加速 +- 深度图像预处理使用了轻量级高斯模糊,平衡精度和速度 +- 跟踪器中使用了`__slots__`减少内存占用 -### 交互控制 -- 按 `q` 键:退出程序 -- 按 `r` 键:重新生成NPC车辆 - -## 核心算法说明 -### 1. 优化版SORT跟踪算法 -- 基于卡尔曼滤波器的运动预测,考虑目标距离动态调整过程噪声 -- 结合匈牙利算法实现检测框与跟踪轨迹的最优匹配 -- 引入深度信息加权的IOU计算,提升远距离目标跟踪稳定性 -- 动态IOU阈值调整,根据目标距离自适应匹配严格程度 - -### 2. 目标距离与速度估计 -- 利用深度相机数据计算目标距离 -- 通过距离变化率估算目标相对速度 -- 距离历史平滑处理,降低测量噪声影响 - -### 3. NPC生成策略 -- 优先在主车辆周围10-50米范围内生成NPC -- 避免NPC车辆过度拥挤(最小间距8米) -- 分阶段生成策略,确保目标数量充足 -- 交通管理器参数优化,实现更真实的车辆行为 - -## 可视化说明 -可视化窗口将显示以下信息: -- 目标边界框(颜色随距离变化:红色<15m,黄色15-30m,绿色30-50m) -- 目标类别、置信度、跟踪ID -- 目标距离(单位:米)和相对速度(单位:米/秒) -- 实时FPS、帧数、跟踪数量等统计信息 - -2. 目标跟踪: -- 采用优化版SORT跟踪算法,核心改进包括: - - 卡尔曼滤波器参数优化,基于目标距离动态调整过程噪声,适配车辆运动特性 - - 引入历史位置平滑处理,远距离目标采用更高平滑权重,减少跟踪抖动 - - 基于目标距离动态调整IOU匹配阈值,增强不同距离目标的跟踪稳定性 - - 基于距离的尺寸过滤策略,适应透视变换影响 - - 对远距离目标延长保留时间,减少频繁消失与重现 -- 跟踪核心参数:max_age(最大消失帧数,默认8)、min_hits(最小命中数,默认3)、iou_threshold(基础IOU匹配阈值,默认0.4) -- 跟踪结果包含持续的目标ID、距离信息和速度估计,支持目标短暂消失后重新出现的ID匹配 - -3. CARLA交互: -- 自动清理仿真环境中的残留车辆和静态车辆,保证场景纯净 -- 主车辆开启自动驾驶模式,相机优化挂载于主车辆前方(x=1.8m,z=1.6m,俯角-5°),更适合前方车辆检测 -- 自动生成NPC车辆并开启自动驾驶,构建动态交通场景(数量可通过--npc-count配置,默认15辆) -- 主车辆生成优化:优先选择交通密度高的位置生成,提升场景真实性 -- spectator视角自动跟随主车辆(后上方8m,z=10m,俯角-35°),方便观察全局场景 -- 同步模式运行,固定帧率0.05s/帧(20FPS),保证检测稳定性 -- 深度相机与RGB相机精确同步,提供目标距离信息用于优化跟踪 - -## 项目结构 -- main.py:主程序脚本,包含以下核心组件: - - KalmanFilter:卡尔曼滤波器实现,用于目标运动状态预测与更新,支持基于距离的参数动态调整 - - Track:跟踪目标实体类,维护单目标的边界框、ID、生命周期、历史位置、距离及速度等信息 - - Sort:SORT跟踪器核心实现,处理多目标匹配与跟踪状态管理,集成深度信息优化 - - 工具函数:包含边界框绘制(支持类别差异化颜色)、相机投影矩阵构建、CARLA环境清理等功能 - - CARLA交互模块:负责服务器连接、车辆生成(含智能选址)、相机配置及同步控制 - - 检测与跟踪主逻辑:集成YOLOv5检测与SORT跟踪,实现端到端流程 -- YOLOv5预训练模型(yolov5s.pt/yolov5m.pt/yolov5x.pt):需放置在指定路径 - - -## 常见问题 -### CARLA连接失败: -- 确保CARLA仿真器已启动,且端口与脚本参数一致(默认2000) -- 检查CARLA版本与Python API版本是否匹配 -- 关闭防火墙或添加端口例外规则 - -### 模型加载错误: -- 确认模型文件已下载并放在正确路径(默认`D:\yolo\`) -- 检查模型文件名与代码中`model_paths`字典配置一致 -- 网络问题导致模型自动下载失败时,可手动下载并放置到指定路径 - -### 可视化窗口无响应: -- 确保OpenCV版本兼容(推荐4.5.x系列) -- 检查是否存在未处理的异常导致主循环中断 -- 尝试重新启动CARLA仿真器和程序 - -## 参考文档 -- [CARLA官方文档](https://carla.readthedocs.io/) -- [YOLOv5官方文档](https://docs.ultralytics.com/yolov5/) -- [SORT跟踪算法论文](https://arxiv.org/abs/1602.00763) \ No newline at end of file +通过调整模型类型和参数,可以在检测精度和运行速度之间取得平衡,适应不同的硬件配置。 \ No newline at end of file