Skip to content
Merged
Changes from all commits
Commits
Show all changes
43 commits
Select commit Hold shift + click to select a range
6bc5626
feat: 新增README文档和main.py主程序,完善项目结构
YDY027 Nov 23, 2025
6c586a1
实现主车辆沿道路行驶、生成NPC车辆互动及相机图像显示功能
YDY027 Dec 16, 2025
269b165
同步核心功能:1. 新增carla_tracking目录(含主车辆行驶+NPC互动+相机显示代码) 2. 旧carla tracking目…
YDY027 Dec 17, 2025
a856c14
修复:将carla_tracking从子模块转为普通目录,显示完整文件
YDY027 Dec 17, 2025
4a458bd
降低置信度阈值,保留低置信度的小目标检测结果
YDY027 Dec 17, 2025
8dd1f28
仅保留:补充carla_tracking文档和功能代码
YDY027 Dec 18, 2025
ab5ec55
刷新PR:清理button_control_vehicle和.gitignore的残留变更
YDY027 Dec 18, 2025
781feed
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 18, 2025
cc379d6
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 18, 2025
2b7050a
添加本地未追踪的车辆控制相关文件
YDY027 Dec 18, 2025
9cff10e
解决add/add冲突:保留远程版本的新增文件,合并远程main分支
YDY027 Dec 18, 2025
9bc6f93
恢复误修改的代码
YDY027 Dec 18, 2025
a859c8d
恢复被误删的gitignore
YDY027 Dec 18, 2025
665d5a2
解决.gitignore冲突
YDY027 Dec 18, 2025
3b67d5c
update
YDY027 Dec 18, 2025
7a27cb2
上传requirements文件
YDY027 Dec 19, 2025
49d21f3
update
YDY027 Dec 19, 2025
cdb3174
解决src/2d-carla-tracking目录冲突:同步远程版本,保留src/carla_tracking/main.py本地修改
YDY027 Dec 19, 2025
9c7ef83
解决src/2d-carla-tracking冲突,保留carla_tracking/main.py修改
YDY027 Dec 19, 2025
687e2a9
update
YDY027 Dec 19, 2025
7951f60
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
8ea53d1
update
YDY027 Dec 19, 2025
83690ae
Update .gitignore
YDY027 Dec 19, 2025
9556632
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
37dca6e
配置参数集中管理,修改语法错误问题
YDY027 Dec 19, 2025
fb9816c
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
6603d65
新增了深度相机模块,并优化了跟踪器对距离信息的利用
YDY027 Dec 19, 2025
fd7093b
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
61c6197
新增了深度相机模块,并优化了跟踪器对距离信息的利用
YDY027 Dec 19, 2025
f62cf14
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
f0d312c
更新readme.md文件和requirements文件
YDY027 Dec 19, 2025
310af95
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
d928158
优化了NPC生成、检测参数和用户体验,有效解决有时运行程序主车辆视角没有小车的问题
YDY027 Dec 19, 2025
5393210
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 20, 2025
b5db66a
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 20, 2025
357e6ab
修复了NPC生成逻辑,恢复了原版的深度相机回调和视角跟随系统,确保车辆能在窗口中正常显示和检测
YDY027 Dec 20, 2025
1568f75
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 21, 2025
0f4dd61
更新README文档和requirements依赖配置
YDY027 Dec 21, 2025
46fe34b
合并远程代码:解决README和requirements的冲突
YDY027 Dec 21, 2025
455310c
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 21, 2025
184896d
增加代码运行后的等待时间:NPC生成后等待10帧使其稳定
YDY027 Dec 21, 2025
247f213
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 21, 2025
74a46a3
更新readme文件
YDY027 Dec 21, 2025
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
200 changes: 70 additions & 130 deletions src/carla_tracking/README.md
Original file line number Diff line number Diff line change
@@ -1,154 +1,94 @@
# CARLA_YOLO_ObjectTracking
# CARLA 目标检测与跟踪系统

## 项目概述
本项目实现了基于YOLOv5算法和CARLA仿真器的自动驾驶目标检测与跟踪功能。通过CARLA仿真环境生成动态交通场景,利用YOLOv5模型实时检测车辆、摩托车、公交车、卡车等交通参与者,结合内置优化版SORT跟踪算法实现目标的连续追踪,并通过OpenCV实时可视化检测与跟踪结果。
这是一个基于CARLA仿真环境的目标检测与跟踪系统,使用YOLOv5模型进行目标检测,并结合改进的SORT算法实现多目标跟踪,同时利用深度信息增强跟踪稳定性和距离估算。

## 核心功能
- 基于CARLA仿真器构建真实交通场景
- 集成YOLOv5模型实现多类别交通目标检测
- 优化版SORT跟踪算法实现目标连续追踪,支持ID分配与轨迹预测
- 深度相机数据融合,实现目标距离估计与速度计算
- 实时可视化检测结果,包括边界框、置信度、跟踪ID、距离和速度信息
## 功能特点

- 基于CARLA仿真环境的实时目标检测与跟踪
- 使用YOLOv5系列模型进行高精度目标检测
- 改进版SORT跟踪算法,结合深度信息优化跟踪效果
- 动态调整的卡尔曼滤波器,适应不同距离的目标
- 基于深度信息的距离估算与速度计算
- 可视化标注,显示目标类别、ID、距离和速度信息

## 依赖环境

- Python 3.8+
- CARLA Simulator 0.9.10+
- 必要的Python库:
- carla
- opencv-python
- numpy
- torch
- ultralytics
- scipy

## 安装步骤
### 操作步骤:

1. 下载并安装CARLA仿真器:
```plaintext
https://github.com/carla-simulator/carla/releases
```
选择适合操作系统的版本,解压至任意路径(如D:\CARLA)
1. 安装CARLA模拟器,请参考[官方文档](https://carla.readthedocs.io/en/latest/start_quickstart/)

2. 克隆或下载本项目代码:
2. 安装所需Python库:
```bash
git clone <项目仓库地址>
cd CARLA_YOLO_ObjectTracking
pip install carla opencv-python numpy torch ultralytics scipy
```

3. 安装Python依赖库:
```bash
# 安装PyTorch(支持CUDA加速)
pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu113
3. 下载YOLOv5模型文件,并在`load_detection_model`函数中更新模型路径

# 安装YOLOv5依赖
pip install ultralytics
## 主要组件说明

# 安装其他依赖
pip install numpy opencv-python scipy carla
### 1. 优化版SORT跟踪器

# 若使用CPU版本PyTorch
pip install torch torchvision
```
- `KalmanFilter`:卡尔曼滤波器,用于预测目标位置,根据目标距离动态调整过程噪声
- `Track`:单个目标的跟踪信息,包括边界框、中心点、距离、速度等
- `Sort`:多目标跟踪器,使用匈牙利算法进行数据关联,结合深度信息优化IOU阈值

### 2. YOLOv5检测模型

- `load_detection_model`:加载YOLOv5模型,支持多种模型类型,自动选择可用设备(CPU/GPU)

### 3. 工具函数

4. 安装CARLA Python API:
- `draw_bounding_boxes`:在图像上绘制边界框及相关信息
- `preprocess_depth_image`:预处理深度图像,提高距离估算精度
- `get_target_distance`:根据深度图像和边界框计算目标距离

### 4. CARLA相关函数

- `setup_carla_client`:设置CARLA客户端和世界环境
- `spawn_ego_vehicle`:生成主车辆
- `spawn_npcs`:生成NPC车辆

## 使用方法

1. 启动CARLA服务器:
```bash
# 进入CARLA安装目录下的PythonAPI路径
cd D:\CARLA\PythonAPI\carla\dist
# 安装对应版本的egg文件(需与Python版本匹配)
easy_install carla-<版本号>-py3.7-<平台>.egg
./CarlaUE4.sh # Linux
CarlaUE4.exe # Windows
```

5. 下载YOLOv5预训练模型:
将模型文件(yolov5s.pt/yolov5su.pt/yolov5m.pt/yolov5mu.pt/yolov5x.pt)放置在指定路径(默认路径为`D:\yolo\`,可在代码`load_detection_model`函数中修改)

## 使用说明
### 基本运行
2. 运行主程序:
```bash
python main.py
```

### 可选参数
```bash
# 选择检测模型
python main.py --model yolov5mu
## 自定义配置

# 调整置信度阈值
python main.py --conf-thres 0.2
- 可以在`load_detection_model`函数中切换不同的YOLOv5模型
- 在`Sort`类初始化时调整跟踪参数(max_age, min_hits, iou_threshold)
- 在`KalmanFilter`中调整滤波器参数
- 在`draw_bounding_boxes`中修改可视化样式

# 调整NPC车辆数量
python main.py --npc-count 50
## 注意事项

<<<<<<< HEAD
# 禁用深度相机
python main.py --use-depth False
```
- 确保CARLA服务器在运行程序前已启动
- 首次运行可能需要下载YOLOv5模型权重
- 调整CARLA的画质设置可能会影响性能和检测效果
- 深度信息的准确性对跟踪效果有较大影响

## 性能优化

- 对于GPU用户,程序会自动使用半精度计算加速
- 深度图像预处理使用了轻量级高斯模糊,平衡精度和速度
- 跟踪器中使用了`__slots__`减少内存占用

### 交互控制
- 按 `q` 键:退出程序
- 按 `r` 键:重新生成NPC车辆

## 核心算法说明
### 1. 优化版SORT跟踪算法
- 基于卡尔曼滤波器的运动预测,考虑目标距离动态调整过程噪声
- 结合匈牙利算法实现检测框与跟踪轨迹的最优匹配
- 引入深度信息加权的IOU计算,提升远距离目标跟踪稳定性
- 动态IOU阈值调整,根据目标距离自适应匹配严格程度

### 2. 目标距离与速度估计
- 利用深度相机数据计算目标距离
- 通过距离变化率估算目标相对速度
- 距离历史平滑处理,降低测量噪声影响

### 3. NPC生成策略
- 优先在主车辆周围10-50米范围内生成NPC
- 避免NPC车辆过度拥挤(最小间距8米)
- 分阶段生成策略,确保目标数量充足
- 交通管理器参数优化,实现更真实的车辆行为

## 可视化说明
可视化窗口将显示以下信息:
- 目标边界框(颜色随距离变化:红色<15m,黄色15-30m,绿色30-50m)
- 目标类别、置信度、跟踪ID
- 目标距离(单位:米)和相对速度(单位:米/秒)
- 实时FPS、帧数、跟踪数量等统计信息

2. 目标跟踪:
- 采用优化版SORT跟踪算法,核心改进包括:
- 卡尔曼滤波器参数优化,基于目标距离动态调整过程噪声,适配车辆运动特性
- 引入历史位置平滑处理,远距离目标采用更高平滑权重,减少跟踪抖动
- 基于目标距离动态调整IOU匹配阈值,增强不同距离目标的跟踪稳定性
- 基于距离的尺寸过滤策略,适应透视变换影响
- 对远距离目标延长保留时间,减少频繁消失与重现
- 跟踪核心参数:max_age(最大消失帧数,默认8)、min_hits(最小命中数,默认3)、iou_threshold(基础IOU匹配阈值,默认0.4)
- 跟踪结果包含持续的目标ID、距离信息和速度估计,支持目标短暂消失后重新出现的ID匹配

3. CARLA交互:
- 自动清理仿真环境中的残留车辆和静态车辆,保证场景纯净
- 主车辆开启自动驾驶模式,相机优化挂载于主车辆前方(x=1.8m,z=1.6m,俯角-5°),更适合前方车辆检测
- 自动生成NPC车辆并开启自动驾驶,构建动态交通场景(数量可通过--npc-count配置,默认15辆)
- 主车辆生成优化:优先选择交通密度高的位置生成,提升场景真实性
- spectator视角自动跟随主车辆(后上方8m,z=10m,俯角-35°),方便观察全局场景
- 同步模式运行,固定帧率0.05s/帧(20FPS),保证检测稳定性
- 深度相机与RGB相机精确同步,提供目标距离信息用于优化跟踪

## 项目结构
- main.py:主程序脚本,包含以下核心组件:
- KalmanFilter:卡尔曼滤波器实现,用于目标运动状态预测与更新,支持基于距离的参数动态调整
- Track:跟踪目标实体类,维护单目标的边界框、ID、生命周期、历史位置、距离及速度等信息
- Sort:SORT跟踪器核心实现,处理多目标匹配与跟踪状态管理,集成深度信息优化
- 工具函数:包含边界框绘制(支持类别差异化颜色)、相机投影矩阵构建、CARLA环境清理等功能
- CARLA交互模块:负责服务器连接、车辆生成(含智能选址)、相机配置及同步控制
- 检测与跟踪主逻辑:集成YOLOv5检测与SORT跟踪,实现端到端流程
- YOLOv5预训练模型(yolov5s.pt/yolov5m.pt/yolov5x.pt):需放置在指定路径


## 常见问题
### CARLA连接失败:
- 确保CARLA仿真器已启动,且端口与脚本参数一致(默认2000)
- 检查CARLA版本与Python API版本是否匹配
- 关闭防火墙或添加端口例外规则

### 模型加载错误:
- 确认模型文件已下载并放在正确路径(默认`D:\yolo\`)
- 检查模型文件名与代码中`model_paths`字典配置一致
- 网络问题导致模型自动下载失败时,可手动下载并放置到指定路径

### 可视化窗口无响应:
- 确保OpenCV版本兼容(推荐4.5.x系列)
- 检查是否存在未处理的异常导致主循环中断
- 尝试重新启动CARLA仿真器和程序

## 参考文档
- [CARLA官方文档](https://carla.readthedocs.io/)
- [YOLOv5官方文档](https://docs.ultralytics.com/yolov5/)
- [SORT跟踪算法论文](https://arxiv.org/abs/1602.00763)
通过调整模型类型和参数,可以在检测精度和运行速度之间取得平衡,适应不同的硬件配置。
Loading