Skip to content
Merged
Changes from all commits
Commits
Show all changes
59 commits
Select commit Hold shift + click to select a range
6bc5626
feat: 新增README文档和main.py主程序,完善项目结构
YDY027 Nov 23, 2025
6c586a1
实现主车辆沿道路行驶、生成NPC车辆互动及相机图像显示功能
YDY027 Dec 16, 2025
269b165
同步核心功能:1. 新增carla_tracking目录(含主车辆行驶+NPC互动+相机显示代码) 2. 旧carla tracking目…
YDY027 Dec 17, 2025
a856c14
修复:将carla_tracking从子模块转为普通目录,显示完整文件
YDY027 Dec 17, 2025
4a458bd
降低置信度阈值,保留低置信度的小目标检测结果
YDY027 Dec 17, 2025
8dd1f28
仅保留:补充carla_tracking文档和功能代码
YDY027 Dec 18, 2025
ab5ec55
刷新PR:清理button_control_vehicle和.gitignore的残留变更
YDY027 Dec 18, 2025
781feed
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 18, 2025
cc379d6
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 18, 2025
2b7050a
添加本地未追踪的车辆控制相关文件
YDY027 Dec 18, 2025
9cff10e
解决add/add冲突:保留远程版本的新增文件,合并远程main分支
YDY027 Dec 18, 2025
9bc6f93
恢复误修改的代码
YDY027 Dec 18, 2025
a859c8d
恢复被误删的gitignore
YDY027 Dec 18, 2025
665d5a2
解决.gitignore冲突
YDY027 Dec 18, 2025
3b67d5c
update
YDY027 Dec 18, 2025
7a27cb2
上传requirements文件
YDY027 Dec 19, 2025
49d21f3
update
YDY027 Dec 19, 2025
cdb3174
解决src/2d-carla-tracking目录冲突:同步远程版本,保留src/carla_tracking/main.py本地修改
YDY027 Dec 19, 2025
9c7ef83
解决src/2d-carla-tracking冲突,保留carla_tracking/main.py修改
YDY027 Dec 19, 2025
687e2a9
update
YDY027 Dec 19, 2025
7951f60
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
8ea53d1
update
YDY027 Dec 19, 2025
83690ae
Update .gitignore
YDY027 Dec 19, 2025
9556632
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
37dca6e
配置参数集中管理,修改语法错误问题
YDY027 Dec 19, 2025
fb9816c
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
6603d65
新增了深度相机模块,并优化了跟踪器对距离信息的利用
YDY027 Dec 19, 2025
fd7093b
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
61c6197
新增了深度相机模块,并优化了跟踪器对距离信息的利用
YDY027 Dec 19, 2025
f62cf14
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
f0d312c
更新readme.md文件和requirements文件
YDY027 Dec 19, 2025
310af95
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
d928158
优化了NPC生成、检测参数和用户体验,有效解决有时运行程序主车辆视角没有小车的问题
YDY027 Dec 19, 2025
5393210
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 20, 2025
b5db66a
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 20, 2025
357e6ab
修复了NPC生成逻辑,恢复了原版的深度相机回调和视角跟随系统,确保车辆能在窗口中正常显示和检测
YDY027 Dec 20, 2025
1568f75
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 21, 2025
0f4dd61
更新README文档和requirements依赖配置
YDY027 Dec 21, 2025
46fe34b
合并远程代码:解决README和requirements的冲突
YDY027 Dec 21, 2025
455310c
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 21, 2025
184896d
增加代码运行后的等待时间:NPC生成后等待10帧使其稳定
YDY027 Dec 21, 2025
247f213
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 21, 2025
74a46a3
更新readme文件
YDY027 Dec 21, 2025
24fad09
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 21, 2025
b4eae96
修复了NPC生成函数
YDY027 Dec 21, 2025
a3fa85f
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 21, 2025
c9aad51
更新readme文件
YDY027 Dec 21, 2025
c5a0fcc
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 21, 2025
37e40a2
在图像左上角添加了性能监控面板,实时显示FPS和各处理阶段的耗时统计,同时调整了信息显示位置避免重叠
YDY027 Dec 21, 2025
6259cab
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 22, 2025
435a20a
更新readme文件
YDY027 Dec 22, 2025
7e16be4
优化了车辆运动控制系统,修复了CARLA API兼容性问题,增强了错误处理
YDY027 Dec 22, 2025
6435db9
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 22, 2025
98caa99
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 22, 2025
93d247c
更新readme文件
YDY027 Dec 22, 2025
28615bd
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 23, 2025
e761116
重构卡尔曼滤波器和SORT跟踪算法以提升性能
YDY027 Dec 23, 2025
cb9aaa0
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 24, 2025
edff651
更新readme文件
YDY027 Dec 24, 2025
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
154 changes: 81 additions & 73 deletions src/carla_tracking/README.md
Original file line number Diff line number Diff line change
@@ -1,109 +1,117 @@
# CARLA 目标检测与跟踪系统
# Carla 目标跟踪与自动驾驶系统

这是一个基于CARLA模拟器的车辆目标检测与跟踪系统,集成了YOLOv5目标检测模型和优化版SORT跟踪算法,能够实时检测和跟踪道路上的车辆,并实现基本的自动驾驶控制功能。
这是一个基于CARLA模拟器的目标跟踪与自动驾驶系统,集成了YOLOv5目标检测和优化的SORT跟踪算法,能够实现车辆检测、跟踪、距离估计和基本的自动驾驶控制功能。

## 功能特点

- 基于YOLOv5模型的实时目标检测
- 优化版SORT跟踪算法,支持多目标持续跟踪
- 深度相机数据融合,提升远距离目标跟踪效果
- 车辆自动控制,包括速度调节和障碍物避障
- NPC车辆管理,可生成多个自动驾驶的NPC车辆
- 实时性能监控面板,展示系统各模块运行效率
- 实时目标检测(使用YOLOv5模型)
- 多目标跟踪(优化的SORT算法)
- 深度感知与距离估计
- 主车辆自动驾驶控制
- NPC车辆生成与管理
- 可配置的系统参数

## 环境要求
## 依赖环境

- Python 3.8+
- CARLA Simulator 0.9.13+
- 依赖库:
- 所需Python库:
- carla
- opencv-python
- numpy
- torch
- ultralytics
- scipy
- argparse

## 安装步骤
## 安装指南

1. 安装CARLA模拟器:参考[官方文档](https://carla.readthedocs.io/en/latest/start_quickstart/)
1. 安装CARLA模拟器,请参考官方文档:[CARLA Installation Guide](https://carla.readthedocs.io/en/latest/start_quickstart/)

2. 安装依赖包:
2. 安装Python依赖:
```bash
pip install carla opencv-python numpy torch ultralytics scipy
pip install carla opencv-python numpy torch ultralytics scipy argparse
```

3. 下载YOLOv5模型文件并放置在指定路径(默认路径:`D:\yolo\`)
3. 下载YOLOv5模型文件并放置在指定目录(默认为`D:\yolo\`),支持的模型包括:
- yolov5s.pt
- yolov5su.pt
- yolov5m.pt
- yolov5mu.pt
- yolov5x.pt

## 配置说明

系统使用配置管理器进行参数设置,支持默认配置和自定义配置文件(JSON格式)。主要配置项包括:

- CARLA连接参数(主机、端口、超时时间等)
- 检测模型参数(置信度阈值、IOU阈值、模型类型等)
- 跟踪算法参数(最大年龄、最小命中数、IOU阈值等)
- 车辆控制参数(最大速度、目标速度、安全距离等)
- NPC车辆参数(数量、最小距离等)
- 相机参数(宽度、高度、FOV等)

可以通过修改配置文件或在代码中调整`ConfigManager`类的默认配置来定制系统行为。

## 主要组件说明

### 1. 配置管理器 (`ConfigManager`)

负责加载、更新和保存系统配置,支持递归合并默认配置和用户自定义配置。

### 2. 优化的卡尔曼滤波器 (`OptimizedKalmanFilter`)

用于预测目标的运动状态,支持带加速度模型和不带加速度模型两种模式,提高跟踪稳定性。

### 3. 跟踪目标类 (`OptimizedTrack`)

维护单个跟踪目标的状态信息,包括边界框、中心点、速度、距离等,并提供相似度计算方法。

### 4. 优化的SORT跟踪器 (`OptimizedSORT`)

实现多目标跟踪功能,使用匈牙利算法进行检测与跟踪目标的匹配,支持自适应阈值和深度感知。

### 5. YOLOv5检测模型 (`load_detection_model`)

加载YOLOv5目标检测模型,支持多种模型类型,并进行模型预热以提高推理速度。

### 6. 车辆控制器 (`VehicleController`)

实现主车辆的自动驾驶控制,使用PID控制器调节速度,并根据检测到的障碍物进行制动决策。

### 7. NPC管理器 (`NPCManager`)

负责生成和管理NPC车辆,设置自动驾驶行为,并支持动态调整NPC的行驶参数。

### 8. 工具函数

提供深度图像预处理、目标距离计算、边界框绘制等辅助功能。

## 使用方法

1. 启动CARLA服务器:
1. 启动CARLA模拟器:
```bash
./CarlaUE4.sh # Linux
CarlaUE4.exe # Windows
```

2. 运行主程序:
```bash
python main.py [参数选项]
python main.py [--config config.json]
```

## 主要参数选项

| 参数 | 说明 | 默认值 |
|------|------|--------|
| --model | 选择YOLOv5模型 | yolov5m |
| --host | CARLA服务器地址 | localhost |
| --port | CARLA服务器端口 | 2000 |
| --conf-thres | 检测置信度阈值 | 0.15 |
| --iou-thres | IOU阈值 | 0.4 |
| --use-depth | 使用深度相机数据 | True |
| --show-depth | 显示深度图像 | False |
| --npc-count | NPC车辆数量 | 20 |
| --enable-physics | 启用物理模拟 | True |
| --target-speed | 目标速度(km/h) | 30.0 |
| --manual-control | 手动控制模式 | False |

## 系统模块说明

1. **目标检测模块**:使用YOLOv5模型检测图像中的车辆目标

2. **目标跟踪模块**:基于优化版SORT算法,包含:
- 卡尔曼滤波器预测目标运动轨迹
- 匈牙利算法进行目标匹配
- 动态IOU阈值调整,适应不同距离目标

3. **车辆控制模块**:
- 基于PID的速度控制
- 障碍物检测与避障
- 支持手动控制和自动驾驶模式

4. **NPC管理模块**:
- 生成指定数量的NPC车辆
- 控制NPC车辆自动驾驶
- 动态调整NPC行为

5. **传感器模块**:
- RGB相机获取环境图像
- 深度相机获取距离信息
- 数据预处理与优化

## 性能优化

- 使用半精度浮点数加速模型推理(CUDA设备)
- 图像和深度数据的内存优化处理
- 跟踪算法的计算效率优化
- 多线程数据处理与缓冲队列
其中`--config`参数可选,用于指定自定义配置文件。

## 注意事项
## 扩展与定制

- 确保CARLA服务器在运行程序前已启动
- 首次运行会下载YOLOv5模型,可能需要较长时间
- 高分辨率和大量NPC会增加系统负载,可能需要调整参数以获得流畅体验
- 深度相机数据处理对性能影响较大,可通过`--use-depth`参数关闭
- 可以通过修改`VehicleController`类来实现更复杂的自动驾驶逻辑
- 支持更换不同的YOLOv5模型以平衡检测精度和速度
- 可调整跟踪算法参数以适应不同的场景需求
- 可扩展支持更多类型的传感器数据处理

## 界面说明
## 注意事项

- 主窗口显示摄像头实时画面,包含目标检测框和跟踪信息
- 左上角性能监控面板显示各模块运行时间和FPS
- 目标框颜色随距离变化:近距离(红色)、中距离(黄色)、远距离(绿色)
- 每个目标框显示类别、置信度、跟踪ID、距离和速度信息
- 确保CARLA模拟器与Python API版本匹配
- 首次运行时需要下载YOLOv5模型文件
- 使用GPU可以显著提高检测和跟踪性能
- 调整配置参数时需注意各参数间的兼容性
Loading