Skip to content
Merged
Changes from all commits
Commits
Show all changes
51 commits
Select commit Hold shift + click to select a range
6bc5626
feat: 新增README文档和main.py主程序,完善项目结构
YDY027 Nov 23, 2025
6c586a1
实现主车辆沿道路行驶、生成NPC车辆互动及相机图像显示功能
YDY027 Dec 16, 2025
269b165
同步核心功能:1. 新增carla_tracking目录(含主车辆行驶+NPC互动+相机显示代码) 2. 旧carla tracking目…
YDY027 Dec 17, 2025
a856c14
修复:将carla_tracking从子模块转为普通目录,显示完整文件
YDY027 Dec 17, 2025
4a458bd
降低置信度阈值,保留低置信度的小目标检测结果
YDY027 Dec 17, 2025
8dd1f28
仅保留:补充carla_tracking文档和功能代码
YDY027 Dec 18, 2025
ab5ec55
刷新PR:清理button_control_vehicle和.gitignore的残留变更
YDY027 Dec 18, 2025
781feed
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 18, 2025
cc379d6
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 18, 2025
2b7050a
添加本地未追踪的车辆控制相关文件
YDY027 Dec 18, 2025
9cff10e
解决add/add冲突:保留远程版本的新增文件,合并远程main分支
YDY027 Dec 18, 2025
9bc6f93
恢复误修改的代码
YDY027 Dec 18, 2025
a859c8d
恢复被误删的gitignore
YDY027 Dec 18, 2025
665d5a2
解决.gitignore冲突
YDY027 Dec 18, 2025
3b67d5c
update
YDY027 Dec 18, 2025
7a27cb2
上传requirements文件
YDY027 Dec 19, 2025
49d21f3
update
YDY027 Dec 19, 2025
cdb3174
解决src/2d-carla-tracking目录冲突:同步远程版本,保留src/carla_tracking/main.py本地修改
YDY027 Dec 19, 2025
9c7ef83
解决src/2d-carla-tracking冲突,保留carla_tracking/main.py修改
YDY027 Dec 19, 2025
687e2a9
update
YDY027 Dec 19, 2025
7951f60
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
8ea53d1
update
YDY027 Dec 19, 2025
83690ae
Update .gitignore
YDY027 Dec 19, 2025
9556632
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
37dca6e
配置参数集中管理,修改语法错误问题
YDY027 Dec 19, 2025
fb9816c
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
6603d65
新增了深度相机模块,并优化了跟踪器对距离信息的利用
YDY027 Dec 19, 2025
fd7093b
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
61c6197
新增了深度相机模块,并优化了跟踪器对距离信息的利用
YDY027 Dec 19, 2025
f62cf14
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
f0d312c
更新readme.md文件和requirements文件
YDY027 Dec 19, 2025
310af95
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 19, 2025
d928158
优化了NPC生成、检测参数和用户体验,有效解决有时运行程序主车辆视角没有小车的问题
YDY027 Dec 19, 2025
5393210
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 20, 2025
b5db66a
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 20, 2025
357e6ab
修复了NPC生成逻辑,恢复了原版的深度相机回调和视角跟随系统,确保车辆能在窗口中正常显示和检测
YDY027 Dec 20, 2025
1568f75
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 21, 2025
0f4dd61
更新README文档和requirements依赖配置
YDY027 Dec 21, 2025
46fe34b
合并远程代码:解决README和requirements的冲突
YDY027 Dec 21, 2025
455310c
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 21, 2025
184896d
增加代码运行后的等待时间:NPC生成后等待10帧使其稳定
YDY027 Dec 21, 2025
247f213
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 21, 2025
74a46a3
更新readme文件
YDY027 Dec 21, 2025
24fad09
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 21, 2025
b4eae96
修复了NPC生成函数
YDY027 Dec 21, 2025
a3fa85f
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 21, 2025
c9aad51
更新readme文件
YDY027 Dec 21, 2025
c5a0fcc
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 21, 2025
37e40a2
在图像左上角添加了性能监控面板,实时显示FPS和各处理阶段的耗时统计,同时调整了信息显示位置避免重叠
YDY027 Dec 21, 2025
6259cab
Merge branch 'OpenHUTB:main' into main
YDY027 Dec 22, 2025
435a20a
更新readme文件
YDY027 Dec 22, 2025
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
178 changes: 89 additions & 89 deletions src/carla_tracking/README.md
Original file line number Diff line number Diff line change
@@ -1,99 +1,99 @@
# CARLA 目标检测与跟踪系统
# CARLA目标检测与跟踪系统

这是一个基于CARLA仿真环境的目标检测与跟踪系统,使用YOLOv5作为检测模型,结合改进的SORT算法实现多目标跟踪,并利用深度信息提升跟踪性能。

## 功能特点

- 基于CARLA仿真环境的实时目标检测与跟踪
- 使用YOLOv5系列模型(yolov5s、yolov5su、yolov5m、yolov5mu、yolov5x)进行目标检测
- 改进版SORT跟踪算法,结合深度信息优化跟踪效果
- 动态调整的卡尔曼滤波器,根据目标距离自适应调整参数
- 基于深度图像的目标距离估算(支持中位数和加权平均两种计算方式)
- 实时计算目标速度信息
- 可视化标注,显示目标边界框、ID、距离和速度信息
- 支持NPC车辆自动生成与交通管理

## 依赖环境

- Python 3.8+
- CARLA Simulator 0.9.10+
- 必要的Python库:
- carla
- opencv-python
- numpy
- torch
- ultralytics
- scipy
- argparse
- queue

## 主要组件说明

### 1. 目标检测模块
- `load_detection_model`:加载YOLOv5检测模型,自动选择设备(GPU/CPU),支持半精度计算加速
- 支持模型自动 fallback 机制,当指定模型不存在时自动选择可用模型

### 2. 跟踪模块
- `Sort`类:改进版SORT跟踪器,结合深度信息优化跟踪效果
- 动态IOU阈值:根据目标距离调整匹配阈值
- 距离加权匹配:近距离目标权重更高
- 基于距离的跟踪生命周期管理
- `KalmanFilter`类:卡尔曼滤波器,用于目标运动预测
- 根据目标距离动态调整过程噪声协方差Q
- 支持位置和速度状态估计

### 3. 深度信息处理
- `get_target_distance`:从深度图像中计算目标距离
- 支持中位数和加权平均两种距离计算方式
- 基于目标区域的有效深度提取

### 4. CARLA相关函数
- `setup_carla_client`:设置CARLA客户端和世界环境,配置同步模式
- `spawn_ego_vehicle`:生成主车辆,优先选择林肯MKZ,失败时自动 fallback 到其他车型
- `spawn_npcs`:生成NPC车辆,确保在主车辆周围合理范围内生成
- 交通管理器配置:设置NPC车辆的自动驾驶行为参数

## 运行说明

### 基本命令
- 连接CARLA仿真环境,生成主车辆和NPC车辆
- 使用YOLOv5模型进行实时目标检测
- 基于改进的SORT算法实现多目标跟踪,结合卡尔曼滤波预测
- 利用深度相机数据计算目标距离和速度
- 实时性能监控与可视化
- 支持多种YOLOv5模型选择,可根据硬件性能调整

## 安装依赖

```bash
python main.py --model yolov5mu --tracker sort --npc-count 30
# 基础依赖
pip install numpy opencv-python torch torchvision
pip install carla # 请根据CARLA版本安装对应版本
pip install scipy argparse
```

### 主要参数
- `--model`:选择YOLOv5模型(yolov5s、yolov5su、yolov5m、yolov5mu、yolov5x)
- `--tracker`:选择跟踪器(当前仅支持sort)
- `--host`:CARLA服务器地址(默认localhost)
- `--port`:CARLA服务器端口(默认2000)
- `--conf-thres`:检测置信度阈值(默认0.15)
- `--iou-thres`:IOU阈值(默认0.4)
- `--use-depth`:使用深度信息(默认True)
- `--show-depth`:显示深度图像(默认False)
- `--npc-count`:NPC车辆数量(默认30)

### 操作说明
- 按 'q' 键:退出程序
- 按 'r' 键:重新生成NPC车辆

## 自定义配置

- 在`load_detection_model`函数中修改模型路径或添加新模型
- 在`Sort`类初始化时调整跟踪参数(max_age, min_hits, iou_threshold)
- 在`KalmanFilter`中调整滤波器参数(Q_base, R, dist_thresholds)
- 在`spawn_npcs`函数中调整NPC生成范围和密度
- 在主循环中调整性能监控参数和显示信息

## 性能优化

- 对于GPU用户,自动使用半精度计算加速
- 深度图像预处理优化,平衡精度和速度
- 跟踪算法中使用距离信息动态调整参数,提高跟踪效率
- 性能监控功能,自动识别瓶颈并提供优化建议
- 通过调整模型类型和参数,可以在检测精度和运行速度之间取得平衡
## 使用方法

```bash
python main.py [参数选项]
```

### 参数说明

| 参数 | 说明 | 可选值 | 默认值 |
|------|------|--------|--------|
| --model | 选择YOLOv5模型 | yolov5s, yolov5su, yolov5m, yolov5mu, yolov5x | yolov5mu |
| --tracker | 选择跟踪算法 | sort | sort |
| --host | CARLA服务器地址 | - | localhost |
| --port | CARLA服务器端口 | - | 2000 |
| --conf-thres | 检测置信度阈值 | 0-1 | 0.15 |
| --iou-thres | IOU阈值 | 0-1 | 0.4 |
| --use-depth | 是否使用深度相机 | - | True |
| --show-depth | 是否显示深度图像 | - | False |
| --npc-count | NPC车辆数量 | - | 30 |

## 系统架构

1. **CARLA环境交互模块**:负责连接CARLA服务器,生成车辆和传感器
2. **传感器数据获取模块**:获取RGB图像和深度图像数据
3. **目标检测模块**:使用YOLOv5模型检测图像中的车辆目标
4. **目标跟踪模块**:基于改进的SORT算法,结合卡尔曼滤波实现多目标跟踪
5. **可视化模块**:实时显示检测和跟踪结果,以及性能监控信息

## 核心算法说明

### 卡尔曼滤波器

实现了一个针对目标跟踪优化的卡尔曼滤波器,根据目标距离动态调整过程噪声协方差矩阵Q:
- 远距离目标(>50m):增大Q值,允许更大的预测误差
- 中距离目标(30-50m):中等Q值
- 近距离目标(<30m):减小Q值,提高跟踪稳定性

### 改进的SORT跟踪算法

在标准SORT算法基础上进行了以下改进:
- 结合深度信息动态调整IOU阈值
- 对不同距离的目标使用不同的尺寸过滤条件
- 对远距离目标延长跟踪保留时间
- 使用加权平滑处理目标中心位置,提高跟踪稳定性
- 基于距离变化计算目标速度

## 操作说明

- 运行程序后,系统会自动连接CARLA并生成仿真环境
- 按 'q' 键退出程序
- 按 'r' 键重新生成NPC车辆

## 性能监控

程序每50帧会输出一次性能统计,包括:
系统提供实时性能监控面板,显示各阶段耗时:
- CARLA同步时间
- 图像和深度获取时间
- 目标检测和跟踪时间
- 结果绘制和显示时间
- 自动识别性能瓶颈并提供优化建议
- 图像获取时间
- 深度图像处理时间
- 目标检测时间
- 目标跟踪时间
- 结果绘制时间
- 显示输出时间

每50帧会打印一次性能统计信息,并自动识别性能瓶颈并给出优化建议。

## 优化建议

- 若检测耗时过长,可尝试使用更小的模型(如yolov5s)或降低检测分辨率
- 若跟踪耗时过长,可减少NPC车辆数量
- 若CARLA同步耗时过长,可降低仿真频率或减少场景复杂度
- 对于远距离目标检测,可调整检测阈值以提高检测率

## 注意事项

- 确保CARLA服务器已启动并正常运行
- 根据硬件性能选择合适的模型,高性能GPU推荐使用yolov5x,CPU或低性能GPU推荐使用yolov5s
- 深度相机数据处理可能会增加系统负载,若性能不足可关闭(--use-depth=False)
Loading