Skip to content
Closed
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
29 commits
Select commit Hold shift + click to select a range
e4b4846
性能优化
haruDT Dec 18, 2025
2a08aa6
性能优化
haruDT Dec 18, 2025
34f8b40
删除仓库根目录下的site文件夹
haruDT Dec 19, 2025
bd5eba8
新增requirements.txt文件
haruDT Dec 19, 2025
c82b068
修改README文件,新增requirements文件
haruDT Dec 19, 2025
3b507d4
修改README文件,新增requirements文件
haruDT Dec 19, 2025
6bb9e4d
Merge branch 'main' into main
haruDT Dec 19, 2025
e117740
模块重组
haruDT Dec 19, 2025
b1f4240
Merge branch 'main' of https://github.com/haruDT/nn模块重组
haruDT Dec 19, 2025
f7a8321
目标ID颜色编码
haruDT Dec 19, 2025
1d74b0a
新增实时统计面板
haruDT Dec 19, 2025
f6b0785
修复问号问题
haruDT Dec 20, 2025
80f38cf
新增实时统计面板
haruDT Dec 20, 2025
99cbf97
Merge branch 'main' into main
haruDT Dec 20, 2025
e80d7a1
新增实时统计面板
haruDT Dec 21, 2025
dae1d5a
Merge branch 'main' into main
haruDT Dec 21, 2025
7e07ea8
新增实时统计面板
haruDT Dec 21, 2025
40958b0
完成远程main分支的合并,解决代码冲突
haruDT Dec 21, 2025
20b3e8f
恢复误修改的文件
haruDT Dec 21, 2025
bb08dbe
修改相对路径
haruDT Dec 21, 2025
d935aa2
修改绝对路径
haruDT Dec 21, 2025
026b433
随机地点生成主车
haruDT Dec 21, 2025
490eb1e
随机地点生成自车
haruDT Dec 22, 2025
e2659d2
新增卫星视角跟随主车
haruDT Dec 22, 2025
18ac7ff
Merge branch 'main' into main
haruDT Dec 22, 2025
1fd8e11
使用配置文件切换视角
haruDT Dec 22, 2025
e356d6e
恢复3D点云图,L键控制
haruDT Dec 22, 2025
53b2595
更新README
haruDT Dec 22, 2025
d66277f
Merge branch 'main' into main3
haruDT Dec 22, 2025
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
123 changes: 62 additions & 61 deletions src/tracking_car/README.md
Original file line number Diff line number Diff line change
@@ -1,15 +1,16 @@
# CARLA多目标跟踪系统

一个基于CARLA仿真环境的实时多目标检测与跟踪系统,集成了YOLOv8目标检测、SORT多目标跟踪算法和行为分析功能。
一个基于CARLA仿真环境的实时多目标检测与跟踪系统,集成了YOLOv8目标检测、SORT多目标跟踪算法、3D点云可视化和行为分析功能。

## 🌟 核心特性

- **实时多目标跟踪**:集成YOLOv8检测和SORT跟踪算法
- **多传感器融合**:支持相机RGB图像和LiDAR点云数据
- **3D点云可视化**:实时显示LiDAR点云,根据高度着色(低处蓝色,高处红色)
- **行为分析**:检测车辆停车、超车、变道、刹车、危险接近等行为
- **增强可视化**:彩色ID编码 + 独立统计面板显示
- **增强可视化**:彩色ID编码 + 独立统计面板显示 + 3D点云窗口
- **多天气支持**:支持晴天、多云、雨天、雾天、夜间等天气条件
- **实时视角跟随**:CARLA界面支持卫星视角、后方视角、第一人称视角跟随
- **多视角模式**:支持卫星视角、后方视角、第一人称视角
- **性能优化**:多线程检测、GPU加速、卡尔曼滤波预测

## 📋 系统要求
Expand Down Expand Up @@ -94,8 +95,10 @@ timeout: 20.0
img_width: 640
img_height: 480
fov: 90
use_lidar: true
lidar_channels: 32
use_lidar: true # 启用LiDAR点云
lidar_channels: 32 # LiDAR通道数
lidar_range: 100.0 # LiDAR检测范围(米)
lidar_points_per_second: 500000 # LiDAR每秒点数

# 检测配置
yolo_model: "yolov8n.pt"
Expand All @@ -109,26 +112,21 @@ min_hits: 3
kf_dt: 0.05
max_speed: 50.0

# 视角配置
view:
default_mode: "satellite" # 默认视角模式: satellite, behind, first_person
satellite_height: 50.0 # 卫星视角高度(米)
behind_distance: 10.0 # 后方视角距离(米)
first_person_height: 1.6 # 第一人称视角高度(米)

# 可视化配置
window_width: 1280
window_height: 720
display_fps: 30
use_3d_visualization: true # 启用3D点云可视化
pcd_view_size: 800 # 点云窗口尺寸
```

## 🎮 使用说明

### 可视化界面
系统提供两个独立的显示窗口:
系统提供三个独立的显示窗口:
- **主窗口**:显示实时跟踪画面,包含检测框、跟踪ID和行为状态
- **统计面板**:显示系统性能、目标统计、历史趋势等详细信息
- **CARLA窗口**:实时视角跟随,支持多种视角模式
- **3D点云窗口**:显示LiDAR采集的3D点云数据(按L键开启/关闭)

### 键盘控制
| 按键 | 功能 | 说明 |
Expand All @@ -139,12 +137,8 @@ display_fps: 30
| **P** | 暂停/继续 | 暂停或恢复程序运行 |
| **T** | 显示/隐藏统计面板 | 控制统计面板的显示状态 |
| **M** | 显示/隐藏图例 | 控制彩色图例的显示状态 |
| **V** | 切换视角模式 | 循环切换卫星视角、后方视角、第一人称视角 |

#### 视角模式说明
- **卫星视角** (Satellite View):车辆正上方俯视,适合全局观察
- **后方视角** (Behind View):车辆后方跟随,类似第三视角游戏
- **第一人称视角** (First-person View):驾驶员视角,身临其境体验
| **L** | 显示/隐藏点云 | 控制3D点云窗口的显示状态 |
| **V** | 切换视角 | 循环切换卫星视角、后方视角、第一人称视角 |

### 彩色编码说明
系统使用彩色编码来区分不同状态:
Expand All @@ -164,19 +158,10 @@ display_fps: 30
- **红色**:卡车
- **青色**:其他车辆

## 🎯 新增视角功能

系统现在支持三种视角模式,使CARLA可视化界面能够实时跟随车辆:

### 视角特点
1. **实时跟随**:CARLA窗口视角会自动跟随自车移动
2. **平滑切换**:按 V 键可无缝切换不同视角
3. **高度可配置**:所有视角参数可在配置文件中调整

### 使用技巧
- **卫星视角**适合全局路径规划和场景观察
- **后方视角**适合观察车辆行驶状态
- **第一人称视角**适合体验驾驶员视角
#### 点云颜色
- **蓝色**:低处点(地面附近)
- **红色**:高处点(车辆顶部)
- **渐变**:根据高度从蓝到红渐变

## 📊 统计面板功能

Expand All @@ -185,8 +170,10 @@ display_fps: 30
### 1. 系统状态
- 实时FPS和平均FPS
- CPU和内存使用率
- GPU使用率(如果可用)
- 运行时间和总帧数
- 检测线程状态
- 点云状态(启用/禁用,显示/隐藏)

### 2. 目标统计
- 跟踪目标总数
Expand Down Expand Up @@ -225,16 +212,19 @@ display_fps: 30
- **变道检测**:横向位移超过阈值
- **刹车检测**:负加速度超过阈值
- **危险检测**:与自车距离过近
- **转弯检测**:航向角变化超过阈值

### 传感器融合
- RGB相机:提供2D图像信息
- LiDAR:提供3D点云信息
- 融合策略:优先使用视觉检测,LiDAR用于验证和距离估计
- **RGB相机**:提供2D图像信息,用于目标检测和跟踪
- **LiDAR**:提供3D点云信息,用于距离估计和物体验证
- **融合策略**:优先使用视觉检测,LiDAR用于验证和距离估计

### 视角控制
- **卫星视角**:通过CARLA spectator实现实时俯视跟随
- **后方视角**:计算车辆后方偏移位置实现跟随
- **第一人称视角**:模拟驾驶员视野实现沉浸式体验
### 3D点云处理
- **实时点云采集**:通过CARLA LiDAR传感器获取
- **地面过滤**:过滤地面点,保留有效物体点
- **DBSCAN聚类**:对点云进行聚类,识别独立物体
- **高度着色**:根据点的高度进行颜色编码(蓝→红)
- **实时更新**:每2帧更新一次点云显示,平衡性能

## 🚗 自车设置

Expand All @@ -244,6 +234,13 @@ display_fps: 30
- 自动设置自动驾驶模式
- 智能避让生成点碰撞

## 🌍 视角模式

系统支持三种视角模式(按V键切换):
- **卫星视角**:从车辆正上方俯瞰,适合全局观察
- **后方视角**:从车辆后方跟随,适合跟踪观察
- **第一人称视角**:驾驶员视角,沉浸式体验

## 🛠️ 故障排除

### 常见问题
Expand All @@ -265,42 +262,45 @@ display_fps: 30
2. 运行自动下载:python -c "from ultralytics import YOLO; YOLO('yolov8n.pt')"
```

#### Q3: 帧率过低
#### Q3: 点云窗口无法显示
```
错误信息:Open3D可视化失败
解决方法:
1. 确保已安装open3d:pip install open3d
2. 检查LiDAR是否启用(配置文件中use_lidar: true)
3. 按L键开启点云窗口
```

#### Q4: 帧率过低
```
现象:FPS低于10
解决方法:
1. 降低图像分辨率(img_width/height)
2. 禁用LiDAR(--no-lidar)
2. 禁用LiDAR(--no-lidar或配置文件中use_lidar: false)
3. 使用更小的YOLO模型(yolov8n.pt)
4. 调整display_fps参数
5. 关闭点云窗口(按L键)
```

#### Q4: 内存不足
#### Q5: 内存不足
```
错误信息:CUDA out of memory
解决方法:
1. 减小yolo_imgsz_max参数
2. 降低批次大小
3. 使用CPU模式(device: 'cpu')
```

#### Q5: CARLA界面不跟随车辆移动
```
现象:CARLA窗口视角固定不动
解决方法:
1. 确保按 V 键切换到正确的视角模式
2. 检查CARLA服务器是否正常运行
3. 尝试重新启动程序
4. 检查`sensors.py`中的`SpectatorManager`是否正确初始化
4. 减少NPC车辆数量(num_npcs)
5. 禁用点云可视化
```

### 性能优化建议
1. **GPU模式**:确保使用CUDA加速
2. **分辨率调整**:适当降低图像分辨率
2. **分辨率调整**:适当降低图像分辨率(640x480)
3. **模型选择**:使用YOLOv8n或YOLOv8s轻量模型
4. **异步处理**:启用检测线程分离
5. **LiDAR优化**:根据需要调整LiDAR参数
6. **视角优化**:如果不需要视角跟随,可以减少视角更新频率
5. **LiDAR优化**:根据需要调整LiDAR参数(channels, range)
6. **点云更新频率**:点云每2帧更新一次,避免性能影响
7. **关闭不必要的窗口**:不需要时关闭统计面板和点云窗口

## 📈 性能指标

Expand All @@ -313,7 +313,7 @@ display_fps: 30
| 跟踪准确度 | >85% MOTA |
| 内存占用 | 2-3GB |
| GPU占用 | 3-4GB |
| 视角更新延迟 | <50ms |
| 点云更新频率 | 15 FPS |

## 📝 数据记录

Expand All @@ -322,7 +322,7 @@ display_fps: 30
- 截图保存功能(按S键)
- 性能数据统计
- 跟踪结果记录
- 视角模式记录
- 点云数据可实时查看

## 🔮 未来计划

Expand All @@ -333,7 +333,7 @@ display_fps: 30
- [ ] 支持多摄像头融合
- [ ] 添加ROS2接口支持
- [ ] 实现云端数据记录和分析
- [ ] 添加更多视角模式(如无人机视角)
- [ ] 点云物体检测与跟踪融合

## 📄 许可证

Expand All @@ -343,14 +343,15 @@ display_fps: 30

- [CARLA Simulator](https://carla.org/) - 开源自动驾驶仿真平台
- [Ultralytics YOLOv8](https://github.com/ultralytics/ultralytics) - 先进的目标检测框架
- [Open3D](http://www.open3d.org/) - 3D数据处理库
- [Open3D](http://www.open3d.org/) - 3D数据处理和可视化库
- [SORT算法](https://github.com/abewley/sort) - 实时多目标跟踪算法

## 📚 参考文献

1. Bewley, A., et al. "Simple online and realtime tracking." ICIP 2016.
2. Redmon, J., et al. "YOLOv3: An Incremental Improvement." arXiv 2018.
3. Dosovitskiy, A., et al. "CARLA: An Open Urban Driving Simulator." CoRL 2017.
4. Zhou, Q., et al. "Open3D: A Modern Library for 3D Data Processing." arXiv 2018.

## 👥 贡献指南

Expand All @@ -362,4 +363,4 @@ display_fps: 30

---

**提示**:运行前请确保CARLA服务器已正确启动,并检查防火墙设置允许相关端口通信。按 V 键可以切换CARLA窗口的视角模式,让界面跟随车辆移动。
**提示**:运行前请确保CARLA服务器已正确启动,并检查防火墙设置允许相关端口通信。首次运行时可能需要下载YOLOv8模型文件(约6MB)
9 changes: 4 additions & 5 deletions src/tracking_car/config.yaml
Original file line number Diff line number Diff line change
Expand Up @@ -55,8 +55,7 @@ det_label_font_scale: 0.5
det_label_padding: 5

view:
default_mode: "satellite" # 默认视角模式: satellite, behind, first_person
satellite_height: 50.0 # 卫星视角高度(米)
behind_distance: 10.0 # 后方视角距离(米)
first_person_height: 1.6 # 第一人称视角高度
update_frequency: 1.0 # 视角更新频率(Hz),1.0=每秒更新一次
default_mode: "satellite" # 默认视角模式: satellite, behind, first_person
satellite_height: 50.0 # 卫星视角高度(米)
behind_distance: 10.0 # 后方视角距离(米)
first_person_height: 1.6 # 第一人称视角高度(米)
Loading
Loading