Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
26 commits
Select commit Hold shift + click to select a range
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
170 changes: 104 additions & 66 deletions src/tracking_car/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -9,7 +9,7 @@
- **行为分析**:检测车辆停车、超车、变道、刹车、危险接近等行为
- **增强可视化**:彩色ID编码 + 独立统计面板显示
- **多天气支持**:支持晴天、多云、雨天、雾天、夜间等天气条件
- **随机位置生成**:每次运行自车在不同位置生成,增加测试多样性
- **实时视角跟随**:CARLA界面支持卫星视角、后方视角、第一人称视角跟随
- **性能优化**:多线程检测、GPU加速、卡尔曼滤波预测

## 📋 系统要求
Expand Down Expand Up @@ -47,14 +47,11 @@ CarlaUE4.exe -windowed -ResX=800 -ResY=600

# Linux
./CarlaUE4.sh -windowed -ResX=800 -ResY=600

# 可选:添加-world-port参数指定端口(如果端口冲突)
./CarlaUE4.sh -windowed -ResX=800 -ResY=600 -world-port=2000
```

### 3. 运行跟踪系统
```bash
# 基本运行(自车会在随机位置生成)
# 基本运行
python main.py

# 使用自定义配置
Expand All @@ -65,17 +62,14 @@ python main.py --no-lidar

# 设置自定义参数
python main.py --model yolov8n.pt --conf-thres 0.5 --weather clear

# 使用随机天气
python main.py --weather random
```

## 📁 项目结构

```
carla-multi-object-tracking/
├── main.py # 主程序入口
├── sensors.py # 传感器管理(相机、LiDAR)- 包含随机生成逻辑
├── sensors.py # 传感器管理(相机、LiDAR、视角控制)
├── tracker.py # 目标检测与跟踪算法
├── utils.py # 工具函数库
├── config.yaml # 配置文件
Expand Down Expand Up @@ -115,45 +109,26 @@ min_hits: 3
kf_dt: 0.05
max_speed: 50.0

# 视角配置
view:
default_mode: "satellite" # 默认视角模式: satellite, behind, first_person
satellite_height: 50.0 # 卫星视角高度(米)
behind_distance: 10.0 # 后方视角距离(米)
first_person_height: 1.6 # 第一人称视角高度(米)

# 可视化配置
window_width: 1280
window_height: 720
display_fps: 30
```

## 🚗 自车生成配置

### 随机生成(默认)
- 每次运行程序,自车会在CARLA地图的随机生成点出现
- 系统会自动尝试5个不同的随机位置,直到成功生成
- 生成位置信息会显示在控制台日志中

### 固定位置生成
如果需要固定位置测试,可以:

1. **修改代码**:编辑 `sensors.py` 中的 `create_ego_vehicle` 函数
2. **指定坐标**:取消注释固定坐标代码
3. **重启程序**:重新运行即可在固定位置生成

### 查看可用生成点
运行测试脚本查看所有生成点:
```bash
python -c "
import carla
client = carla.Client('localhost', 2000)
spawn_points = client.get_world().get_map().get_spawn_points()
print(f'共有 {len(spawn_points)} 个生成点')
for i, sp in enumerate(spawn_points[:5]):
print(f'{i}: ({sp.location.x:.1f}, {sp.location.y:.1f}), 朝向: {sp.rotation.yaw:.1f}°')
"
```

## 🎮 使用说明

### 可视化界面
系统提供独立的显示窗口:
系统提供两个独立的显示窗口:
- **主窗口**:显示实时跟踪画面,包含检测框、跟踪ID和行为状态
- **颜色图例**:显示行为状态和车辆类型的颜色编码
- **统计面板**:显示系统性能、目标统计、历史趋势等详细信息
- **CARLA窗口**:实时视角跟随,支持多种视角模式

### 键盘控制
| 按键 | 功能 | 说明 |
Expand All @@ -162,13 +137,19 @@ for i, sp in enumerate(spawn_points[:5]):
| **W** | 切换天气 | 循环切换晴天、多云、雨天、雾天、夜间 |
| **S** | 保存截图 | 保存当前画面到outputs/screenshots/ |
| **P** | 暂停/继续 | 暂停或恢复程序运行 |
| **M** | 显示/隐藏图例 | 控制颜色图例的显示状态 |
| **R** | 重新随机生成 | 重新随机选择自车位置(需要修改代码支持) |
| **T** | 显示/隐藏统计面板 | 控制统计面板的显示状态 |
| **M** | 显示/隐藏图例 | 控制彩色图例的显示状态 |
| **V** | 切换视角模式 | 循环切换卫星视角、后方视角、第一人称视角 |

#### 视角模式说明
- **卫星视角** (Satellite View):车辆正上方俯视,适合全局观察
- **后方视角** (Behind View):车辆后方跟随,类似第三视角游戏
- **第一人称视角** (First-person View):驾驶员视角,身临其境体验

### 彩色编码说明
系统使用彩色编码来区分不同状态:

#### 行为状态颜色(优先级从高到低)
#### 行为状态颜色
- **红色**:危险状态(距离过近)
- **黄色**:停车状态
- **紫色**:超车状态
Expand All @@ -183,32 +164,86 @@ for i, sp in enumerate(spawn_points[:5]):
- **红色**:卡车
- **青色**:其他车辆

## 📊 系统功能
## 🎯 新增视角功能

系统现在支持三种视角模式,使CARLA可视化界面能够实时跟随车辆:

### 视角特点
1. **实时跟随**:CARLA窗口视角会自动跟随自车移动
2. **平滑切换**:按 V 键可无缝切换不同视角
3. **高度可配置**:所有视角参数可在配置文件中调整

### 使用技巧
- **卫星视角**适合全局路径规划和场景观察
- **后方视角**适合观察车辆行驶状态
- **第一人称视角**适合体验驾驶员视角

## 📊 统计面板功能

统计面板提供详细的系统监控信息:

### 1. 系统状态
- 实时FPS和平均FPS
- CPU和内存使用率
- 运行时间和总帧数
- 检测线程状态

### 1. 目标检测(YOLOv8)
### 2. 目标统计
- 跟踪目标总数
- 车辆类型分布(轿车/公交车/卡车)
- 行为状态分布
- 每个目标的详细属性

### 3. 性能图表
- FPS变化趋势
- 检测时间统计
- 跟踪时间统计
- 历史数据可视化

### 4. 趋势分析
- 目标数量变化趋势
- 系统资源使用趋势
- 性能指标历史记录

## 🔧 核心算法

### 目标检测(YOLOv8)
- 使用YOLOv8模型进行车辆检测
- 支持Car/Bus/Truck三类检测
- 自动调整输入尺寸优化性能
- 支持GPU加速和模型量化

### 2. 多目标跟踪(SORT)
### 多目标跟踪(SORT)
- 基于Simple Online and Realtime Tracking算法
- 卡尔曼滤波预测目标位置
- 匈牙利算法进行数据关联
- IOU匹配策略

### 3. 行为分析
### 行为分析
- **停车检测**:速度低于阈值并持续多帧
- **超车检测**:相对速度超过自车速度的150%
- **变道检测**:横向位移超过阈值
- **刹车检测**:负加速度超过阈值
- **危险检测**:与自车距离过近

### 4. 传感器融合
### 传感器融合
- RGB相机:提供2D图像信息
- LiDAR:提供3D点云信息(可选)
- LiDAR:提供3D点云信息
- 融合策略:优先使用视觉检测,LiDAR用于验证和距离估计

### 视角控制
- **卫星视角**:通过CARLA spectator实现实时俯视跟随
- **后方视角**:计算车辆后方偏移位置实现跟随
- **第一人称视角**:模拟驾驶员视野实现沉浸式体验

## 🚗 自车设置

系统支持多种自车模型:
- 默认使用Tesla Model 3
- 可配置车辆颜色
- 自动设置自动驾驶模式
- 智能避让生成点碰撞

## 🛠️ 故障排除

### 常见问题
Expand All @@ -222,24 +257,15 @@ for i, sp in enumerate(spawn_points[:5]):
3. 增加timeout时间配置
```

#### Q2: 自车生成在同一位置
```
问题:自车总在相同位置生成
解决方法:
1. 已修复!现在默认随机生成位置
2. 如果仍有问题,重启CARLA服务器清除缓存
3. 检查sensors.py中的随机种子生成逻辑
```

#### Q3: 检测模型加载失败
#### Q2: 检测模型加载失败
```
错误信息:YOLO model not found
解决方法:
1. 确保yolov8n.pt文件存在
2. 运行自动下载:python -c "from ultralytics import YOLO; YOLO('yolov8n.pt')"
```

#### Q4: 帧率过低
#### Q3: 帧率过低
```
现象:FPS低于10
解决方法:
Expand All @@ -249,13 +275,23 @@ for i, sp in enumerate(spawn_points[:5]):
4. 调整display_fps参数
```

#### Q5: 自车生成失败
#### Q4: 内存不足
```
错误信息:CUDA out of memory
解决方法:
1. 减小yolo_imgsz_max参数
2. 降低批次大小
3. 使用CPU模式(device: 'cpu')
```

#### Q5: CARLA界面不跟随车辆移动
```
错误信息:无法生成自车
现象:CARLA窗口视角固定不动
解决方法:
1. 等待CARLA世界完全加载(约30秒)
2. 清理现有车辆:重启CARLA服务器
3. 尝试不同生成点:程序会自动尝试多个位置
1. 确保按 V 键切换到正确的视角模式
2. 检查CARLA服务器是否正常运行
3. 尝试重新启动程序
4. 检查`sensors.py`中的`SpectatorManager`是否正确初始化
```

### 性能优化建议
Expand All @@ -264,6 +300,7 @@ for i, sp in enumerate(spawn_points[:5]):
3. **模型选择**:使用YOLOv8n或YOLOv8s轻量模型
4. **异步处理**:启用检测线程分离
5. **LiDAR优化**:根据需要调整LiDAR参数
6. **视角优化**:如果不需要视角跟随,可以减少视角更新频率

## 📈 性能指标

Expand All @@ -276,6 +313,7 @@ for i, sp in enumerate(spawn_points[:5]):
| 跟踪准确度 | >85% MOTA |
| 内存占用 | 2-3GB |
| GPU占用 | 3-4GB |
| 视角更新延迟 | <50ms |

## 📝 数据记录

Expand All @@ -284,6 +322,7 @@ for i, sp in enumerate(spawn_points[:5]):
- 截图保存功能(按S键)
- 性能数据统计
- 跟踪结果记录
- 视角模式记录

## 🔮 未来计划

Expand All @@ -294,6 +333,7 @@ for i, sp in enumerate(spawn_points[:5]):
- [ ] 支持多摄像头融合
- [ ] 添加ROS2接口支持
- [ ] 实现云端数据记录和分析
- [ ] 添加更多视角模式(如无人机视角)

## 📄 许可证

Expand Down Expand Up @@ -322,6 +362,4 @@ for i, sp in enumerate(spawn_points[:5]):

---

**提示**:运行前请确保CARLA服务器已正确启动,并检查防火墙设置允许相关端口通信。

**随机位置特性**:系统默认会在随机位置生成自车,每次运行都有不同的起点,增加了测试场景的多样性。如需固定位置测试,请参考"自车生成配置"章节。
**提示**:运行前请确保CARLA服务器已正确启动,并检查防火墙设置允许相关端口通信。按 V 键可以切换CARLA窗口的视角模式,让界面跟随车辆移动。
19 changes: 18 additions & 1 deletion src/tracking_car/main.py
Original file line number Diff line number Diff line change
Expand Up @@ -1026,6 +1026,9 @@ def __init__(self, config):
self.show_legend = True # Whether to show color legend
self.start_time = time.time() # Program start time

# 新增:视角控制
self.current_view_mode = 'satellite' # 默认卫星视角

# Detection thread related
self.detection_thread = None
self.image_queue = None
Expand Down Expand Up @@ -1376,7 +1379,21 @@ def _handle_keyboard_input(self, key):
self.show_legend = not self.show_legend
status = "Show" if self.show_legend else "Hide"
logger.info(f"[LEGEND] Color legend: {status}")


# 新增:V键切换视角模式
elif key == ord('v') or key == ord('V'):
if self.sensor_manager:
self.sensor_manager.cycle_view_mode()
# 获取当前视角模式并显示
current_mode = self.sensor_manager.spectator_manager.view_mode
mode_names = {
'satellite': '卫星视角',
'behind': '后方视角',
'first_person': '第一人称视角'
}
mode_name = mode_names.get(current_mode, current_mode)
logger.info(f"[VIEW] 切换到 {mode_name}")

def _control_frame_rate(self, current_fps):
"""Control frame rate"""
import time
Expand Down
Loading
Loading