Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion src/Yolov4_Vehicle_inspection/train.py
Original file line number Diff line number Diff line change
Expand Up @@ -422,4 +422,4 @@ def fit_one_epoch(net, yolo_loss, epoch, epoch_size, epoch_size_val, gen, genval
for epoch in range(Freeze_Epoch, Unfreeze_Epoch):
fit_one_epoch(net, yolo_loss, epoch, epoch_size, epoch_size_val, gen, gen_val, Unfreeze_Epoch, Cuda)
# 更新学习率
lr_scheduler.step()
lr_scheduler.step()
1 change: 1 addition & 0 deletions src/minicarsim/main.py
Original file line number Diff line number Diff line change
Expand Up @@ -957,6 +957,7 @@ def run_simulation(self):

# 新增:模拟温度数据
temperature = self.simulate_temperature_data()


# 检查并控制空调
ac_status = self.check_and_control_ac(temperature)
Expand Down
121 changes: 64 additions & 57 deletions src/tracking_car/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -9,6 +9,7 @@
- **行为分析**:检测车辆停车、超车、变道、刹车、危险接近等行为
- **增强可视化**:彩色ID编码 + 独立统计面板显示
- **多天气支持**:支持晴天、多云、雨天、雾天、夜间等天气条件
- **随机位置生成**:每次运行自车在不同位置生成,增加测试多样性
- **性能优化**:多线程检测、GPU加速、卡尔曼滤波预测

## 📋 系统要求
Expand Down Expand Up @@ -46,11 +47,14 @@ CarlaUE4.exe -windowed -ResX=800 -ResY=600

# Linux
./CarlaUE4.sh -windowed -ResX=800 -ResY=600

# 可选:添加-world-port参数指定端口(如果端口冲突)
./CarlaUE4.sh -windowed -ResX=800 -ResY=600 -world-port=2000
```

### 3. 运行跟踪系统
```bash
# 基本运行
# 基本运行(自车会在随机位置生成)
python main.py

# 使用自定义配置
Expand All @@ -61,14 +65,17 @@ python main.py --no-lidar

# 设置自定义参数
python main.py --model yolov8n.pt --conf-thres 0.5 --weather clear

# 使用随机天气
python main.py --weather random
```

## 📁 项目结构

```
carla-multi-object-tracking/
├── main.py # 主程序入口
├── sensors.py # 传感器管理(相机、LiDAR)
├── sensors.py # 传感器管理(相机、LiDAR)- 包含随机生成逻辑
├── tracker.py # 目标检测与跟踪算法
├── utils.py # 工具函数库
├── config.yaml # 配置文件
Expand Down Expand Up @@ -114,12 +121,39 @@ window_height: 720
display_fps: 30
```

## 🚗 自车生成配置

### 随机生成(默认)
- 每次运行程序,自车会在CARLA地图的随机生成点出现
- 系统会自动尝试5个不同的随机位置,直到成功生成
- 生成位置信息会显示在控制台日志中

### 固定位置生成
如果需要固定位置测试,可以:

1. **修改代码**:编辑 `sensors.py` 中的 `create_ego_vehicle` 函数
2. **指定坐标**:取消注释固定坐标代码
3. **重启程序**:重新运行即可在固定位置生成

### 查看可用生成点
运行测试脚本查看所有生成点:
```bash
python -c "
import carla
client = carla.Client('localhost', 2000)
spawn_points = client.get_world().get_map().get_spawn_points()
print(f'共有 {len(spawn_points)} 个生成点')
for i, sp in enumerate(spawn_points[:5]):
print(f'{i}: ({sp.location.x:.1f}, {sp.location.y:.1f}), 朝向: {sp.rotation.yaw:.1f}°')
"
```

## 🎮 使用说明

### 可视化界面
系统提供两个独立的显示窗口:
系统提供独立的显示窗口:
- **主窗口**:显示实时跟踪画面,包含检测框、跟踪ID和行为状态
- **统计面板**:显示系统性能、目标统计、历史趋势等详细信息
- **颜色图例**:显示行为状态和车辆类型的颜色编码

### 键盘控制
| 按键 | 功能 | 说明 |
Expand All @@ -128,13 +162,13 @@ display_fps: 30
| **W** | 切换天气 | 循环切换晴天、多云、雨天、雾天、夜间 |
| **S** | 保存截图 | 保存当前画面到outputs/screenshots/ |
| **P** | 暂停/继续 | 暂停或恢复程序运行 |
| **T** | 显示/隐藏统计面板 | 控制统计面板的显示状态 |
| **M** | 显示/隐藏图例 | 控制彩色图例的显示状态 |
| **M** | 显示/隐藏图例 | 控制颜色图例的显示状态 |
| **R** | 重新随机生成 | 重新随机选择自车位置(需要修改代码支持) |

### 彩色编码说明
系统使用彩色编码来区分不同状态:

#### 行为状态颜色
#### 行为状态颜色(优先级从高到低)
- **红色**:危险状态(距离过近)
- **黄色**:停车状态
- **紫色**:超车状态
Expand All @@ -149,67 +183,32 @@ display_fps: 30
- **红色**:卡车
- **青色**:其他车辆

## 📊 统计面板功能

统计面板提供详细的系统监控信息:

### 1. 系统状态
- 实时FPS和平均FPS
- CPU和内存使用率
- 运行时间和总帧数
- 检测线程状态

### 2. 目标统计
- 跟踪目标总数
- 车辆类型分布(轿车/公交车/卡车)
- 行为状态分布
- 每个目标的详细属性
## 📊 系统功能

### 3. 性能图表
- FPS变化趋势
- 检测时间统计
- 跟踪时间统计
- 历史数据可视化

### 4. 趋势分析
- 目标数量变化趋势
- 系统资源使用趋势
- 性能指标历史记录

## 🔧 核心算法

### 目标检测(YOLOv8)
### 1. 目标检测(YOLOv8)
- 使用YOLOv8模型进行车辆检测
- 支持Car/Bus/Truck三类检测
- 自动调整输入尺寸优化性能
- 支持GPU加速和模型量化

### 多目标跟踪(SORT)
### 2. 多目标跟踪(SORT)
- 基于Simple Online and Realtime Tracking算法
- 卡尔曼滤波预测目标位置
- 匈牙利算法进行数据关联
- IOU匹配策略

### 行为分析
### 3. 行为分析
- **停车检测**:速度低于阈值并持续多帧
- **超车检测**:相对速度超过自车速度的150%
- **变道检测**:横向位移超过阈值
- **刹车检测**:负加速度超过阈值
- **危险检测**:与自车距离过近

### 传感器融合
### 4. 传感器融合
- RGB相机:提供2D图像信息
- LiDAR:提供3D点云信息
- LiDAR:提供3D点云信息(可选)
- 融合策略:优先使用视觉检测,LiDAR用于验证和距离估计

## 🚗 自车设置

系统支持多种自车模型:
- 默认使用Tesla Model 3
- 可配置车辆颜色
- 自动设置自动驾驶模式
- 智能避让生成点碰撞

## 🛠️ 故障排除

### 常见问题
Expand All @@ -223,15 +222,24 @@ display_fps: 30
3. 增加timeout时间配置
```

#### Q2: 检测模型加载失败
#### Q2: 自车生成在同一位置
```
问题:自车总在相同位置生成
解决方法:
1. 已修复!现在默认随机生成位置
2. 如果仍有问题,重启CARLA服务器清除缓存
3. 检查sensors.py中的随机种子生成逻辑
```

#### Q3: 检测模型加载失败
```
错误信息:YOLO model not found
解决方法:
1. 确保yolov8n.pt文件存在
2. 运行自动下载:python -c "from ultralytics import YOLO; YOLO('yolov8n.pt')"
```

#### Q3: 帧率过低
#### Q4: 帧率过低
```
现象:FPS低于10
解决方法:
Expand All @@ -241,13 +249,13 @@ display_fps: 30
4. 调整display_fps参数
```

#### Q4: 内存不足
#### Q5: 自车生成失败
```
错误信息:CUDA out of memory
错误信息:无法生成自车
解决方法:
1. 减小yolo_imgsz_max参数
2. 降低批次大小
3. 使用CPU模式(device: 'cpu')
1. 等待CARLA世界完全加载(约30秒)
2. 清理现有车辆:重启CARLA服务器
3. 尝试不同生成点:程序会自动尝试多个位置
```

### 性能优化建议
Expand Down Expand Up @@ -312,9 +320,8 @@ display_fps: 30
3. 确保新功能有相应的测试
4. 更新相关的文档和示例


---

**提示**:运行前请确保CARLA服务器已正确启动,并检查防火墙设置允许相关端口通信。
```

**随机位置特性**:系统默认会在随机位置生成自车,每次运行都有不同的起点,增加了测试场景的多样性。如需固定位置测试,请参考"自车生成配置"章节。
4 changes: 2 additions & 2 deletions src/tracking_car/config.yaml
Original file line number Diff line number Diff line change
Expand Up @@ -8,7 +8,7 @@ conf_thres: 0.5
iou_thres: 0.3
max_age: 5
min_hits: 3
yolo_model: '"D:/harudt/yolov8n.pt"'
yolo_model: "yolov8n.pt"
yolo_imgsz_max: 320
yolo_iou: 0.45
yolo_quantize: false
Expand Down Expand Up @@ -46,7 +46,7 @@ save_screenshots: false
use_3d_visualization: true
pcd_view_size: 800

# 检测框样式配置(匹配截图)
# 检测框样式配置
det_box_color: [255, 0, 0] # 蓝色框
det_box_thickness: 2
det_label_bg_color: [0, 0, 0] # 黑色背景
Expand Down
Loading
Loading