diff --git a/src/tracking_car/README.md b/src/tracking_car/README.md index 33d5b2eb5b..71f29d0cb0 100644 --- a/src/tracking_car/README.md +++ b/src/tracking_car/README.md @@ -9,7 +9,7 @@ - **行为分析**:检测车辆停车、超车、变道、刹车、危险接近等行为 - **增强可视化**:彩色ID编码 + 独立统计面板显示 - **多天气支持**:支持晴天、多云、雨天、雾天、夜间等天气条件 -- **随机位置生成**:每次运行自车在不同位置生成,增加测试多样性 +- **实时视角跟随**:CARLA界面支持卫星视角、后方视角、第一人称视角跟随 - **性能优化**:多线程检测、GPU加速、卡尔曼滤波预测 ## 📋 系统要求 @@ -47,14 +47,11 @@ CarlaUE4.exe -windowed -ResX=800 -ResY=600 # Linux ./CarlaUE4.sh -windowed -ResX=800 -ResY=600 - -# 可选:添加-world-port参数指定端口(如果端口冲突) -./CarlaUE4.sh -windowed -ResX=800 -ResY=600 -world-port=2000 ``` ### 3. 运行跟踪系统 ```bash -# 基本运行(自车会在随机位置生成) +# 基本运行 python main.py # 使用自定义配置 @@ -65,9 +62,6 @@ python main.py --no-lidar # 设置自定义参数 python main.py --model yolov8n.pt --conf-thres 0.5 --weather clear - -# 使用随机天气 -python main.py --weather random ``` ## 📁 项目结构 @@ -75,7 +69,7 @@ python main.py --weather random ``` carla-multi-object-tracking/ ├── main.py # 主程序入口 -├── sensors.py # 传感器管理(相机、LiDAR)- 包含随机生成逻辑 +├── sensors.py # 传感器管理(相机、LiDAR、视角控制) ├── tracker.py # 目标检测与跟踪算法 ├── utils.py # 工具函数库 ├── config.yaml # 配置文件 @@ -115,45 +109,26 @@ min_hits: 3 kf_dt: 0.05 max_speed: 50.0 +# 视角配置 +view: + default_mode: "satellite" # 默认视角模式: satellite, behind, first_person + satellite_height: 50.0 # 卫星视角高度(米) + behind_distance: 10.0 # 后方视角距离(米) + first_person_height: 1.6 # 第一人称视角高度(米) + # 可视化配置 window_width: 1280 window_height: 720 display_fps: 30 ``` -## 🚗 自车生成配置 - -### 随机生成(默认) -- 每次运行程序,自车会在CARLA地图的随机生成点出现 -- 系统会自动尝试5个不同的随机位置,直到成功生成 -- 生成位置信息会显示在控制台日志中 - -### 固定位置生成 -如果需要固定位置测试,可以: - -1. **修改代码**:编辑 `sensors.py` 中的 `create_ego_vehicle` 函数 -2. **指定坐标**:取消注释固定坐标代码 -3. **重启程序**:重新运行即可在固定位置生成 - -### 查看可用生成点 -运行测试脚本查看所有生成点: -```bash -python -c " -import carla -client = carla.Client('localhost', 2000) -spawn_points = client.get_world().get_map().get_spawn_points() -print(f'共有 {len(spawn_points)} 个生成点') -for i, sp in enumerate(spawn_points[:5]): - print(f'{i}: ({sp.location.x:.1f}, {sp.location.y:.1f}), 朝向: {sp.rotation.yaw:.1f}°') -" -``` - ## 🎮 使用说明 ### 可视化界面 -系统提供独立的显示窗口: +系统提供两个独立的显示窗口: - **主窗口**:显示实时跟踪画面,包含检测框、跟踪ID和行为状态 -- **颜色图例**:显示行为状态和车辆类型的颜色编码 +- **统计面板**:显示系统性能、目标统计、历史趋势等详细信息 +- **CARLA窗口**:实时视角跟随,支持多种视角模式 ### 键盘控制 | 按键 | 功能 | 说明 | @@ -162,13 +137,19 @@ for i, sp in enumerate(spawn_points[:5]): | **W** | 切换天气 | 循环切换晴天、多云、雨天、雾天、夜间 | | **S** | 保存截图 | 保存当前画面到outputs/screenshots/ | | **P** | 暂停/继续 | 暂停或恢复程序运行 | -| **M** | 显示/隐藏图例 | 控制颜色图例的显示状态 | -| **R** | 重新随机生成 | 重新随机选择自车位置(需要修改代码支持) | +| **T** | 显示/隐藏统计面板 | 控制统计面板的显示状态 | +| **M** | 显示/隐藏图例 | 控制彩色图例的显示状态 | +| **V** | 切换视角模式 | 循环切换卫星视角、后方视角、第一人称视角 | + +#### 视角模式说明 +- **卫星视角** (Satellite View):车辆正上方俯视,适合全局观察 +- **后方视角** (Behind View):车辆后方跟随,类似第三视角游戏 +- **第一人称视角** (First-person View):驾驶员视角,身临其境体验 ### 彩色编码说明 系统使用彩色编码来区分不同状态: -#### 行为状态颜色(优先级从高到低) +#### 行为状态颜色 - **红色**:危险状态(距离过近) - **黄色**:停车状态 - **紫色**:超车状态 @@ -183,32 +164,86 @@ for i, sp in enumerate(spawn_points[:5]): - **红色**:卡车 - **青色**:其他车辆 -## 📊 系统功能 +## 🎯 新增视角功能 + +系统现在支持三种视角模式,使CARLA可视化界面能够实时跟随车辆: + +### 视角特点 +1. **实时跟随**:CARLA窗口视角会自动跟随自车移动 +2. **平滑切换**:按 V 键可无缝切换不同视角 +3. **高度可配置**:所有视角参数可在配置文件中调整 + +### 使用技巧 +- **卫星视角**适合全局路径规划和场景观察 +- **后方视角**适合观察车辆行驶状态 +- **第一人称视角**适合体验驾驶员视角 + +## 📊 统计面板功能 + +统计面板提供详细的系统监控信息: + +### 1. 系统状态 +- 实时FPS和平均FPS +- CPU和内存使用率 +- 运行时间和总帧数 +- 检测线程状态 -### 1. 目标检测(YOLOv8) +### 2. 目标统计 +- 跟踪目标总数 +- 车辆类型分布(轿车/公交车/卡车) +- 行为状态分布 +- 每个目标的详细属性 + +### 3. 性能图表 +- FPS变化趋势 +- 检测时间统计 +- 跟踪时间统计 +- 历史数据可视化 + +### 4. 趋势分析 +- 目标数量变化趋势 +- 系统资源使用趋势 +- 性能指标历史记录 + +## 🔧 核心算法 + +### 目标检测(YOLOv8) - 使用YOLOv8模型进行车辆检测 - 支持Car/Bus/Truck三类检测 - 自动调整输入尺寸优化性能 - 支持GPU加速和模型量化 -### 2. 多目标跟踪(SORT) +### 多目标跟踪(SORT) - 基于Simple Online and Realtime Tracking算法 - 卡尔曼滤波预测目标位置 - 匈牙利算法进行数据关联 - IOU匹配策略 -### 3. 行为分析 +### 行为分析 - **停车检测**:速度低于阈值并持续多帧 - **超车检测**:相对速度超过自车速度的150% - **变道检测**:横向位移超过阈值 - **刹车检测**:负加速度超过阈值 - **危险检测**:与自车距离过近 -### 4. 传感器融合 +### 传感器融合 - RGB相机:提供2D图像信息 -- LiDAR:提供3D点云信息(可选) +- LiDAR:提供3D点云信息 - 融合策略:优先使用视觉检测,LiDAR用于验证和距离估计 +### 视角控制 +- **卫星视角**:通过CARLA spectator实现实时俯视跟随 +- **后方视角**:计算车辆后方偏移位置实现跟随 +- **第一人称视角**:模拟驾驶员视野实现沉浸式体验 + +## 🚗 自车设置 + +系统支持多种自车模型: +- 默认使用Tesla Model 3 +- 可配置车辆颜色 +- 自动设置自动驾驶模式 +- 智能避让生成点碰撞 + ## 🛠️ 故障排除 ### 常见问题 @@ -222,16 +257,7 @@ for i, sp in enumerate(spawn_points[:5]): 3. 增加timeout时间配置 ``` -#### Q2: 自车生成在同一位置 -``` -问题:自车总在相同位置生成 -解决方法: -1. 已修复!现在默认随机生成位置 -2. 如果仍有问题,重启CARLA服务器清除缓存 -3. 检查sensors.py中的随机种子生成逻辑 -``` - -#### Q3: 检测模型加载失败 +#### Q2: 检测模型加载失败 ``` 错误信息:YOLO model not found 解决方法: @@ -239,7 +265,7 @@ for i, sp in enumerate(spawn_points[:5]): 2. 运行自动下载:python -c "from ultralytics import YOLO; YOLO('yolov8n.pt')" ``` -#### Q4: 帧率过低 +#### Q3: 帧率过低 ``` 现象:FPS低于10 解决方法: @@ -249,13 +275,23 @@ for i, sp in enumerate(spawn_points[:5]): 4. 调整display_fps参数 ``` -#### Q5: 自车生成失败 +#### Q4: 内存不足 +``` +错误信息:CUDA out of memory +解决方法: +1. 减小yolo_imgsz_max参数 +2. 降低批次大小 +3. 使用CPU模式(device: 'cpu') +``` + +#### Q5: CARLA界面不跟随车辆移动 ``` -错误信息:无法生成自车 +现象:CARLA窗口视角固定不动 解决方法: -1. 等待CARLA世界完全加载(约30秒) -2. 清理现有车辆:重启CARLA服务器 -3. 尝试不同生成点:程序会自动尝试多个位置 +1. 确保按 V 键切换到正确的视角模式 +2. 检查CARLA服务器是否正常运行 +3. 尝试重新启动程序 +4. 检查`sensors.py`中的`SpectatorManager`是否正确初始化 ``` ### 性能优化建议 @@ -264,6 +300,7 @@ for i, sp in enumerate(spawn_points[:5]): 3. **模型选择**:使用YOLOv8n或YOLOv8s轻量模型 4. **异步处理**:启用检测线程分离 5. **LiDAR优化**:根据需要调整LiDAR参数 +6. **视角优化**:如果不需要视角跟随,可以减少视角更新频率 ## 📈 性能指标 @@ -276,6 +313,7 @@ for i, sp in enumerate(spawn_points[:5]): | 跟踪准确度 | >85% MOTA | | 内存占用 | 2-3GB | | GPU占用 | 3-4GB | +| 视角更新延迟 | <50ms | ## 📝 数据记录 @@ -284,6 +322,7 @@ for i, sp in enumerate(spawn_points[:5]): - 截图保存功能(按S键) - 性能数据统计 - 跟踪结果记录 +- 视角模式记录 ## 🔮 未来计划 @@ -294,6 +333,7 @@ for i, sp in enumerate(spawn_points[:5]): - [ ] 支持多摄像头融合 - [ ] 添加ROS2接口支持 - [ ] 实现云端数据记录和分析 +- [ ] 添加更多视角模式(如无人机视角) ## 📄 许可证 @@ -322,6 +362,4 @@ for i, sp in enumerate(spawn_points[:5]): --- -**提示**:运行前请确保CARLA服务器已正确启动,并检查防火墙设置允许相关端口通信。 - -**随机位置特性**:系统默认会在随机位置生成自车,每次运行都有不同的起点,增加了测试场景的多样性。如需固定位置测试,请参考"自车生成配置"章节。 \ No newline at end of file +**提示**:运行前请确保CARLA服务器已正确启动,并检查防火墙设置允许相关端口通信。按 V 键可以切换CARLA窗口的视角模式,让界面跟随车辆移动。 \ No newline at end of file diff --git a/src/tracking_car/main.py b/src/tracking_car/main.py index a2403060d4..bc5a996aa5 100644 --- a/src/tracking_car/main.py +++ b/src/tracking_car/main.py @@ -1026,6 +1026,9 @@ def __init__(self, config): self.show_legend = True # Whether to show color legend self.start_time = time.time() # Program start time + # 新增:视角控制 + self.current_view_mode = 'satellite' # 默认卫星视角 + # Detection thread related self.detection_thread = None self.image_queue = None @@ -1376,7 +1379,21 @@ def _handle_keyboard_input(self, key): self.show_legend = not self.show_legend status = "Show" if self.show_legend else "Hide" logger.info(f"[LEGEND] Color legend: {status}") - + + # 新增:V键切换视角模式 + elif key == ord('v') or key == ord('V'): + if self.sensor_manager: + self.sensor_manager.cycle_view_mode() + # 获取当前视角模式并显示 + current_mode = self.sensor_manager.spectator_manager.view_mode + mode_names = { + 'satellite': '卫星视角', + 'behind': '后方视角', + 'first_person': '第一人称视角' + } + mode_name = mode_names.get(current_mode, current_mode) + logger.info(f"[VIEW] 切换到 {mode_name}") + def _control_frame_rate(self, current_fps): """Control frame rate""" import time diff --git a/src/tracking_car/sensors.py b/src/tracking_car/sensors.py index 33644d3e8c..99e863441d 100644 --- a/src/tracking_car/sensors.py +++ b/src/tracking_car/sensors.py @@ -368,6 +368,201 @@ def destroy(self): logger.warning(f"销毁LiDAR失败: {e}") self.lidar = None +# ======================== 视角管理器 ======================== + +class SpectatorManager: + """CARLA视角管理器 - 提供卫星视角跟随""" + + def __init__(self, world, ego_vehicle, config): + """ + 初始化视角管理器 + + Args: + world: CARLA世界对象 + ego_vehicle: 自车对象 + config: 配置字典 + """ + self.world = world + self.ego_vehicle = ego_vehicle + self.config = config + self.spectator = None + self.view_mode = 'satellite' # 视角模式: 'satellite', 'behind', 'first_person' + self.view_height = 50.0 # 卫星视角高度 + self.follow_distance = 10.0 # 后方视角距离 + + def setup(self): + """设置视角""" + try: + # 获取世界中的观察者(spectator) + self.spectator = self.world.get_spectator() + + # 设置初始视角 + self._set_satellite_view() + + logger.info(f"✅ 视角管理器初始化成功") + return True + + except Exception as e: + logger.error(f"❌ 视角管理器初始化失败: {e}") + return False + + def _set_satellite_view(self): + """设置卫星视角""" + if not self.ego_vehicle or not self.ego_vehicle.is_alive: + return + + try: + # 获取车辆位置和方向 + vehicle_transform = self.ego_vehicle.get_transform() + vehicle_location = vehicle_transform.location + vehicle_rotation = vehicle_transform.rotation + + # 设置卫星视角位置(车辆正上方) + spectator_location = carla.Location( + x=vehicle_location.x, + y=vehicle_location.y, + z=vehicle_location.z + self.view_height + ) + + # 设置视角朝向(俯瞰车辆) + spectator_rotation = carla.Rotation( + pitch=-90, # 向下看 + yaw=vehicle_rotation.yaw, + roll=0 + ) + + # 应用变换 + spectator_transform = carla.Transform( + spectator_location, + spectator_rotation + ) + self.spectator.set_transform(spectator_transform) + + except Exception as e: + logger.warning(f"设置卫星视角失败: {e}") + + def _set_behind_view(self): + """设置后方跟随视角""" + if not self.ego_vehicle or not self.ego_vehicle.is_alive: + return + + try: + # 获取车辆位置和方向 + vehicle_transform = self.ego_vehicle.get_transform() + vehicle_location = vehicle_transform.location + vehicle_rotation = vehicle_transform.rotation + + # 计算后方偏移位置 + import math + yaw_rad = math.radians(vehicle_rotation.yaw) + + # 车辆后方偏移 + behind_x = vehicle_location.x - self.follow_distance * math.cos(yaw_rad) + behind_y = vehicle_location.y - self.follow_distance * math.sin(yaw_rad) + + # 设置摄像机位置(稍高于车辆) + spectator_location = carla.Location( + x=behind_x, + y=behind_y, + z=vehicle_location.z + 3.0 + ) + + # 设置视角朝向(看向车辆) + # 计算朝向车辆的旋转 + dx = vehicle_location.x - spectator_location.x + dy = vehicle_location.y - spectator_location.y + target_yaw = math.degrees(math.atan2(dy, dx)) + + spectator_rotation = carla.Rotation( + pitch=-15, # 略微向下 + yaw=target_yaw, + roll=0 + ) + + # 应用变换 + spectator_transform = carla.Transform( + spectator_location, + spectator_rotation + ) + self.spectator.set_transform(spectator_transform) + + except Exception as e: + logger.warning(f"设置后方视角失败: {e}") + + def _set_first_person_view(self): + """设置第一人称视角""" + if not self.ego_vehicle or not self.ego_vehicle.is_alive: + return + + try: + # 获取车辆变换 + vehicle_transform = self.ego_vehicle.get_transform() + + # 稍微调整位置(从驾驶员视角) + location = carla.Location( + x=vehicle_transform.location.x, + y=vehicle_transform.location.y, + z=vehicle_transform.location.z + 1.6 # 驾驶员眼睛高度 + ) + + # 使用车辆的方向 + rotation = carla.Rotation( + pitch=vehicle_transform.rotation.pitch, + yaw=vehicle_transform.rotation.yaw, + roll=vehicle_transform.rotation.roll + ) + + # 应用变换 + spectator_transform = carla.Transform( + location, + rotation + ) + self.spectator.set_transform(spectator_transform) + + except Exception as e: + logger.warning(f"设置第一人称视角失败: {e}") + + def set_view_mode(self, mode): + """ + 设置视角模式 + + Args: + mode: 视角模式 ('satellite', 'behind', 'first_person') + """ + if mode not in ['satellite', 'behind', 'first_person']: + logger.warning(f"未知的视角模式: {mode}") + return + + self.view_mode = mode + + def update(self): + """更新视角""" + if not self.ego_vehicle or not self.ego_vehicle.is_alive: + return + + try: + if self.view_mode == 'satellite': + self._set_satellite_view() + elif self.view_mode == 'behind': + self._set_behind_view() + elif self.view_mode == 'first_person': + self._set_first_person_view() + + except Exception as e: + logger.debug(f"更新视角失败: {e}") + + def cycle_view_mode(self): + """循环切换视角模式""" + modes = ['satellite', 'behind', 'first_person'] + current_index = modes.index(self.view_mode) if self.view_mode in modes else 0 + next_index = (current_index + 1) % len(modes) + self.view_mode = modes[next_index] + logger.info(f"切换到 {self.view_mode} 视角") + + def destroy(self): + """销毁视角管理器""" + self.spectator = None + logger.info("✅ 视角管理器已销毁") class SensorManager: """传感器管理器(统一管理所有传感器)""" @@ -387,6 +582,7 @@ def __init__(self, world, ego_vehicle, config): self.camera_manager = None self.lidar_manager = None + self.spectator_manager = None # 新增视角管理器 self.is_setup = False def setup(self): @@ -405,7 +601,11 @@ def setup(self): else: logger.info("LiDAR功能已禁用") - self.is_setup = camera_success and lidar_success + # 初始化视角管理器 + self.spectator_manager = SpectatorManager(self.world, self.ego_vehicle, self.config) + spectator_success = self.spectator_manager.setup() + + self.is_setup = camera_success and lidar_success and spectator_success if self.is_setup: logger.info("✅ 所有传感器初始化完成") @@ -414,6 +614,7 @@ def setup(self): return self.is_setup + # 在get_sensor_data方法中添加视角更新 def get_sensor_data(self, timeout=0.05): """ 获取所有传感器数据 @@ -446,31 +647,22 @@ def get_sensor_data(self, timeout=0.05): if points is not None: data['lidar_objects'] = self.lidar_manager.detect_objects() + # 更新视角 + if self.spectator_manager: + self.spectator_manager.update() + return data - def get_camera_image(self): - """获取相机图像""" - if self.camera_manager: - return self.camera_manager.get_current_image() - return None - - def get_lidar_pointcloud(self): - """获取LiDAR点云""" - if self.lidar_manager: - return self.lidar_manager.current_pointcloud - return None - - def get_lidar_objects(self): - """获取LiDAR检测到的物体""" - if self.lidar_manager: - return self.lidar_manager.detect_objects() - return [] + # 添加视角控制方法 + def set_view_mode(self, mode): + """设置视角模式""" + if self.spectator_manager: + self.spectator_manager.set_view_mode(mode) - def get_open3d_pointcloud(self): - """获取Open3D格式的点云""" - if self.lidar_manager: - return self.lidar_manager.get_open3d_pointcloud() - return None + def cycle_view_mode(self): + """循环切换视角模式""" + if self.spectator_manager: + self.spectator_manager.cycle_view_mode() def destroy(self): """销毁所有传感器""" @@ -482,6 +674,9 @@ def destroy(self): if self.lidar_manager: self.lidar_manager.destroy() + if self.spectator_manager: + self.spectator_manager.destroy() + logger.info("✅ 所有传感器已销毁")