diff --git a/src/tracking_car/README.md b/src/tracking_car/README.md index 71f29d0cb0..215eb23e0d 100644 --- a/src/tracking_car/README.md +++ b/src/tracking_car/README.md @@ -1,15 +1,16 @@ # CARLA多目标跟踪系统 -一个基于CARLA仿真环境的实时多目标检测与跟踪系统,集成了YOLOv8目标检测、SORT多目标跟踪算法和行为分析功能。 +一个基于CARLA仿真环境的实时多目标检测与跟踪系统,集成了YOLOv8目标检测、SORT多目标跟踪算法、3D点云可视化和行为分析功能。 ## 🌟 核心特性 - **实时多目标跟踪**:集成YOLOv8检测和SORT跟踪算法 - **多传感器融合**:支持相机RGB图像和LiDAR点云数据 +- **3D点云可视化**:实时显示LiDAR点云,根据高度着色(低处蓝色,高处红色) - **行为分析**:检测车辆停车、超车、变道、刹车、危险接近等行为 -- **增强可视化**:彩色ID编码 + 独立统计面板显示 +- **增强可视化**:彩色ID编码 + 独立统计面板显示 + 3D点云窗口 - **多天气支持**:支持晴天、多云、雨天、雾天、夜间等天气条件 -- **实时视角跟随**:CARLA界面支持卫星视角、后方视角、第一人称视角跟随 +- **多视角模式**:支持卫星视角、后方视角、第一人称视角 - **性能优化**:多线程检测、GPU加速、卡尔曼滤波预测 ## 📋 系统要求 @@ -94,8 +95,10 @@ timeout: 20.0 img_width: 640 img_height: 480 fov: 90 -use_lidar: true -lidar_channels: 32 +use_lidar: true # 启用LiDAR点云 +lidar_channels: 32 # LiDAR通道数 +lidar_range: 100.0 # LiDAR检测范围(米) +lidar_points_per_second: 500000 # LiDAR每秒点数 # 检测配置 yolo_model: "yolov8n.pt" @@ -109,26 +112,21 @@ min_hits: 3 kf_dt: 0.05 max_speed: 50.0 -# 视角配置 -view: - default_mode: "satellite" # 默认视角模式: satellite, behind, first_person - satellite_height: 50.0 # 卫星视角高度(米) - behind_distance: 10.0 # 后方视角距离(米) - first_person_height: 1.6 # 第一人称视角高度(米) - # 可视化配置 window_width: 1280 window_height: 720 display_fps: 30 +use_3d_visualization: true # 启用3D点云可视化 +pcd_view_size: 800 # 点云窗口尺寸 ``` ## 🎮 使用说明 ### 可视化界面 -系统提供两个独立的显示窗口: +系统提供三个独立的显示窗口: - **主窗口**:显示实时跟踪画面,包含检测框、跟踪ID和行为状态 - **统计面板**:显示系统性能、目标统计、历史趋势等详细信息 -- **CARLA窗口**:实时视角跟随,支持多种视角模式 +- **3D点云窗口**:显示LiDAR采集的3D点云数据(按L键开启/关闭) ### 键盘控制 | 按键 | 功能 | 说明 | @@ -139,12 +137,8 @@ display_fps: 30 | **P** | 暂停/继续 | 暂停或恢复程序运行 | | **T** | 显示/隐藏统计面板 | 控制统计面板的显示状态 | | **M** | 显示/隐藏图例 | 控制彩色图例的显示状态 | -| **V** | 切换视角模式 | 循环切换卫星视角、后方视角、第一人称视角 | - -#### 视角模式说明 -- **卫星视角** (Satellite View):车辆正上方俯视,适合全局观察 -- **后方视角** (Behind View):车辆后方跟随,类似第三视角游戏 -- **第一人称视角** (First-person View):驾驶员视角,身临其境体验 +| **L** | 显示/隐藏点云 | 控制3D点云窗口的显示状态 | +| **V** | 切换视角 | 循环切换卫星视角、后方视角、第一人称视角 | ### 彩色编码说明 系统使用彩色编码来区分不同状态: @@ -164,19 +158,10 @@ display_fps: 30 - **红色**:卡车 - **青色**:其他车辆 -## 🎯 新增视角功能 - -系统现在支持三种视角模式,使CARLA可视化界面能够实时跟随车辆: - -### 视角特点 -1. **实时跟随**:CARLA窗口视角会自动跟随自车移动 -2. **平滑切换**:按 V 键可无缝切换不同视角 -3. **高度可配置**:所有视角参数可在配置文件中调整 - -### 使用技巧 -- **卫星视角**适合全局路径规划和场景观察 -- **后方视角**适合观察车辆行驶状态 -- **第一人称视角**适合体验驾驶员视角 +#### 点云颜色 +- **蓝色**:低处点(地面附近) +- **红色**:高处点(车辆顶部) +- **渐变**:根据高度从蓝到红渐变 ## 📊 统计面板功能 @@ -185,8 +170,10 @@ display_fps: 30 ### 1. 系统状态 - 实时FPS和平均FPS - CPU和内存使用率 +- GPU使用率(如果可用) - 运行时间和总帧数 - 检测线程状态 +- 点云状态(启用/禁用,显示/隐藏) ### 2. 目标统计 - 跟踪目标总数 @@ -225,16 +212,19 @@ display_fps: 30 - **变道检测**:横向位移超过阈值 - **刹车检测**:负加速度超过阈值 - **危险检测**:与自车距离过近 +- **转弯检测**:航向角变化超过阈值 ### 传感器融合 -- RGB相机:提供2D图像信息 -- LiDAR:提供3D点云信息 -- 融合策略:优先使用视觉检测,LiDAR用于验证和距离估计 +- **RGB相机**:提供2D图像信息,用于目标检测和跟踪 +- **LiDAR**:提供3D点云信息,用于距离估计和物体验证 +- **融合策略**:优先使用视觉检测,LiDAR用于验证和距离估计 -### 视角控制 -- **卫星视角**:通过CARLA spectator实现实时俯视跟随 -- **后方视角**:计算车辆后方偏移位置实现跟随 -- **第一人称视角**:模拟驾驶员视野实现沉浸式体验 +### 3D点云处理 +- **实时点云采集**:通过CARLA LiDAR传感器获取 +- **地面过滤**:过滤地面点,保留有效物体点 +- **DBSCAN聚类**:对点云进行聚类,识别独立物体 +- **高度着色**:根据点的高度进行颜色编码(蓝→红) +- **实时更新**:每2帧更新一次点云显示,平衡性能 ## 🚗 自车设置 @@ -244,6 +234,13 @@ display_fps: 30 - 自动设置自动驾驶模式 - 智能避让生成点碰撞 +## 🌍 视角模式 + +系统支持三种视角模式(按V键切换): +- **卫星视角**:从车辆正上方俯瞰,适合全局观察 +- **后方视角**:从车辆后方跟随,适合跟踪观察 +- **第一人称视角**:驾驶员视角,沉浸式体验 + ## 🛠️ 故障排除 ### 常见问题 @@ -265,42 +262,45 @@ display_fps: 30 2. 运行自动下载:python -c "from ultralytics import YOLO; YOLO('yolov8n.pt')" ``` -#### Q3: 帧率过低 +#### Q3: 点云窗口无法显示 +``` +错误信息:Open3D可视化失败 +解决方法: +1. 确保已安装open3d:pip install open3d +2. 检查LiDAR是否启用(配置文件中use_lidar: true) +3. 按L键开启点云窗口 +``` + +#### Q4: 帧率过低 ``` 现象:FPS低于10 解决方法: 1. 降低图像分辨率(img_width/height) -2. 禁用LiDAR(--no-lidar) +2. 禁用LiDAR(--no-lidar或配置文件中use_lidar: false) 3. 使用更小的YOLO模型(yolov8n.pt) 4. 调整display_fps参数 +5. 关闭点云窗口(按L键) ``` -#### Q4: 内存不足 +#### Q5: 内存不足 ``` 错误信息:CUDA out of memory 解决方法: 1. 减小yolo_imgsz_max参数 2. 降低批次大小 3. 使用CPU模式(device: 'cpu') -``` - -#### Q5: CARLA界面不跟随车辆移动 -``` -现象:CARLA窗口视角固定不动 -解决方法: -1. 确保按 V 键切换到正确的视角模式 -2. 检查CARLA服务器是否正常运行 -3. 尝试重新启动程序 -4. 检查`sensors.py`中的`SpectatorManager`是否正确初始化 +4. 减少NPC车辆数量(num_npcs) +5. 禁用点云可视化 ``` ### 性能优化建议 1. **GPU模式**:确保使用CUDA加速 -2. **分辨率调整**:适当降低图像分辨率 +2. **分辨率调整**:适当降低图像分辨率(640x480) 3. **模型选择**:使用YOLOv8n或YOLOv8s轻量模型 4. **异步处理**:启用检测线程分离 -5. **LiDAR优化**:根据需要调整LiDAR参数 -6. **视角优化**:如果不需要视角跟随,可以减少视角更新频率 +5. **LiDAR优化**:根据需要调整LiDAR参数(channels, range) +6. **点云更新频率**:点云每2帧更新一次,避免性能影响 +7. **关闭不必要的窗口**:不需要时关闭统计面板和点云窗口 ## 📈 性能指标 @@ -313,7 +313,7 @@ display_fps: 30 | 跟踪准确度 | >85% MOTA | | 内存占用 | 2-3GB | | GPU占用 | 3-4GB | -| 视角更新延迟 | <50ms | +| 点云更新频率 | 15 FPS | ## 📝 数据记录 @@ -322,7 +322,7 @@ display_fps: 30 - 截图保存功能(按S键) - 性能数据统计 - 跟踪结果记录 -- 视角模式记录 +- 点云数据可实时查看 ## 🔮 未来计划 @@ -333,7 +333,7 @@ display_fps: 30 - [ ] 支持多摄像头融合 - [ ] 添加ROS2接口支持 - [ ] 实现云端数据记录和分析 -- [ ] 添加更多视角模式(如无人机视角) +- [ ] 点云物体检测与跟踪融合 ## 📄 许可证 @@ -343,7 +343,7 @@ display_fps: 30 - [CARLA Simulator](https://carla.org/) - 开源自动驾驶仿真平台 - [Ultralytics YOLOv8](https://github.com/ultralytics/ultralytics) - 先进的目标检测框架 -- [Open3D](http://www.open3d.org/) - 3D数据处理库 +- [Open3D](http://www.open3d.org/) - 3D数据处理和可视化库 - [SORT算法](https://github.com/abewley/sort) - 实时多目标跟踪算法 ## 📚 参考文献 @@ -351,6 +351,7 @@ display_fps: 30 1. Bewley, A., et al. "Simple online and realtime tracking." ICIP 2016. 2. Redmon, J., et al. "YOLOv3: An Incremental Improvement." arXiv 2018. 3. Dosovitskiy, A., et al. "CARLA: An Open Urban Driving Simulator." CoRL 2017. +4. Zhou, Q., et al. "Open3D: A Modern Library for 3D Data Processing." arXiv 2018. ## 👥 贡献指南 @@ -362,4 +363,4 @@ display_fps: 30 --- -**提示**:运行前请确保CARLA服务器已正确启动,并检查防火墙设置允许相关端口通信。按 V 键可以切换CARLA窗口的视角模式,让界面跟随车辆移动。 \ No newline at end of file +**提示**:运行前请确保CARLA服务器已正确启动,并检查防火墙设置允许相关端口通信。首次运行时可能需要下载YOLOv8模型文件(约6MB) \ No newline at end of file diff --git a/src/tracking_car/config.yaml b/src/tracking_car/config.yaml index c3172b2713..209856d86a 100644 --- a/src/tracking_car/config.yaml +++ b/src/tracking_car/config.yaml @@ -55,8 +55,7 @@ det_label_font_scale: 0.5 det_label_padding: 5 view: -default_mode: "satellite" # 默认视角模式: satellite, behind, first_person -satellite_height: 50.0 # 卫星视角高度(米) -behind_distance: 10.0 # 后方视角距离(米) -first_person_height: 1.6 # 第一人称视角高度 -update_frequency: 1.0 # 视角更新频率(Hz),1.0=每秒更新一次 \ No newline at end of file +default_mode: "satellite" # 默认视角模式: satellite, behind, first_person +satellite_height: 50.0 # 卫星视角高度(米) +behind_distance: 10.0 # 后方视角距离(米) +first_person_height: 1.6 # 第一人称视角高度(米) \ No newline at end of file diff --git a/src/tracking_car/main.py b/src/tracking_car/main.py index bc5a996aa5..46de81d9b4 100644 --- a/src/tracking_car/main.py +++ b/src/tracking_car/main.py @@ -260,7 +260,118 @@ def __init__(self, config): self.cpu_usage_history = [] self.memory_usage_history = [] - logger.info("[OK] Visualizer initialized (Color ID encoding + Independent statistics window)") + # 3D点云可视化相关属性(新增) + self.show_pointcloud = False # 是否显示点云窗口 + self.pcd_window_name = "LiDAR Point Cloud" + self.pcd_vis = None # Open3D可视化器对象 + self.pcd_geometry_added = False + self.pcd_update_counter = 0 # 点云更新计数器 + + logger.info("[OK] Visualizer initialized (Color ID encoding + Independent statistics window + PointCloud)") + + def init_pointcloud_visualizer(self): + """初始化点云可视化器""" + if not self.config.get('use_lidar', True): + return False + + try: + import open3d as o3d + self.pcd_vis = o3d.visualization.Visualizer() + self.pcd_vis.create_window( + window_name=self.pcd_window_name, + width=800, + height=600, + left=100, + top=100 + ) + + # 设置背景颜色 + opt = self.pcd_vis.get_render_option() + opt.background_color = np.array([0.1, 0.1, 0.1]) # 深灰色背景 + opt.point_size = 1.5 + + self.pcd_geometry_added = False + logger.info("[POINTCLOUD] 点云可视化器初始化完成") + return True + + except Exception as e: + logger.warning(f"点云可视化器初始化失败: {e}") + return False + + def update_pointcloud(self, pointcloud_data): + """ + 更新点云显示 + + Args: + pointcloud_data: 点云数据 (numpy array) + """ + if not self.show_pointcloud or not self.pcd_vis or pointcloud_data is None: + return + + try: + # 每2帧更新一次,避免性能问题 + self.pcd_update_counter += 1 + if self.pcd_update_counter % 2 != 0: + return + + import open3d as o3d + + # 创建点云对象 + pcd = o3d.geometry.PointCloud() + pcd.points = o3d.utility.Vector3dVector(pointcloud_data) + + # 根据高度着色 + if len(pointcloud_data) > 0: + z_min = pointcloud_data[:, 2].min() + z_max = pointcloud_data[:, 2].max() + z_range = max(z_max - z_min, 1e-6) + + colors = np.zeros((len(pointcloud_data), 3)) + normalized_z = (pointcloud_data[:, 2] - z_min) / z_range + colors[:, 0] = normalized_z # 红色通道(高处) + colors[:, 2] = 1 - normalized_z # 蓝色通道(低处) + pcd.colors = o3d.utility.Vector3dVector(colors) + + # 更新或添加几何体 + if not self.pcd_geometry_added: + self.pcd_vis.add_geometry(pcd) + self.pcd_geometry_added = True + else: + self.pcd_vis.clear_geometries() + self.pcd_vis.add_geometry(pcd) + + # 更新可视化 + self.pcd_vis.poll_events() + self.pcd_vis.update_renderer() + + except Exception as e: + logger.warning(f"更新点云失败: {e}") + + def toggle_pointcloud_display(self): + """切换点云显示""" + if not self.config.get('use_lidar', True): + logger.warning("LiDAR功能已禁用,无法显示点云") + return + + self.show_pointcloud = not self.show_pointcloud + + if self.show_pointcloud: + # 初始化点云可视化器 + if not self.pcd_vis: + if not self.init_pointcloud_visualizer(): + self.show_pointcloud = False + return + logger.info("[POINTCLOUD] 点云显示已开启") + else: + # 关闭点云窗口 + if self.pcd_vis: + try: + self.pcd_vis.destroy_window() + except: + pass + self.pcd_vis = None + self.pcd_geometry_added = False + logger.info("[POINTCLOUD] 点云显示已关闭") def _get_behavior_color(self, track_info): """ @@ -852,7 +963,7 @@ def _draw_info_panel(self, image, track_count): h, w = image.shape[:2] # Information panel background (semi-transparent black) - panel_height = 80 + panel_height = 100 overlay = image.copy() cv2.rectangle(overlay, (0, 0), (w, panel_height), (0, 0, 0), -1) image = cv2.addWeighted(overlay, 0.7, image, 0.3, 0) @@ -866,7 +977,8 @@ def _draw_info_panel(self, image, track_count): status_lines = [ f"Tracked Objects: {track_count}", f"ESC: Exit | W: Weather | S: Screenshot", - f"P: Pause | T: Stats Window | M: Color Legend" + f"P: Pause | T: Stats Window | M: Color Legend", + f"L: PointCloud | V: View Mode" # 添加点云提示 ] # Draw status information @@ -994,6 +1106,14 @@ def show(self, image, stats_data=None): def destroy(self): """Destroy all windows""" + # 销毁点云可视化器 + if self.pcd_vis: + try: + self.pcd_vis.destroy_window() + except: + pass + + # 销毁其他窗口 cv2.destroyAllWindows() logger.info("[OK] All visualization windows closed") @@ -1186,6 +1306,11 @@ def _collect_statistics_data(self, fps, detection_time, tracking_time, tracks_in # Detection thread status detection_thread_status = 'Running' if self.detection_thread and self.detection_thread.is_alive() else 'Not running' + # 点云状态(新增) + pointcloud_status = 'Enabled' if self.config.get('use_lidar', True) else 'Disabled' + if self.visualizer: + pointcloud_status += ' | Showing' if self.visualizer.show_pointcloud else ' | Hidden' + return { # System status 'fps': fps, @@ -1206,6 +1331,11 @@ def _collect_statistics_data(self, fps, detection_time, tracking_time, tracks_in 'avg_tracking_time': tracking_time * 1000, # Convert to milliseconds 'avg_frame_time': perf_stats.get('avg_frame_time', 0), + # 点云状态(新增) + 'pointcloud_status': pointcloud_status, + 'pointcloud_enabled': self.config.get('use_lidar', True), + 'pointcloud_showing': self.visualizer.show_pointcloud if self.visualizer else False, + # Raw data (for charts) 'detection_time': detection_time, 'tracking_time': tracking_time, @@ -1299,6 +1429,10 @@ def run(self): tracks_info=tracks_info ) + # 添加点云显示(新增) + if sensor_data.get('pointcloud') is not None: + self.visualizer.update_pointcloud(sensor_data['pointcloud']) + # Add color legend (if enabled) if self.show_legend: result_image = self.visualizer.draw_color_legend(result_image) @@ -1380,6 +1514,11 @@ def _handle_keyboard_input(self, key): status = "Show" if self.show_legend else "Hide" logger.info(f"[LEGEND] Color legend: {status}") + # L键切换点云显示(新增) + elif key == ord('l') or key == ord('L'): + if self.visualizer: + self.visualizer.toggle_pointcloud_display() + # 新增:V键切换视角模式 elif key == ord('v') or key == ord('V'): if self.sensor_manager: diff --git a/src/tracking_car/sensors.py b/src/tracking_car/sensors.py index 99e863441d..7270c7135e 100644 --- a/src/tracking_car/sensors.py +++ b/src/tracking_car/sensors.py @@ -386,9 +386,11 @@ def __init__(self, world, ego_vehicle, config): self.ego_vehicle = ego_vehicle self.config = config self.spectator = None - self.view_mode = 'satellite' # 视角模式: 'satellite', 'behind', 'first_person' - self.view_height = 50.0 # 卫星视角高度 - self.follow_distance = 10.0 # 后方视角距离 + view_config = config.get('view', {}) + self.view_mode = view_config.get('default_mode', 'satellite') + self.view_height = view_config.get('satellite_height', 50.0) + self.follow_distance = view_config.get('behind_distance', 10.0) + self.first_person_height = view_config.get('first_person_height', 1.6) def setup(self): """设置视角""" @@ -502,7 +504,7 @@ def _set_first_person_view(self): location = carla.Location( x=vehicle_transform.location.x, y=vehicle_transform.location.y, - z=vehicle_transform.location.z + 1.6 # 驾驶员眼睛高度 + z=vehicle_transform.location.z + self.first_person_height # 改为使用配置 ) # 使用车辆的方向