diff --git a/src/self_driving_car_navigation/README.md b/src/self_driving_car_navigation/README.md index 8fb3467c36..36bca70ea0 100644 --- a/src/self_driving_car_navigation/README.md +++ b/src/self_driving_car_navigation/README.md @@ -1,7 +1,11 @@ -# 自动驾驶仿真学习环境(基于Carla与Python3.7) +# 自动驾驶仿真学习环境(基于Carla与Python3.7,集成ROS) + +本项目基于[MMAP-DRL-Nav](https://github.com/CV4RA/MMAP-DRL-Nav)的核心架构,实现了一套“多模态感知+深度强化学习(DRL)+ROS部署”的自动驾驶导航系统。项目分为**Win11环境下的机器学习核心模块**(模型训练、CARLA仿真交互)和**Ubuntu ROS环境下的节点封装模块**(实时感知决策),可完成从多传感器数据融合到车辆控制指令输出的全流程,适用于自动驾驶导航算法的学习、验证与二次开发。 + + +## 项目核心目标 +通过融合视觉图像、激光雷达(LiDAR)、IMU等多源异构传感器数据,利用注意力机制完成特征融合,结合深度强化学习(DQN)训练决策模型,最终通过ROS节点输出车辆线速度/角速度控制指令,在CARLA仿真环境中验证“避障、路径跟踪、目标导航”等核心导航能力。 -## 项目概述 -本项目构建了基于Carla 0.9.11仿真平台和Python 3.7的自动驾驶学习环境,适用于车辆控制、场景感知、路径规划等自动驾驶相关算法的学习与实践。通过VSCode开发环境实现代码编写、调试与运行的一体化流程,支持从基础车辆控制到复杂场景仿真的完整学习路径。 ## 环境准备 @@ -25,111 +29,103 @@ pip install numpy opencv-python matplotlib vscode-debugpy 2. 安装[VSCode](https://code.visualstudio.com/)并配置Python 3.7解释器 3. 推荐插件:Python、Pylance、Code Runner(提升开发效率) -## 项目结构 - -| 文件名 | 功能描述 | -|-------------------|--------------------------------------------------------------| -| `main.py` | 核心程序入口,实现Carla客户端连接、世界初始化与主循环控制 | -| `vehicle_control.py`| 车辆控制模块,实现油门、刹车、转向等基础控制逻辑 | -| `scene_generation.py`| 场景生成工具,支持随机障碍物、天气变化与交通参与者生成 | -| `sensor_manager.py`| 传感器管理模块,处理摄像头、激光雷达等数据采集与解析 | -| `utils.py` | 通用工具函数,包含坐标转换、数据可视化等辅助功能 | -| `config.yaml` | 配置文件,存储仿真参数(如帧率、传感器类型、车辆模型等) | -| `README.md` | 项目说明文档 | - -## 核心功能 - -### 1. 基础车辆控制(main.py & vehicle_control.py) -- 客户端连接管理:自动连接Carla服务器,支持断开重连机制 -- 多车辆控制:同时控制多辆自动驾驶车辆,实现编队行驶模拟 -- 控制模式切换:支持手动控制(键盘)与自动控制(程序)模式切换 -- 状态实时反馈:在VSCode终端输出车辆速度、位置等关键信息 - -```python -# 车辆控制逻辑示例 -import carla - -# 连接到Carla服务器 -client = carla.Client('localhost', 2000) -client.set_timeout(10.0) -world = client.get_world() - -# 获取车辆控制器 -vehicle = world.get_actors().filter('*vehicle*')[0] -control = carla.VehicleControl() - -# 设定前进指令(油门0.5,转向0) -control.throttle = 0.5 -control.steer = 0.0 -vehicle.apply_control(control) -``` +# 自动驾驶车辆导航系统 -### 2. 场景仿真与传感器(scene_generation.py & sensor_manager.py) -- 动态场景生成:支持随机天气(雨、雾、时间)、障碍物与交通灯配置 -- 多传感器集成:摄像头(RGB/深度)、激光雷达、毫米波雷达数据采集 -- 数据同步存储:传感器数据与车辆状态时间戳同步,便于离线分析 -- VSCode调试支持:断点调试传感器数据处理流程,直观查看数据格式 - -```python -# 传感器配置示例 -def setup_camera(world, vehicle): - camera_bp = world.get_blueprint_library().find('sensor.camera.rgb') - camera_bp.set_attribute('image_size_x', '1280') - camera_bp.set_attribute('image_size_y', '720') - # 安装在车辆前方 - transform = carla.Transform(carla.Location(x=1.5, z=2.4)) - camera = world.spawn_actor(camera_bp, transform, attach_to=vehicle) - # 定义数据回调函数 - camera.listen(lambda image: process_image(image)) - return camera -``` -### 3. 学习任务支持 -- 路径跟踪练习:预设参考路径,实现PID等控制算法跟踪 -- 避障场景训练:生成动态障碍物,练习碰撞检测与规避逻辑 -- 数据采集工具:批量采集不同场景下的传感器数据,用于模型训练 +## 核心模块 -## 使用方法 +### 1. 感知模块 +- `perception_module.py`:处理多传感器输入(IMU、相机图像、激光雷达)的神经网络模块,包括: + - 用于视觉场景理解的语义分割网络 + - 基于1D卷积的激光雷达特征提取 + - 处理激光雷达数据的障碍物检测子网络 + - 输出场景信息、分割结果、里程计、障碍物和边界特征 -1. 启动Carla服务器: -```bash -# 在Carla安装目录下执行 -./CarlaUE4.sh # Linux/Mac -CarlaUE4.exe # Windows -``` +- `ros/perception_module.py`:ROS优化的感知模块,具有: + - 传感器数据扁平化与拼接处理 + - 基于线性层的特征融合 + - 使用`cv_bridge`实现ROS图像与张量的转换 -2. 基础车辆控制示例: -```bash -python main.py --mode manual # 手动控制模式 -python main.py --mode auto # 自动控制模式 -``` -3. 场景仿真运行: -```bash -python scene_generation.py --weather rain --obstacles 5 -``` +### 2. 跨域注意力融合 +- `attention_module.py`:实现`CrossDomainAttention`类用于多模态特征融合: + - 将异质输入(4D/2D张量)调整为统一的3D格式`[batch, seq_len, features]` + - 通过动态线性层对齐特征维度 + - 使用带残差连接和层归一化的多头自注意力块 + - 拼接并融合场景、分割、里程计、障碍物和边界数据的特征 -4. 传感器数据采集: -```bash -python sensor_manager.py --record --output ./data -``` -### VSCode开发提示 -- 按`F5`启动调试模式(需配置`.vscode/launch.json`) -- 使用Code Runner插件(右键`Run Code`)快速执行单文件 -- 推荐使用VSCode的Jupyter插件进行分步调试与数据可视化 +### 3. 决策模块 +- `decision_module.py`:核心决策网络,具有: + - 生成动作分布(转向角、油门)的策略网络 + - 从融合特征估计状态价值的价值网络 + - 通过均值池化聚合时序特征 + +- `ros/decision_module.py`:兼容ROS的决策模块: + - 用于生成控制指令的序列线性层 + - 将输出限制在安全范围内(线速度:0~2m/s,角速度:-1~1rad/s) + - 返回字典形式的控制指令,便于转换为ROS消息 + + +### 4. 自评估梯度模型 +- `sagm.py`:实现`SelfAssessmentGradientModel`用于动作价值估计: + - 处理拼接的状态-动作特征的全连接网络 + - 输出Q值以评估动作质量 + - 与actor-critic框架集成,用于强化学习更新 + + +### 5. 系统集成 +- `main.py`:定义`IntegratedSystem`类,整合所有模块: + - 端到端流程:多模态输入→感知→注意力融合→决策→自评估 + - 支持MSE损失训练(策略回归+价值估计+Q值匹配) + - 包含带设备管理(CPU/GPU)的训练/测试循环 + + +## ROS集成 +- `ros/CMakeLists.txt`:配置ROS功能包编译: + - 指定Python 3.7环境及依赖(rospy、std_msgs、sensor_msgs、cv_bridge) + - 将Python脚本安装到ROS环境 + - 设置Catkin的包含目录 + +- `ros/package.xml`:ROS功能包元数据,包含依赖和维护者信息 + +- `ros/perception_decision_node.py`:主ROS节点: + - 订阅传感器话题(模拟或真实数据) + - 按指定频率(默认10Hz)运行感知/决策流程 + - 发布控制指令到`/cmd_vel`话题 + +- `ros/ros_test_node.py`:模块验证测试节点: + - 使用模拟传感器数据验证感知/决策工作流 + - 记录特征形状和控制指令日志 + + +## 仿真与训练 +- `carla_environment.py`:CARLA模拟器接口(兼容Gym): + - 管理模拟器连接、车辆生成和传感器设置 + - 配置交通管理器(兼容CARLA 0.9.11)以控制NPC行为 + - 提供观测空间(图像、激光雷达、IMU)和动作接口 + +- `dataloader.py`:数据加载工具: + - `CarlaDataset`类用于处理模拟的CARLA数据 + - 生成图像、激光雷达、IMU和动作数据的批次 + +- `dqn_agent.py`:DQN强化学习实现: + - 经验回放缓冲区 + - ε-贪婪动作选择 + - 带伽马折扣因子的目标网络更新 + +- `run_simulation.py`:CARLA中平滑 spectator 相机控制工具,使用线性插值实现 -## 参数调整指南 -| 参数 | 调整范围 | 效果说明 | -|-------------------|----------|----------------------------------| -| `throttle_gain` | 0.1~1.0 | 增大会提高加速响应,过大会导致打滑 | -| `sensor_fps` | 10~60 | 提高值增加数据精度(增加计算量) | -| `obstacle_density`| 0~20 | 增大会增加场景复杂度 | -| `simulation_delta_seconds`| 0.01~0.1 | 减小值提高仿真精度(降低运行速度)| +## 核心工作流程 +1. **感知**:多传感器数据(图像/激光雷达/IMU)被处理为结构化特征 +2. **融合**:跨域注意力将异质特征合并为统一表示 +3. **决策**:策略网络从融合特征生成控制指令 +4. **评估**:SAGM评估动作质量以指导学习 +5. **ROS集成**:指令发布到车辆控制话题,实现实时执行 ## 参考资料 - [Carla 0.9.11官方文档](https://carla.readthedocs.io/en/0.9.11/) - [Python 3.7官方文档](https://docs.python.org/3.7/) - [VSCode Python开发指南](https://code.visualstudio.com/docs/languages/python) -- [Carla自动驾驶教程](https://carla.readthedocs.io/en/latest/tutorials/) \ No newline at end of file +- [项目来源](https://github.com/CV4RA/MMAP-DRL-Nav) \ No newline at end of file