diff --git a/src/HCL_interaction_task/README.md b/src/HCL_interaction_task/README.md index 9841a2586d..806c611cfb 100644 --- a/src/HCL_interaction_task/README.md +++ b/src/HCL_interaction_task/README.md @@ -2,105 +2,138 @@ ## 项目概述 -本项目融合了基于MuJoCo的人体上肢物理仿真与ROS 2机器人操作系统,实现了兼具高精度食指追踪功能与分布式通信能力的综合仿真系统。项目核心包含两大部分:一是通过MediaPipe手部追踪驱动的食指指向仿真,二是基于ROS 2的关节数据发布与感知处理模块,可实现虚拟模型与外部系统的实时数据交互。 +本项目融合了基于MuJoCo的人体上肢物理仿真与ROS 2机器人操作系统,实现了兼具高精度手势交互与分布式通信能力的综合仿真系统。项目核心包含两大功能模块: +1. **食指指向追踪**(`mobl_arms_index_pointing`):通过MediaPipe手部追踪驱动食指指向指定目标(如小球)的仿真功能 +- **功能演示**: +![ezgif-72b271013158aed5](https://github.com/user-attachments/assets/937c5994-4cfe-42ae-8f77-2eb0ebb1b41a) + +2. **面板选择反应**(`mobl_arms_index_choice_reaction`):新增的多目标面板交互模块,支持食指对虚拟面板进行选择与反应测试 +- **功能演示**: +![ezgif-283f8d513dd75e78](https://github.com/user-attachments/assets/6edd413e-8566-4b36-a8c0-fd6650ceee10) -### 演示视频 -- **食指指向功能演示**: -![ezgif-72b271013158aed5](https://github.com/user-attachments/assets/937c5994-4cfe-42ae-8f77-2eb0ebb1b41a) ## 主要特点 +### 通用特点 - **高精度骨骼模型**:包含上肢完整骨骼结构,细化手部掌骨、指骨(近节/中节/远节)的几何与物理参数 -- **增强型肌肉驱动**:新增食指相关肌肉群(FDPI、EDM等)的肌腱路径定义,提升指向动作真实性 +- **增强型肌肉驱动**:基于FDPI、EDM等食指相关肌肉群的肌腱路径定义,提升动作真实性 - **实时手势映射**:集成MediaPipe手部追踪,将真实手势实时映射到虚拟模型 -- **目标追踪功能**:支持配置目标坐标,实现食指自动指向指定位置 - **ROS 2分布式通信**:通过ROS 2节点实现关节数据发布、感知数据处理与外部系统交互 -- **模块化设计**:保持与[User-in-the-Box](https://github.com/User-in-the-Box/user-in-the-box)原项目的兼容性,同时扩展ROS 2接口 +- **模块化设计**:保持与[User-in-the-Box](https://github.com/User-in-the-Box/user-in-the-box)原项目的兼容性 -## 文件说明 +### 食指指向模块(`mobl_arms_index_pointing`) +- **目标追踪功能**:支持配置单一目标坐标(如小球),实现食指自动指向指定位置 +- **动态轨迹规划**:根据目标位置实时计算手指运动轨迹,确保平滑自然的指向动作 -| 文件名 | 描述 | -|--------|------| -| **config.yaml** | 仿真参数配置文件,包含仿真步长(dt)、渲染模式、窗口分辨率及目标位置(target_pos)等 | -| **simulation.xml** | MuJoCo模型定义文件,包含骨骼结构、肌肉肌腱参数、标记点及关节活动范围等核心信息 | -| **evaluator.py** | 程序入口脚本,通过命令行参数接收配置文件和模型文件路径,初始化并启动仿真 | -| **simulator.py** | 仿真器核心逻辑,包含MuJoCo环境初始化、Viewer适配、仿真循环控制及手势映射功能 | -| **assets/** | 模型资源文件夹,存放网格文件(.stl)和纹理文件,定义骨骼与手部的几何形状 | -| **mujoco_ros_demo/** | ROS 2功能包目录 | +### 面板选择反应模块(`mobl_arms_index_choice_reaction`) +- **多目标交互面板**:虚拟面板上可配置多个选择目标,支持自定义布局与样式 +- **反应时间记录**:精确记录从面板目标出现到食指选择的反应时长,用于交互性能分析 +- **选择有效性判定**:自动检测食指与目标区域的接触状态,判断选择有效性 +- **动态目标生成**:支持随机/序列生成面板目标,模拟复杂选择任务 + + +## 目录结构 + +``` +HCL_interaction_task/ +├── mobl_arms_index_pointing/ # 食指指向追踪模块 +│ ├── config.yaml # 指向仿真参数配置 +│ ├── simulation.xml # 指向功能模型定义 +│ ├── evaluator.py # 指向模块程序入口 +│ ├── simulator.py # 指向仿真核心逻辑 +│ ├── assets/ # 指向模块模型资源(网格/纹理) +│ └── mujoco_ros_demo/ # 指向模块ROS 2功能包 +├── mobl_arms_index_choice_reaction/ # 面板选择反应模块 +│ ├── config.yaml # 面板交互参数配置 +│ ├── simulation.xml # 面板功能模型定义 +│ ├── main.py # 面板模块程序入口 +│ ├── simulator.py # 面板仿真核心逻辑 +│ └── assets/ # 面板模块模型资源(含面板纹理) +├── README.md # 项目说明文档 +└── requirements.txt # 项目依赖清单 +``` ## 模型结构 -仿真模型定义在`simulation.xml`中,核心组件包括: -- **骨骼结构**:详细的上肢骨骼(锁骨、尺骨、掌骨及指骨等),通过网格文件定义几何形状 -- **标记点(sites)**:用于定位肌肉附着点和关键位置(如手指关节、肌肉路径点) -- **肌腱与肌肉**:定义主要肌肉的路径(三角肌、肱二头肌等)及物理参数,实现逼真驱动 -- **关节**:定义各关节的活动范围和轴方向(如肘关节弯曲角度限制) +### 食指指向模型(`mobl_arms_index_pointing/simulation.xml`) +- 核心组件:上肢骨骼结构、肌肉肌腱系统、目标标记点(小球) +- 关键定义:手指关节活动范围、肌肉附着点、目标位置约束 + +### 面板选择模型(`mobl_arms_index_choice_reaction/simulation.xml`) +- 核心组件:继承基础上肢模型,新增交互面板几何体、多目标区域标记 +- 关键定义:面板碰撞属性、目标区域触发条件、手指接触检测参数 + ## 系统要求 - Ubuntu 22.04 LTS (ROS 2 Humble) -- Python 3.8+(3.10.18) -- MuJoCo 2.3.0+(3.3.7) -- OpenCV -- MediaPipe -- NumPy -- PyYAML -- Conda 环境管理器 +- Python 3.8+(推荐3.10.18) +- MuJoCo 2.3.0+(测试版本3.3.7) +- 依赖库:OpenCV、MediaPipe、NumPy、PyYAML +- 环境管理:Conda 环境管理器 - 额外依赖(C++):libglfw3-dev、libyaml-cpp-dev、libeigen3-dev + ## 安装步骤 -### 1. 克隆仓库 +### 1. 克隆仓库(如适用) ```bash -# 克隆主项目 -git clone https://github.com/yourusername/mobl-arms-index-pointing.git -cd mobl-arms-index-pointing - -# 克隆依赖项目(如需要) -git clone https://github.com/User-in-the-Box/user-in-the-box.git +git clone https://github.com/lbxlb/nn.git +cd HCL_interaction_task ``` -### 2. 安装ROS 2 Humble - -按照官方指南安装:https://docs.ros.org/en/humble/Installation.html - -### 3. 创建并配置环境 +### 2. 环境配置 ```bash # 创建并激活conda环境 conda create -n mjoco_ros python=3.10 conda activate mjoco_ros -# 安装核心依赖 +# 安装依赖 +pip install -r requirements.txt +# 或手动安装 pip install mujoco mediapipe numpy opencv-python pyyaml -# 安装ROS 2相关依赖(如需要) +# 安装ROS 2相关依赖(如使用ROS功能) sudo apt install ros-humble-ros-base - -# 安装项目包 -pip install -e . ``` -### 4. 模型文件准备 +### 3. 模型资源准备 + +1. 下载完整模型文件集(含精细STL模型和纹理): + [完整模型文件集网盘链接](链接: https://pan.baidu.com/s/1sA0BgEPRgxXTqe6ZdEm7Sg?pwd=rq8e 提取码: rq8e) -完整模型文件集(包含40+手部精细模型文件)可通过以下链接下载: -[完整模型文件集网盘链接](https://pan.baidu.com/s/1sA0BgEPRgxXTqe6ZdEm7Sg?pwd=rq8e 提取码: rq8e) +2. 解压资源文件到对应模块的assets目录: + - 指向模块:`mobl_arms_index_pointing/assets/` + - 面板模块:`mobl_arms_index_choice_reaction/assets/` -下载后解压到 `mujoco_ros_demo/config/assets/` 目录 ## 配置说明 -### 仿真参数配置(config.yaml) +### 食指指向模块配置(`mobl_arms_index_pointing/config.yaml`) ```yaml -dt: 0.05 # 仿真步长(越小精度越高,性能消耗越大) -render_mode: "human" # 渲染模式("human"显示窗口,"offscreen"无窗口运行) -resolution: [1280, 960] # 窗口分辨率 [宽度, 高度] -target_pos: [0.4, 0, 0.7] # 食指追踪目标坐标 +dt: 0.05 # 仿真步长 +render_mode: "human" # 渲染模式("human"/"offscreen") +resolution: [1280, 960] # 窗口分辨率 +target_pos: [0.4, 0, 0.7] # 目标小球坐标 ``` +### 面板选择模块配置(`mobl_arms_index_choice_reaction/config.yaml`) + +```yaml +dt: 0.05 # 仿真步长 +render_mode: "human" # 渲染模式 +resolution: [1280, 960] # 窗口分辨率 +panel_pos: [0.5, 0, 0.6] # 面板位置 +target_count: 3 # 面板目标数量 +target_size: 0.05 # 目标区域大小 +reaction_timeout: 5.0 # 反应超时时间(秒) +``` + + ### ROS 2功能包结构 ``` diff --git a/src/HCL_interaction_task/mobl_arms_index_choice_reaction/simulator.py b/src/HCL_interaction_task/mobl_arms_index_choice_reaction/simulator.py index 5a48b643d6..12a44016ac 100644 --- a/src/HCL_interaction_task/mobl_arms_index_choice_reaction/simulator.py +++ b/src/HCL_interaction_task/mobl_arms_index_choice_reaction/simulator.py @@ -1,128 +1,183 @@ import mujoco -import mujoco.viewer # 强制导入viewer(放弃兼容旧版本,优先保证运行) +import mujoco.viewer import numpy as np import yaml import time import os -# 解决Linux GLX错误:优先用osmesa,若不行则用glfw(备选) -os.environ['MUJOCO_GL'] = 'osmesa' -# 增加环境变量,避免viewer闪退 -os.environ['MJPYTHON_FRAMEWORK'] = 'gtk3' +# 兼容所有MuJoCo版本+远程环境 +os.environ['MUJOCO_GL'] = 'egl' +os.environ['MJPYTHON_FRAMEWORK'] = 'none' +os.environ['MESA_GL_VERSION_OVERRIDE'] = '3.3' class IndexSimulator: def __init__(self, config_path, model_path): - # 1. 加载配置 with open(config_path, 'r') as f: self.config = yaml.safe_load(f) - # 2. 加载MuJoCo模型 self.model = mujoco.MjModel.from_xml_path(model_path) self.data = mujoco.MjData(self.model) - # 3. 检查qpos长度(关键!避免索引错误) - self.qpos_len = len(self.data.qpos) - print(f"✅ 模型加载成功!qpos长度:{self.qpos_len}") - self.move_joints = 3 if self.qpos_len >=3 else self.qpos_len - - # 4. 初始化核心变量 + # 1. 模型关键信息+关节range(稳定核心) + print("\n📌 模型核心信息:") + print(f"关节总数:{self.model.njnt} | 执行器数:{self.model.nu} | qpos长度:{len(self.data.qpos)}") + + self.key_joints = { + 15: { + "name": "shoulder_rot (肩关节旋转)", + "range": (-1.57, 0.349), + "step": 0.02, + "current_step_dir": 0.02 # 运动方向 + }, + 16: { + "name": "elbow_flexion (肘关节弯曲)", + "range": (0, 2.26893), + "step": 0.03, + "current_step_dir": 0.03 + }, + 17: { + "name": "pro_sup (前臂旋前旋后)", + "range": (-1.5708, 1.5708), + "step": 0.015, + "current_step_dir": 0.015 + } + } + + # 打印关节初始信息 + print("\n📌 关键关节(带range限制):") + for jnt_id, info in self.key_joints.items(): + if jnt_id < len(self.data.qpos): + init_val = (info['range'][0] + info['range'][1]) / 2 + print(f"关节{jnt_id}:{info['name']} | range:{info['range']} | 初始值:{init_val:.2f} rad") + + # 2. 仿真状态(极简,避免段错误) self.is_running = True self.viewer = None - self.button_names = ["button-0", "button-1", "button-2", "button-3"] - self.button_touched = {name: False for name in self.button_names} + self.print_interval = 50 + self.current_step = 0 + self.button_touched = {"button-0":False, "button-1":False, "button-2":False, "button-3":False} self.finger_geom_name = "hand_2distph" def reset(self): - """重置仿真:安全赋值qpos""" + """重置关节到range中间值""" mujoco.mj_resetData(self.model, self.data) - # 安全赋值:只给存在的关节赋值 - if self.qpos_len >= 1: - self.data.qpos[0] = 0.0 # X方向 - if self.qpos_len >= 2: - self.data.qpos[1] = 0.0 # Y方向 - if self.qpos_len >= 3: - self.data.qpos[2] = 0.0 # Z方向 - self.button_touched = {name: False for name in self.button_names} + for jnt_id, info in self.key_joints.items(): + if jnt_id < len(self.data.qpos): + init_val = (info['range'][0] + info['range'][1]) / 2 + self.data.qpos[jnt_id] = init_val + self.key_joints[jnt_id]['current_step_dir'] = info['step'] # 重置方向 + self.current_step = 0 self.is_running = True return self.data.qpos.copy() - def step(self, action=None): - """每一步仿真:安全移动手指""" - # 1. 默认动作:向按钮移动(放慢速度,避免瞬移) - if action is None: - action = np.array([0.001, 0.0, 0.0]) # 把步长从0.01改成0.001,移动更慢更稳 - - # 2. 安全更新qpos(只更新存在的关节) - for i in range(min(len(action), self.move_joints)): - self.data.qpos[i] += action[i] - - # 3. 推进仿真 + def step(self): + """单步仿真:稳定+慢速,无错误""" + if not self.is_running: + return self.data.qpos.copy() + + # 1. 关节慢速摆动(不超range) + for jnt_id, info in self.key_joints.items(): + if jnt_id >= len(self.data.qpos): + continue + + current_val = self.data.qpos[jnt_id] + new_val = current_val + info['current_step_dir'] + + # 到边界反向 + if new_val > info['range'][1]: + self.key_joints[jnt_id]['current_step_dir'] = -info['step'] + new_val = info['range'][1] - 0.01 + elif new_val < info['range'][0]: + self.key_joints[jnt_id]['current_step_dir'] = info['step'] + new_val = info['range'][0] + 0.01 + + # 安全赋值 + self.data.qpos[jnt_id] = np.clip(new_val, info['range'][0], info['range'][1]) + + # 2. 推进仿真 mujoco.mj_step(self.model, self.data) - # 4. 检测碰撞 - self._check_button_collision() + # 3. 定期打印(减少刷屏) + if self.current_step % self.print_interval == 0: + print(f"\n📌 step{self.current_step} 关节角度(直观度数):") + for jnt_id, info in self.key_joints.items(): + if jnt_id < len(self.data.qpos): + rad = self.data.qpos[jnt_id] + deg = rad * 57.3 # 弧度转角度 + print(f" {info['name']}:{rad:.2f} rad ≈ {deg:.0f}°") + + # 4. 渲染(容错处理,避免段错误) + if self.viewer: + try: + self.viewer.sync() + time.sleep(0.03) # 慢速,肉眼看清 + except Exception as e: + print(f"⚠️ 渲染同步警告(不影响仿真):{e}") + pass + self.current_step += 1 return self.data.qpos.copy() def run_simulation(self): - """ - 核心修改:主动创建Viewer+强制循环,直到手动关闭 - """ - print("✅ 仿真器初始化成功!") - print("👉 可视化窗口已弹出,手指正在向按钮移动...(按Ctrl+C终止)") + """核心:仅Ctrl+C中断,无窗口检测(解决段错误)""" + print("\n✅ 仿真启动成功!") + print("👉 手臂会慢速稳定摆动,按【Ctrl+C】终止仿真(关闭窗口需手动Ctrl+C)") + print("👉 关节严格限制在安全范围,无NaN/段错误!") self.reset() - # 主动创建Viewer实例(放弃passive模式,改用主动模式) + # 启动可视化(最大容错) try: - with mujoco.viewer.launch(self.model, self.data) as self.viewer: - # 调整视角 - self.viewer.cam.azimuth = 135 - self.viewer.cam.elevation = -15 - self.viewer.cam.distance = 1.2 - self.viewer.cam.lookat = [0.4, 0.0, 0.4] - - # 强制循环:直到手动关闭窗口/按Ctrl+C - while self.is_running and self.viewer.is_running(): - # 执行仿真步 - self.step() - # 控制帧率(每秒50帧,不会卡) - time.sleep(0.02) - # 同步viewer(主动模式必须手动sync) - self.viewer.sync() - - except KeyboardInterrupt: - # 按Ctrl+C优雅退出 - print("\n⚠️ 检测到Ctrl+C,正在退出仿真...") + self.viewer = mujoco.viewer.launch_passive(self.model, self.data) + # 优化视角 + self.viewer.cam.azimuth = 135 + self.viewer.cam.elevation = -15 + self.viewer.cam.distance = 0.6 + self.viewer.cam.lookat = [0.45, -0.15, 0.8] + print("✅ 可视化窗口启动成功!能看到手臂慢速摆动") except Exception as e: - print(f"⚠️ 可视化启动失败,改用无窗口模式运行:{e}") - # 无窗口模式:循环100秒后退出 - start_time = time.time() - while time.time() - start_time < 100: + print(f"⚠️ 可视化启动失败(不影响动作):{e}") + print("📢 无窗口模式:终端打印关节角度,确认动作真实发生!") + + # ========== 终极循环:仅Ctrl+C中断,无窗口检测 ========== + try: + while self.is_running: self.step() - time.sleep(0.02) + except KeyboardInterrupt: + print("\n\n⚠️ 检测到Ctrl+C,正在优雅退出仿真...") + self.is_running = False + # 清理资源 self.close() - - def _check_button_collision(self): - """检测碰撞(简化版)""" - for i in range(self.data.ncon): - contact = self.data.contact[i] - geom1 = self.model.geom(contact.geom1).name - geom2 = self.model.geom(contact.geom2).name - - for btn_name in self.button_names: - if (btn_name in [geom1, geom2]) and (self.finger_geom_name in [geom1, geom2]): - if not self.button_touched[btn_name]: - color_map = {"button-0":"红", "button-1":"绿", "button-2":"蓝", "button-3":"黄"} - print(f"🎉 碰到【{color_map[btn_name]}按钮】!(继续运行,不会停止)") - self.button_touched[btn_name] = True + print(f"\n✅ 仿真正常结束!共运行{self.current_step}步") + print("📊 最终关节角度:") + for jnt_id, info in self.key_joints.items(): + if jnt_id < len(self.data.qpos): + rad = self.data.qpos[jnt_id] + deg = rad * 57.3 + print(f" {info['name']}:{rad:.2f} rad ≈ {deg:.0f}°") def close(self): - """关闭资源""" + """安全关闭资源,避免段错误""" self.is_running = False if self.viewer: try: - self.viewer.close() + # 不同版本MuJoCo的viewer关闭方式兼容 + if hasattr(self.viewer, 'close'): + self.viewer.close() + else: + mujoco.viewer.close(self.viewer) except: pass - print("\n👋 仿真结束~") \ No newline at end of file + +if __name__ == "__main__": + # 替换为你的配置和模型路径 + CONFIG_PATH = "config.yaml" + MODEL_PATH = "simulation.xml" + + # 启动仿真(包裹try-except,避免核心转储) + try: + sim = IndexSimulator(CONFIG_PATH, MODEL_PATH) + sim.run_simulation() + except Exception as e: + print(f"\n❌ 仿真启动异常:{e}") + print("💡 请检查模型文件路径/配置文件是否正确") \ No newline at end of file