diff --git a/src/HCL_interaction_task/README.md b/src/HCL_interaction_task/README.md index 806c611cfb..bacbb96ca0 100644 --- a/src/HCL_interaction_task/README.md +++ b/src/HCL_interaction_task/README.md @@ -30,6 +30,9 @@ - **反应时间记录**:精确记录从面板目标出现到食指选择的反应时长,用于交互性能分析 - **选择有效性判定**:自动检测食指与目标区域的接触状态,判断选择有效性 - **动态目标生成**:支持随机/序列生成面板目标,模拟复杂选择任务 +- **任务逻辑闭环**:通过task.py实现奖励机制、超时判断、任务重置的完整逻辑闭环 +- **友好状态提示**:终端实时输出任务进度、奖励数值、碰撞状态,便于调试与分析 + ## 目录结构 @@ -48,6 +51,7 @@ HCL_interaction_task/ │ ├── simulation.xml # 面板功能模型定义 │ ├── main.py # 面板模块程序入口 │ ├── simulator.py # 面板仿真核心逻辑 +│ ├── task.py # 面板任务逻辑核心 │ └── assets/ # 面板模块模型资源(含面板纹理) ├── README.md # 项目说明文档 └── requirements.txt # 项目依赖清单 @@ -65,6 +69,41 @@ HCL_interaction_task/ - 关键定义:面板碰撞属性、目标区域触发条件、手指接触检测参数 + +## 核心模块说明 + +### 面板任务逻辑核心(`mobl_arms_index_choice_reaction/task.py`) +#### 1. 模块作用 +作为面板选择反应模块的「大脑」,负责串联仿真流程与交互逻辑,实现从任务初始化到结果判定的完整闭环,无需侵入修改仿真核心代码,保持模块解耦性。 + +#### 2. 核心功能 +| 功能项 | 详细描述 | +|-----------------------|--------------------------------------------------------------------------| +| 任务初始化/重置 | 支持任务参数加载与状态重置,实现多轮任务自动循环运行 | +| 指尖-目标碰撞检测 | 精准识别食指远节(`hand_2distph`)与面板目标(`button-x`)的接触状态 | +| 奖励机制设计 | 正确选择目标奖励(默认10.0)、超时失败扣分(默认-5.0)、动作成本惩罚(可选) | +| 超时判断 | 基于配置的超时步数/时间,自动判定任务失败并触发重置 | +| 实时状态反馈 | 每50步输出任务进度、剩余步数、当前奖励,便于实时监控仿真过程 | +| 兼容无执行器模型 | 对无肌肉/执行器驱动的模型提供友好提示,不影响任务核心逻辑运行 | + +#### 3. 关键类与方法 +- **`ChoicePanelTask` 类**:任务逻辑封装核心,关联仿真器实例与配置参数 + - `__init__`:初始化任务参数(目标按钮、奖励值、超时步数) + - `reset()`:重置任务状态,用于多轮任务循环 + - `update()`:每步仿真调用,更新任务状态(碰撞检测、奖励计算、超时判断) + - `_check_button_contact()`:内部核心方法,实现指尖与目标的碰撞检测 + +#### 4. 配置依赖 +任务参数完全读取自`config.yaml`,支持灵活配置,无需修改代码: +```yaml +# 任务相关配置(已整合到config.yaml) +target_button: 0 # 目标按钮ID(0-3对应红/绿/蓝/黄) +button_reward: 10.0 # 正确选择奖励值 +effort_cost: 0.01 # 动作成本惩罚系数(有执行器时生效) +timeout: 600 # 任务超时步数(对应仿真时长) +``` + + ## 系统要求 - Ubuntu 22.04 LTS (ROS 2 Humble) @@ -131,6 +170,11 @@ panel_pos: [0.5, 0, 0.6] # 面板位置 target_count: 3 # 面板目标数量 target_size: 0.05 # 目标区域大小 reaction_timeout: 5.0 # 反应超时时间(秒) +# 任务逻辑配置(新增) +target_button: 0 # 目标按钮ID(0-3) +button_reward: 10.0 # 正确选择奖励值 +effort_cost: 0.01 # 动作成本惩罚系数 +timeout: 600 # 任务超时步数 ``` diff --git a/src/HCL_interaction_task/mobl_arms_index_choice_reaction/config.yaml b/src/HCL_interaction_task/mobl_arms_index_choice_reaction/config.yaml index 74b0cdcb77..104edc1f2e 100644 --- a/src/HCL_interaction_task/mobl_arms_index_choice_reaction/config.yaml +++ b/src/HCL_interaction_task/mobl_arms_index_choice_reaction/config.yaml @@ -1,2 +1,8 @@ +# 原有配置 dt: 0.01 # 仿真步长(调慢一点,看得清) -render_mode: "human" # 开启可视化! \ No newline at end of file +render_mode: "human" # 开启可视化! + +target_button: 0 # 目标按钮(可选0/1/2/3,对应红/绿/蓝/黄) +button_reward: 10.0 # 选对按钮的奖励值 +effort_cost: 0.01 # 动作成本扣分系数(模型有执行器时生效) +timeout: 600 # 任务超时步数(300步≈9秒,可根据需要调整) \ No newline at end of file diff --git a/src/HCL_interaction_task/mobl_arms_index_choice_reaction/main.py b/src/HCL_interaction_task/mobl_arms_index_choice_reaction/main.py index 6f05e6172a..affc1d45e5 100644 --- a/src/HCL_interaction_task/mobl_arms_index_choice_reaction/main.py +++ b/src/HCL_interaction_task/mobl_arms_index_choice_reaction/main.py @@ -1,13 +1,68 @@ +import mujoco from simulator import IndexSimulator +from task import ChoicePanelTask # 新增:导入任务类 +import yaml # 新增:加载配置文件 def main(): # 1. 配置路径 config_path = "config.yaml" model_path = "simulation.xml" - # 2. 初始化仿真器+运行 + # 新增:加载配置文件(给任务传参) + with open(config_path, 'r', encoding='utf-8') as f: + config = yaml.safe_load(f) + + # 2. 初始化仿真器+任务实例 sim = IndexSimulator(config_path, model_path) - sim.run_simulation() # 所有打印都在run_simulation里,这里不用额外打印 + task = ChoicePanelTask(config, sim) # 关联配置和仿真器 + + # 3. 重置仿真和任务 + sim.reset() + task.reset() + + # 4. 仿真循环(整合任务逻辑,替代sim.run_simulation()) + try: + # 先启动可视化viewer(和原仿真器逻辑一致) + try: + sim.viewer = mujoco.viewer.launch_passive(sim.model, sim.data) + # 优化视角 + sim.viewer.cam.azimuth = 135 + sim.viewer.cam.elevation = -15 + sim.viewer.cam.distance = 0.6 + sim.viewer.cam.lookat = [0.45, -0.15, 0.8] + print("✅ 可视化窗口启动成功!能看到手臂慢速摆动") + except Exception as e: + print(f"⚠️ 可视化启动失败(不影响动作):{e}") + print("📢 无窗口模式:终端打印关节角度,确认动作真实发生!") + + # 循环执行仿真和任务更新 + while sim.is_running: + # 仿真步进(模型运动) + sim.step() + # 任务状态更新(判断成败、计算奖励) + task_status = task.update() + + # 如果任务完成(成功/超时),重置仿真和任务 + if task_status["done"]: + print("\n🔄 准备开始新一轮任务...") + sim.reset() + task.reset() + + # 渲染同步(保持窗口流畅) + if sim.viewer: + sim.viewer.sync() + time.sleep(0.001) + + except KeyboardInterrupt: + print("\n\n⚠️ 检测到Ctrl+C,正在优雅退出仿真...") + sim.is_running = False + finally: + # 关闭资源 + sim.close() + print(f"\n✅ 仿真正常结束!共运行{sim.current_step}步") + +# 新增:导入time(用于渲染延时) +import time if __name__ == "__main__": main() \ No newline at end of file diff --git a/src/HCL_interaction_task/mobl_arms_index_choice_reaction/simulator.py b/src/HCL_interaction_task/mobl_arms_index_choice_reaction/simulator.py index 769f3f9425..fae865d76a 100644 --- a/src/HCL_interaction_task/mobl_arms_index_choice_reaction/simulator.py +++ b/src/HCL_interaction_task/mobl_arms_index_choice_reaction/simulator.py @@ -32,20 +32,20 @@ def __init__(self, config_path, model_path): 15: { "name": "shoulder_rot (肩关节旋转)", "range": (-1.57, 0.349), - "step": 0.02, - "current_step_dir": 0.02 # 运动方向 + "step": 0.05, + "current_step_dir": 0.05 # 运动方向 }, 16: { "name": "elbow_flexion (肘关节弯曲)", "range": (0, 2.26893), - "step": 0.03, - "current_step_dir": 0.03 + "step": 0.08, + "current_step_dir": 0.08 }, 17: { "name": "pro_sup (前臂旋前旋后)", "range": (-1.5708, 1.5708), - "step": 0.015, - "current_step_dir": 0.015 + "step": 0.04, + "current_step_dir": 0.04 } } diff --git a/src/HCL_interaction_task/mobl_arms_index_choice_reaction/task.py b/src/HCL_interaction_task/mobl_arms_index_choice_reaction/task.py new file mode 100644 index 0000000000..a8a7bff0a0 --- /dev/null +++ b/src/HCL_interaction_task/mobl_arms_index_choice_reaction/task.py @@ -0,0 +1,82 @@ +import numpy as np + +class ChoicePanelTask: + def __init__(self, config, sim): + self.config = config + self.sim = sim # 关联你的仿真器实例 + # 从配置中读取任务参数(后续在config.yaml中配置) + self.target_button = config.get("target_button", 0) # 默认目标按钮0 + self.button_reward = config.get("button_reward", 10.0) # 选对奖励 + self.effort_cost = config.get("effort_cost", 0.01) # 动作成本系数 + self.timeout_steps = config.get("timeout", 300) # 超时步数 + + self.step_count = 0 # 记录当前任务步数 + self.done = False # 任务是否完成 + self.reward = 0.0 # 当前奖励值 + + def reset(self): + """重置任务状态(每次仿真/任务重新开始时调用)""" + self.step_count = 0 + self.done = False + self.reward = 0.0 + print(f"\n🔄 任务已重置!目标按钮:button-{self.target_button},超时步数:{self.timeout_steps}") + return {"reward": self.reward, "done": self.done} + + def update(self): + """每一步仿真都调用,更新任务状态(核心逻辑)""" + if self.done: # 任务已完成,直接返回状态 + return {"reward": self.reward, "done": self.done} + + self.step_count += 1 + self.reward = 0.0 + + # 1. 检测:指尖是否碰到目标按钮 + is_touch_target = self._check_button_contact(self.target_button) + if is_touch_target: + self.reward += self.button_reward # 选对按钮,添加奖励 + self.done = True + print(f"\n🎉 任务成功!指尖碰到button-{self.target_button},奖励:{self.reward:.2f}") + + # 2. 动作成本扣分(兼容执行器为0的情况) + ctrl_effort = np.sum(np.abs(self.sim.data.ctrl)) if self.sim.model.nu > 0 else 0.0 + effort_penalty = self.effort_cost * ctrl_effort + self.reward -= effort_penalty + if self.sim.model.nu == 0 and self.step_count % 50 == 0: + print(f"\n💡 提示:当前模型无执行器,动作成本扣分暂不生效(后续添加执行器后自动启用)") + + # 3. 超时判断:超过步数未完成则任务失败 + if self.step_count >= self.timeout_steps: + self.done = True + self.reward -= 5.0 # 超时额外扣分 + print(f"\n⏰ 任务超时失败!未在{self.timeout_steps}步内碰到button-{self.target_button},最终奖励:{self.reward:.2f}") + + # 4. 定期打印任务状态(每50步) + if self.step_count % 50 == 0 and not self.done: + print(f"\n💰 step{self.step_count} 任务状态:") + print(f" 是否碰到目标按钮:{'是' if is_touch_target else '否'}") + print(f" 当前奖励:{self.reward:.2f}") + print(f" 剩余步数:{self.timeout_steps - self.step_count}") + + return {"reward": self.reward, "done": self.done} + + def _check_button_contact(self, button_id): + """检测指尖(hand_2distph)是否碰到指定按钮(button-x)""" + finger_geom_name = self.sim.finger_geom_name # 从仿真器获取指尖geom名称 + target_button_name = f"button-{button_id}" # 目标按钮geom名称 + + # 遍历所有碰撞对,判断是否包含「指尖」和「目标按钮」 + for i in range(self.sim.data.ncon): + contact = self.sim.data.contact[i] + # 获取两个碰撞geom的名称 + geom1_id = contact.geom1 + geom2_id = contact.geom2 + geom1_name = mujoco.mj_id2name(self.sim.model, mujoco.mjtObj.mjOBJ_GEOM, geom1_id) + geom2_name = mujoco.mj_id2name(self.sim.model, mujoco.mjtObj.mjOBJ_GEOM, geom2_id) + + # 判断是否是「指尖-目标按钮」的碰撞 + if (finger_geom_name in [geom1_name, geom2_name]) and (target_button_name in [geom1_name, geom2_name]): + return True + return False + +# 导入mujoco(避免内部函数报错) +import mujoco \ No newline at end of file