Skip to content
44 changes: 44 additions & 0 deletions src/HCL_interaction_task/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -30,6 +30,9 @@
- **反应时间记录**:精确记录从面板目标出现到食指选择的反应时长,用于交互性能分析
- **选择有效性判定**:自动检测食指与目标区域的接触状态,判断选择有效性
- **动态目标生成**:支持随机/序列生成面板目标,模拟复杂选择任务
- **任务逻辑闭环**:通过task.py实现奖励机制、超时判断、任务重置的完整逻辑闭环
- **友好状态提示**:终端实时输出任务进度、奖励数值、碰撞状态,便于调试与分析



## 目录结构
Expand All @@ -48,6 +51,7 @@ HCL_interaction_task/
│ ├── simulation.xml # 面板功能模型定义
│ ├── main.py # 面板模块程序入口
│ ├── simulator.py # 面板仿真核心逻辑
│ ├── task.py # 面板任务逻辑核心
│ └── assets/ # 面板模块模型资源(含面板纹理)
├── README.md # 项目说明文档
└── requirements.txt # 项目依赖清单
Expand All @@ -65,6 +69,41 @@ HCL_interaction_task/
- 关键定义:面板碰撞属性、目标区域触发条件、手指接触检测参数



## 核心模块说明

### 面板任务逻辑核心(`mobl_arms_index_choice_reaction/task.py`)
#### 1. 模块作用
作为面板选择反应模块的「大脑」,负责串联仿真流程与交互逻辑,实现从任务初始化到结果判定的完整闭环,无需侵入修改仿真核心代码,保持模块解耦性。

#### 2. 核心功能
| 功能项 | 详细描述 |
|-----------------------|--------------------------------------------------------------------------|
| 任务初始化/重置 | 支持任务参数加载与状态重置,实现多轮任务自动循环运行 |
| 指尖-目标碰撞检测 | 精准识别食指远节(`hand_2distph`)与面板目标(`button-x`)的接触状态 |
| 奖励机制设计 | 正确选择目标奖励(默认10.0)、超时失败扣分(默认-5.0)、动作成本惩罚(可选) |
| 超时判断 | 基于配置的超时步数/时间,自动判定任务失败并触发重置 |
| 实时状态反馈 | 每50步输出任务进度、剩余步数、当前奖励,便于实时监控仿真过程 |
| 兼容无执行器模型 | 对无肌肉/执行器驱动的模型提供友好提示,不影响任务核心逻辑运行 |

#### 3. 关键类与方法
- **`ChoicePanelTask` 类**:任务逻辑封装核心,关联仿真器实例与配置参数
- `__init__`:初始化任务参数(目标按钮、奖励值、超时步数)
- `reset()`:重置任务状态,用于多轮任务循环
- `update()`:每步仿真调用,更新任务状态(碰撞检测、奖励计算、超时判断)
- `_check_button_contact()`:内部核心方法,实现指尖与目标的碰撞检测

#### 4. 配置依赖
任务参数完全读取自`config.yaml`,支持灵活配置,无需修改代码:
```yaml
# 任务相关配置(已整合到config.yaml)
target_button: 0 # 目标按钮ID(0-3对应红/绿/蓝/黄)
button_reward: 10.0 # 正确选择奖励值
effort_cost: 0.01 # 动作成本惩罚系数(有执行器时生效)
timeout: 600 # 任务超时步数(对应仿真时长)
```


## 系统要求

- Ubuntu 22.04 LTS (ROS 2 Humble)
Expand Down Expand Up @@ -131,6 +170,11 @@ panel_pos: [0.5, 0, 0.6] # 面板位置
target_count: 3 # 面板目标数量
target_size: 0.05 # 目标区域大小
reaction_timeout: 5.0 # 反应超时时间(秒)
# 任务逻辑配置(新增)
target_button: 0 # 目标按钮ID(0-3)
button_reward: 10.0 # 正确选择奖励值
effort_cost: 0.01 # 动作成本惩罚系数
timeout: 600 # 任务超时步数
```


Expand Down
Original file line number Diff line number Diff line change
@@ -1,2 +1,8 @@
# 原有配置
dt: 0.01 # 仿真步长(调慢一点,看得清)
render_mode: "human" # 开启可视化!
render_mode: "human" # 开启可视化!

target_button: 0 # 目标按钮(可选0/1/2/3,对应红/绿/蓝/黄)
button_reward: 10.0 # 选对按钮的奖励值
effort_cost: 0.01 # 动作成本扣分系数(模型有执行器时生效)
timeout: 600 # 任务超时步数(300步≈9秒,可根据需要调整)
59 changes: 57 additions & 2 deletions src/HCL_interaction_task/mobl_arms_index_choice_reaction/main.py
Original file line number Diff line number Diff line change
@@ -1,13 +1,68 @@
import mujoco
from simulator import IndexSimulator
from task import ChoicePanelTask # 新增:导入任务类
import yaml # 新增:加载配置文件

def main():
# 1. 配置路径
config_path = "config.yaml"
model_path = "simulation.xml"

# 2. 初始化仿真器+运行
# 新增:加载配置文件(给任务传参)
with open(config_path, 'r', encoding='utf-8') as f:
config = yaml.safe_load(f)

# 2. 初始化仿真器+任务实例
sim = IndexSimulator(config_path, model_path)
sim.run_simulation() # 所有打印都在run_simulation里,这里不用额外打印
task = ChoicePanelTask(config, sim) # 关联配置和仿真器

# 3. 重置仿真和任务
sim.reset()
task.reset()

# 4. 仿真循环(整合任务逻辑,替代sim.run_simulation())
try:
# 先启动可视化viewer(和原仿真器逻辑一致)
try:
sim.viewer = mujoco.viewer.launch_passive(sim.model, sim.data)
# 优化视角
sim.viewer.cam.azimuth = 135
sim.viewer.cam.elevation = -15
sim.viewer.cam.distance = 0.6
sim.viewer.cam.lookat = [0.45, -0.15, 0.8]
print("✅ 可视化窗口启动成功!能看到手臂慢速摆动")
except Exception as e:
print(f"⚠️ 可视化启动失败(不影响动作):{e}")
print("📢 无窗口模式:终端打印关节角度,确认动作真实发生!")

# 循环执行仿真和任务更新
while sim.is_running:
# 仿真步进(模型运动)
sim.step()
# 任务状态更新(判断成败、计算奖励)
task_status = task.update()

# 如果任务完成(成功/超时),重置仿真和任务
if task_status["done"]:
print("\n🔄 准备开始新一轮任务...")
sim.reset()
task.reset()

# 渲染同步(保持窗口流畅)
if sim.viewer:
sim.viewer.sync()
time.sleep(0.001)

except KeyboardInterrupt:
print("\n\n⚠️ 检测到Ctrl+C,正在优雅退出仿真...")
sim.is_running = False
finally:
# 关闭资源
sim.close()
print(f"\n✅ 仿真正常结束!共运行{sim.current_step}步")

# 新增:导入time(用于渲染延时)
import time

if __name__ == "__main__":
main()
Original file line number Diff line number Diff line change
Expand Up @@ -32,20 +32,20 @@ def __init__(self, config_path, model_path):
15: {
"name": "shoulder_rot (肩关节旋转)",
"range": (-1.57, 0.349),
"step": 0.02,
"current_step_dir": 0.02 # 运动方向
"step": 0.05,
"current_step_dir": 0.05 # 运动方向
},
16: {
"name": "elbow_flexion (肘关节弯曲)",
"range": (0, 2.26893),
"step": 0.03,
"current_step_dir": 0.03
"step": 0.08,
"current_step_dir": 0.08
},
17: {
"name": "pro_sup (前臂旋前旋后)",
"range": (-1.5708, 1.5708),
"step": 0.015,
"current_step_dir": 0.015
"step": 0.04,
"current_step_dir": 0.04
}
}

Expand Down
82 changes: 82 additions & 0 deletions src/HCL_interaction_task/mobl_arms_index_choice_reaction/task.py
Original file line number Diff line number Diff line change
@@ -0,0 +1,82 @@
import numpy as np

class ChoicePanelTask:
def __init__(self, config, sim):
self.config = config
self.sim = sim # 关联你的仿真器实例
# 从配置中读取任务参数(后续在config.yaml中配置)
self.target_button = config.get("target_button", 0) # 默认目标按钮0
self.button_reward = config.get("button_reward", 10.0) # 选对奖励
self.effort_cost = config.get("effort_cost", 0.01) # 动作成本系数
self.timeout_steps = config.get("timeout", 300) # 超时步数

self.step_count = 0 # 记录当前任务步数
self.done = False # 任务是否完成
self.reward = 0.0 # 当前奖励值

def reset(self):
"""重置任务状态(每次仿真/任务重新开始时调用)"""
self.step_count = 0
self.done = False
self.reward = 0.0
print(f"\n🔄 任务已重置!目标按钮:button-{self.target_button},超时步数:{self.timeout_steps}")
return {"reward": self.reward, "done": self.done}

def update(self):
"""每一步仿真都调用,更新任务状态(核心逻辑)"""
if self.done: # 任务已完成,直接返回状态
return {"reward": self.reward, "done": self.done}

self.step_count += 1
self.reward = 0.0

# 1. 检测:指尖是否碰到目标按钮
is_touch_target = self._check_button_contact(self.target_button)
if is_touch_target:
self.reward += self.button_reward # 选对按钮,添加奖励
self.done = True
print(f"\n🎉 任务成功!指尖碰到button-{self.target_button},奖励:{self.reward:.2f}")

# 2. 动作成本扣分(兼容执行器为0的情况)
ctrl_effort = np.sum(np.abs(self.sim.data.ctrl)) if self.sim.model.nu > 0 else 0.0
effort_penalty = self.effort_cost * ctrl_effort
self.reward -= effort_penalty
if self.sim.model.nu == 0 and self.step_count % 50 == 0:
print(f"\n💡 提示:当前模型无执行器,动作成本扣分暂不生效(后续添加执行器后自动启用)")

# 3. 超时判断:超过步数未完成则任务失败
if self.step_count >= self.timeout_steps:
self.done = True
self.reward -= 5.0 # 超时额外扣分
print(f"\n⏰ 任务超时失败!未在{self.timeout_steps}步内碰到button-{self.target_button},最终奖励:{self.reward:.2f}")

# 4. 定期打印任务状态(每50步)
if self.step_count % 50 == 0 and not self.done:
print(f"\n💰 step{self.step_count} 任务状态:")
print(f" 是否碰到目标按钮:{'是' if is_touch_target else '否'}")
print(f" 当前奖励:{self.reward:.2f}")
print(f" 剩余步数:{self.timeout_steps - self.step_count}")

return {"reward": self.reward, "done": self.done}

def _check_button_contact(self, button_id):
"""检测指尖(hand_2distph)是否碰到指定按钮(button-x)"""
finger_geom_name = self.sim.finger_geom_name # 从仿真器获取指尖geom名称
target_button_name = f"button-{button_id}" # 目标按钮geom名称

# 遍历所有碰撞对,判断是否包含「指尖」和「目标按钮」
for i in range(self.sim.data.ncon):
contact = self.sim.data.contact[i]
# 获取两个碰撞geom的名称
geom1_id = contact.geom1
geom2_id = contact.geom2
geom1_name = mujoco.mj_id2name(self.sim.model, mujoco.mjtObj.mjOBJ_GEOM, geom1_id)
geom2_name = mujoco.mj_id2name(self.sim.model, mujoco.mjtObj.mjOBJ_GEOM, geom2_id)

# 判断是否是「指尖-目标按钮」的碰撞
if (finger_geom_name in [geom1_name, geom2_name]) and (target_button_name in [geom1_name, geom2_name]):
return True
return False

# 导入mujoco(避免内部函数报错)
import mujoco
Loading