Skip to content

新增 G1 RGB 视觉巡检示例,提供感知控制、端到端策略与同步建图导航 - #1085

Closed
usernamekkyy wants to merge 15 commits into
OpenHUTB:masterfrom
usernamekkyy:feat/humanoid-visual-patrol
Closed

usernamekkyy wants to merge 15 commits into
OpenHUTB:masterfrom
usernamekkyy:feat/humanoid-visual-patrol

Conversation

@usernamekkyy

@usernamekkyy usernamekkyy commented Nov 9, 2026 •

Copy link
Copy Markdown
Contributor

修改目的与内容

为课程提供区别于无人机和雷达 MLP 避障的 RGB 人形机器人示例。基于官方 Unitree G1 预训练步态,新增 humanoid_visual_patrol 模块,覆盖四项任务:

  1. 键盘运动:WASD/方向键、空格停止、加减速、0.6 s 超时归零。
  2. 感知控制:RGB → FloorNet 地面分割 → MaskController 语义控制 → 速度;部署端增加“分割无地面像素即停车”的规则保护。
  3. 同步 SLAM 导航:180 束模拟雷达 + 带噪积分里程计 → gmapping → CostNet 辅助 A* → move_base;神经辅助只用于同代价破平局,不宣称搜索加速。
  4. 端到端:RGB → ImageController → 前进/转向速度 → 预训练步态。

底层步态、G1 模型和 ROS 软件归属上游;本项目独立训练 FloorNet、MaskController、ImageController 和 CostNet,并提供训练/评估代码、4 个部署权重、MkDocs 文档和运行 GIF。

已知限制:测试场景仍为同一走廊模板;FloorNet 测试 IoU 0.714;MaskController 未保存逐轮曲线;无地面保护是规则不是网络能力;端到端近障行为未单独测试;安装空间仅验证构建,运行仍按源码空间。

测试环境与结果

  • Windows 11,Python 3.11.15,MuJoCo 3.2.0,PyTorch 2.15.0+cpu;WSL2 Ubuntu 20.04.5,ROS Noetic,Python 3.8.10。
  • 构建/运行:模块 README 的源码空间步骤;catkin_make 与 catkin_make install 均通过,安装空间不含 models/ 与 patrol 包。
  • pytest tests -q(带 HUMANOID_ASSETS):6 passed。
  • perception/end2end 在留出种子 7–12 上各 6 个场景:全部到达 x≥7.5 m,0 环境碰撞,未跌倒。
  • 经典导航 3/3 目标 SUCCEEDED,21 次地图更新;神经辅助导航 5/5 航点 SUCCEEDED,expanded 47 vs 47、path cost 46 vs 46。
  • 真实 GLFW 窗口键盘回调、ROS 图像/关节/地图输出已验证。
  • 尚未完成:另一台机器/另一名人员复现与同意、课程 Word 报告、部分动态障碍与真实机器人验证。

运行效果

  • docs/img/humanoid_visual_patrol/perception_7.gif
  • docs/img/humanoid_visual_patrol/end2end_7.gif
  • docs/img/humanoid_visual_patrol/slam_map.png

(PR 页面补充分支内图片链接。)

提交前检查

  • 已检查 Files changed 和冲突,无无关生成文件、重复内容或误删公共文件。
  • 源码与教程按模块分别放在 src、docs,文件使用英文下划线命名。
  • 模块提供 main.* 和 launch,依赖及安装路径正确,README 步骤已实际运行。
  • 新模块已添加首页和导航链接;已运行 mkdocs serve --livereload 检查相关页面。
  • 功能描述与验证证据一致;PNG 小于 3 MB,GIF 小于 5 MB。

大模型使用声明

使用 OpenAI Codex 辅助方案、编程、调试、实验和文档整理;提交者已复核内容并对提交负责。官方 G1 模型、预训练步态和 ROS 组件归属上游,详见模块 third_party_notices.md。

拆分后的独立 PR

本 PR 已拆为以下五项。请在对应 PR 中审核。

@usernamekkyy

Copy link
Copy Markdown
Contributor Author

@kangxin-li

@kangxin-li kangxin-li left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

1.页面存在隐藏字符警告与部署状态异常:PR 页面提示 “This branch has not been deployed”,同时出现了 “hidden or bidirectional Unicode text” 警告。需要排查是否无意中引入了不可见字符,并确认分支部署状态是否正常。
2.安全保护是“规则”而非网络能力,测试覆盖不足:PR 承认 “分割无地面像素即停车” 是部署端的规则保护,且 MaskController 没有保存逐轮训练曲线。这意味着该控制器的实际鲁棒性缺乏系统性验证,建议要求补充至少一个回归测试,证明该保护规则在无地面像素时确实生效。
3.端到端近障行为未单独测试:PR 明确说 “端到端近障行为未单独测试”。对于视觉巡检示例来说,近障场景是核心风险点,缺少这一项的验证会降低模块的可信度。

@usernamekkyy

Copy link
Copy Markdown
Contributor Author

感谢审核!已保留并运行无地面像素的停止保护回归测试(本地 6 项通过),补充端到端策略在三种初始近墙距离下的 MuJoCo 测试及结果,并合入上游处理冲突。三个短时测试未记录端墙接触,测试范围与限制已写入文档。扫描本次文本变更及 PR 正文未发现 Unicode 格式控制字符;分支页面部署状态仍需 GitHub 更新后确认。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants