Skip to content

feat(humanoid): G1 图像速度巡检 - #1273

Merged
xingwunian merged 2 commits into
OpenHUTB:masterfrom
usernamekkyy:feat/g1_rgb_velocity_patrol
Nov 12, 2026
Merged

xingwunian merged 2 commits into
OpenHUTB:masterfrom
usernamekkyy:feat/g1_rgb_velocity_patrol

Conversation

@usernamekkyy

Copy link
Copy Markdown
Contributor

修改目的

验证直接由 RGB 图像预测速度的 G1 巡检策略,并提供近墙行为复测入口。

这是 #1085 中拆出的独立人形机器人示例。各模块可在上游基线上独立运行,仿真资产按 README 中固定版本获取。

验证

  • Windows 种子 7 闭环到达 7.5 m 终线,0 碰撞、0 跌倒。ROS Noetic launch 单独启动并写入仿真结果。近障脚本提供 1.5 m、1.0 m、0.6 m 三个起始间距。
  • 已用 mkdocs serve --livereload 检查首页、导航及模块页面。
  • 环境、运行步骤及启动参数见 src/humanoid/g1_rgb_velocity_patrol/README.md。

运行效果

G1 图像速度巡检

大模型使用声明

使用 OpenAI Codex 辅助拆分、编程、验证和文档整理。提交者复核并对内容负责。

验证直接由 RGB 图像预测速度的 G1 巡检策略,并提供近墙行为复测入口。
@usernamekkyy

Copy link
Copy Markdown
Contributor Author

@xingwunian

@LinFengCi LinFengCi left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

审核未通过,需修改后重提。

主要问题:模型权重文件缺失/为空,导致文档中的默认运行命令无法在新克隆上跑通(违反 README L57“保证能够通过 main 脚本直接运行整个模块”)。

  • models/end2end.pt 提交内容为 0 字节(空文件);且 models/ 目录下缺少 vision.py 运行时必需的 mask_controller.pt(代码 torch.load('.../mask_controller.pt') 会失败)。
  • main.py 默认 --mode end2end,README 给出的默认命令 python main.py --assets ... --record 即走 end2end 模式,新克隆会因空/缺权重而崩溃。我同批的 #1272 已正常提交 perception.pt 与 mask_controller.pt(非空),两者不一致。
  • 请二选一:① 提交训练好的 models/end2end.pt 与 models/mask_controller.pt(推荐,与 #1272 一致,保证开箱即跑);② 若权重需本地训练生成,请改默认模式为无需权重的 teacher 模式,并在 README 明确写出“先 --mode collect 采集、再 --mode train 训练得到 .pt”的步骤。

其余均合规:声明(OpenAI Codex)、文件结构、命名、入口与 launch、导航跳转、运行效果图 end2end_7.gif(约 1.8MB,<10MB)均符合规范。修复权重后即可批准合并。

@xingwunian xingwunian left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

复核结论:LinFengCi 提的两个权重问题已经修好,可以合

我按 48385455(fix(humanoid): package binary weights for fresh checkouts)后的树逐项核了一遍:

1. 文件不再空、也不再缺

  • src/humanoid/g1_rgb_velocity_patrol/models/end2end.pt = 1,637,701 字节
  • src/humanoid/g1_rgb_velocity_patrol/models/mask_controller.pt = 61,173 字节(这个文件是 48385455 新增的,之前确实没有)
  • .gitattributes 里有 *.pt binary -filter,git ls-files 也确认两个文件都在索引里,不是本地未跟踪。

2. 权重不是「看起来非空」而是真的能对上模型

本机没有 torch,所以我没装它、也没跑推理,而是用标准库直接解析 .pt(它本质是 zip + pickle),把 torch._utils._rebuild_tensor_v2 换成桩函数读出每个张量的名字和形状:

models/end2end.pt:

net.0.weight (16,3,5,5)   net.0.bias (16,)
net.2.weight (32,16,3,3)  net.2.bias (32,)
net.4.weight (32,32,3,3)  net.4.bias (32,)
net.7.weight (64,6144)    net.7.bias (64,)
net.9.weight (2,64)       net.9.bias (2,)

models/mask_controller.pt:

net.2.weight (64,192)  net.2.bias (64,)
net.4.weight (32,64)   net.4.bias (32,)
net.6.weight (2,32)    net.6.bias (2,)

与 patrol/vision.py 里的两个类逐键、逐形状完全一致:ImageController 的 Sequential 下标(含 Flatten)正是 0/2/4/7/9,32*12*16 = 6144;MaskController 是 2/4/6,12*16 = 192。也就是说默认的 --mode end2end 和 --mode perception 两条路径,load_state_dict(...) 都会成功,新克隆不会再崩。

我没验证的部分(说清楚,别当已验证):真实推理没跑——需要 torch 和 unitree_rl_gym 资产,本机都没有。所以「策略精度/近墙行为」这次不背书,只对「权重齐全且能加载」负责。

一个非阻断建议:这个模块目前没有 test/,也没有 ci_tests.sh,所以 CI 里等于零覆盖。后面可以照 uav_vertiport_queue 的做法加个 tools/ci_tests.sh + workflow,至少把「权重能加载、mask_command 的边界行为」做成离线断言。

@LinFengCi 你提的两点在这个 head 上都已解决,麻烦复核一下;我这边先 approve。

@xingwunian
xingwunian dismissed LinFengCi’s stale review November 12, 2026 12:00

这条 CHANGES_REQUESTED 指的两个权重问题已由作者在 4838545 修好:end2end.pt 1,637,701 字节、mask_controller.pt 61,173 字节,并且我解析了 .pt 里的 state_dict 键与形状,与 patrol/vision.py 的 ImageController / MaskController 完全吻合,两条加载路径都会成功。故先撤销这条过期的请求修改,合并在评审里给了完整证据;@LinFengCi 如仍发现问题随时可以重新 request changes。

@xingwunian
xingwunian merged commit aee5f25 into OpenHUTB:master Nov 12, 2026
3 checks passed
@xingwunian

Copy link
Copy Markdown
Contributor

@LinFengCi 你 10:43 提的两个权重问题,作者在 48385455 已经修好了:models/end2end.pt 1,637,701 字节、models/mask_controller.pt 61,173 字节(新增),.gitattributes 里 *.pt binary -filter,两个文件都真的入库了。

我这边没装 torch,所以没跑推理,而是直接解析 .pt(zip + pickle)读出 state_dict:ImageController 的键是 net.0/2/4/7/9、net.7.weight (64,6144)、net.9.weight (2,64);MaskController 是 net.2/4/6、net.2.weight (64,192)——与 patrol/vision.py 里的类逐键逐形状吻合,load_state_dict 两条路径都会成功。基于此我把你那条已过期的 request changes 撤销了(撤销说明里写了理由),随后 squash 合并为 aee5f257。

如果这个 PR 里还有你本想提、但当时没写进评审的点,欢迎直接在合入后的 master 上再提 issue,我照常处理。

另外提一句:这个模块目前没有 test/ 也没有 ci_tests.sh,CI 里是零覆盖,后续可以照 uav_vertiport_queue 的写法补一个离线测试工作流。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants