Skip to content

新增 qflex_benchmark:Qflex 基准复现的一键流水线 - #100

Merged
donghaiwang merged 1 commit into
OpenHUTB:masterfrom
siqi-create:feat/qflex-benchmark
Oct 13, 2026
Merged

donghaiwang merged 1 commit into
OpenHUTB:masterfrom
siqi-create:feat/qflex-benchmark

Conversation

@siqi-create

@siqi-create siqi-create commented Oct 10, 2026 •

Copy link
Copy Markdown
Contributor

对应 issue #98。新增 qflex_benchmark/,整理 Qflex 基准运行所需的配置、脚本和补丁,并提供 main.sh 作为统一入口。入口会自动克隆 LNSGroup/Qflex 并应用所需补丁。

主要改动

  • bash main.sh 显示帮助;bash main.sh all 执行环境检查、安装、验证、训练和绘图。
  • 默认配置覆盖 6 个环境、6 种算法和 3 个种子,共 108 个 run;完整训练约需 300 小时。Ostrich 需要约 28 GB 的 WSL 可用内存,可用 --no-ostrich 跳过。
  • 固定 Ruff 版本,并将新增目录中的 Python 文件纳入 CI 检查;本 PR 未修改 flybody/ 代码。

验证

  • 已完成 108 个 run 并生成结果图。
  • 两个补丁通过上游代码的 git apply --check;shell 语法、Python 编译和 Ruff 检查通过。
  • PR 的 lint 工作流已通过。

MS-Human-700 各任务的专项性能评估尚待后续完成。复现口径与限制见 qflex_benchmark/README.md。

@donghaiwang

donghaiwang commented Oct 11, 2026 •

Copy link
Copy Markdown
Member

代码格式检查没有过自动化测试:https://github.com/OpenHUTB/locomotion/actions/runs/38072028432/job/114271222107?pr=100

大模型生成太多的废话,不能直接拿过来用,要自己加工和删除,这是给人看的

运行的步骤太麻烦,需要保证能够直接一个脚本(main.sh或者main.py)作为入口把主要的功能都跑出来,可以包含原始仓库的代码,但不是所有的,和基本功能运行相关的即可,补丁方式太麻烦

对应 issue OpenHUTB#98(跑通 MS-Human-700):把能够跑通的代码,用尽可能少的配置步骤放到仓库根目录下的新文件夹内。

本目录是"让官方 Qflex 在单卡机器上跑起来、并复现论文 Figure 2(b) 六格学习曲线"的那一层:
环境搭建 + 两个必需补丁 + 跑批 + 出图。算法代码不在本目录,入口脚本会自动 clone 官方仓库。

入口只有一条命令(长阶段自动进 tmux,断点续跑;不带参数运行只显示帮助):

    cd qflex_benchmark
    bash main.sh all      # check -> setup -> verify -> train -> plot

实测环境 WSL2 Ubuntu + RTX 5070 Ti Laptop(12 GB, sm_120)+ 32 GB 物理内存,
完成 6 环境 x 6 算法 x 3 种子 = 108/108 个 run。

同时改了 .github/workflows/lint.yml(本目录外的唯一文件),两处:

1) 钉版本。该 job 原本只执行 ruff check flybody/,与新增目录无关,但 Ruff 0.16.0 把默认
   规则集从 59 条扩到 413 条,而 workflow 用的是未钉版本的 pip install ruff,导致 2026-10-09
   之后开的任何 PR 都会挂这一项。钉 ruff==0.15.22 即恢复原有行为(实测 flybody/ 全部通过;
   0.16.10 / 0.17.0 报 193 条)。
2) 扩范围。检查目标加上 qflex_benchmark/plot/ 与 qflex_benchmark/setup/patch_persistence.py,
   即本目录全部 4 个 .py,已按同一规则集清理干净(本机实测 rc=0)。

本 PR 未改动 flybody/ 的任何代码。
@donghaiwang
donghaiwang merged commit 4ab1782 into OpenHUTB:master Oct 13, 2026
8 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants