Skip to content

ci: 新增 Ubuntu 24.04 构建 job(不改 Target.cs,工具链用 UE4 自带 + 依赖库) - #3751

Open
heshuyun9 wants to merge 5 commits into
OpenHUTB:hutbfrom
heshuyun9:pr-2404
Open

heshuyun9 wants to merge 5 commits into
OpenHUTB:hutbfrom
heshuyun9:pr-2404

Conversation

@heshuyun9

Copy link
Copy Markdown
Contributor

在 Ubuntu 24.04 的 self-hosted runner 上把整套 CI/CD(编译 + 打包 + 全部 make.check)跑通了,这里把改动整理成 PR。

改动内容

  1. .github/workflows/build_linux.yml:新增 linux-dev-2404 job,20.04 的 linux-dev 原样保留。
    • 触发方式与 20.04 一致:pull_request、push(hutb)、workflow_dispatch
    • workflow_dispatch 增加 mode(fast/full)与 upload(默认 false)两个开关
    • 步骤顺序对齐 20.04:checkout → setup → retrieve content → 清理缓存 → CarlaUE4Editor → package → check
  2. .github/scripts/ci_2404_shim.sh:新增 24.04 工具链适配脚本,只对 24.04 job 生效,所有修改都在 CI 工作区内,不提交、不影响仓库源码。

为什么不改 Target.cs

Target.cs 里的 /wd4103 是 MSVC 专用参数,Linux clang 会把它当成文件路径,报 No such file or directory。
但它被 Windows/macOS/20.04 共用,直接改会影响其他平台。按老师意见,仓库里的 .cs 一个都不改,改为在 shim 里把引擎自带 clang/clang++ 替换成包装脚本(原文件备份为 *.real),在参数列表里丢弃 /wd4103,UBT 与 Python 扩展都会自动经过包装。

不依赖系统组件

组件 20.04 job 24.04 job
编译器 UE4 自带 clang UE4 自带 clang(同上)
wheel 链接 默认 UE4 clang++ -shared -fuse-ld=lld(引擎自带旧 ld 读不了新版 glibc 的 .relr.dyn)
mono 系统 mono 依赖库 Build/dependencies/prerequisites/mono → 引擎自带 → 系统(逐级回落)

mono 用的是 UE4.26 自带的 mono 5.16;目前先放在 runner 的依赖缓存里,后续会收进 dependencies_u,届时脚本里的回落分支可以删除。

shim 里还做了什么

  • Setup.sh:把被 unset 的 LLVM_INCLUDE / LLVM_LIBPATH / UNREAL_HOSTED_CFLAGS 指回 UE4 自带的 libc++ 与 sysroot
  • BuildUE4Plugins.sh:Content 不是独立 git 仓库时不再 git reset;禁用 MavLinkTest;AirSim 改用 UE4 clang + libc++ 编译
  • BuildOSM2ODR.sh:/usr/bin/clang → UE4 clang,libstdc++ → libc++ + sysroot
  • AirSim.Build.cs:去掉重复的 librpc.a
  • Check.sh:无头环境加 -opengl,并在启动模拟器后等待 3654 端口就绪
  • LibCarla:关闭 CI 不需要的单测(预编译 gtest 依赖新版 glibc)

与 20.04 job 的差异(都需要,且不涉及业务代码)

  1. 不 source setEnv64.sh:里面写死了 /home/ubuntu 的 UE4_ROOT,24.04 用 workflow env
  2. 不执行 make plugins:Plugins.sh 未 source Environment.sh 会失败,功能已被 make setup 的 downloadplugins 覆盖
  3. 不删除 UnrealBuildTool.exe:这台引擎上 GenerateProjectFiles.sh 的产物只落在 obj/,不会回填 Binaries/DotNET,删了 UBT 直接不可用
  4. package 限 6 核防 OOM;upload=false 时用 --no-zip

验证

fork 仓库同一套脚本的实跑记录:

需要配合的事项

  1. runner 标签:需要一台 Ubuntu 24.04 机器注册 self-hosted, ubuntu-hutb-2404 标签;没有的话该 job 会一直排队
  2. 上传分支:Util/download_from_git.py 目前固定推默认分支,没有 --branch 参数。按要求「先推测试分支」,需要给脚本加一个 --upload-branch(默认 master,CI 传测试分支);这一点如果同意,可以在本 PR 里一起改
  3. Python 版本:暂时只构建/测试 3.10,后续再加矩阵

@donghaiwang

Copy link
Copy Markdown
Member

@heshuyun9

Copy link
Copy Markdown
Contributor Author

这个 run 的红色来自两个既有问题,和本 PR 的改动无关:

  1. 24.04 job 不是执行失败,而是一直排队:它的 runs-on 要求 self-hosted, ubuntu-hutb-2404,目前仓库里没有带这个标签的 runner,因此 02:26 入队后到次日 02:26 被 GitHub 判超时取消,一个步骤都没有执行。注册一台带该标签的 24.04 runner 后,这个检查会自动开始跑。

  2. 20.04 job 的 check 失败是仓库既有问题:

    • 未改动的 hutb 分支,11-20 的 run 44518331826 同样在 check 步骤耗时 3h22m 后失败;
    • 11-19 的 run 44518331797(Windows)也是同样失败。
    • 本 PR 只追加了 linux-dev-2404 job 以及 on: 里的 push / inputs,20.04 job 的步骤没有任何改动。

24.04 这套改动已在本人的 fork 上完整验证:

如果需要,我可以提供 24.04 runner 的注册命令;或者由有仓库权限的维护者注册。runner 到位后,这个 job 就能实际验证了。

@donghaiwang

Copy link
Copy Markdown
Member

配置action runner的命令已经发到你邮箱里( 3308971792@qq.com )了,请及时在服务器上配置

@donghaiwang

Copy link
Copy Markdown
Member

不要提交的方式触发,用手动点击触发,避免windows的测试也开始

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants