关注大模型推理服务,近期参与 vLLM、SGLang 的缓存生命周期、调度与接口正确性修复,以及 Mooncake 的 C++ 测试基础设施维护。
| 项目 | 工作 |
|---|---|
| Data-Juicer #1127 / #1128 / #1129 | 行频统计只分批读取哈希列;图像/视频去重按保留索引 select;Arrow null_count 判定无空值时跳过过滤,否则仅批量读取文本列,保留原有筛选语义。 |
| Data-Juicer #1119 | MinHash band 表只保留首个样本,碰撞时立即合并,省去逐桶 set 和二次遍历;迭代路径压缩修复降序 UID 长链的递归溢出,保留最小 UID 代表语义。 |
| Data-Juicer #1123 | 精确去重与 SimHash 去重只读取哈希列,计算保留索引后使用 select,避免逐行解码无关字段,保留首条记录与 tracer 行为。 |
| Data-Juicer #1125 | 四类字段选择器通过 iter_column 分批读取惰性列,避免一次持有整列解码对象;补充批次边界、子集顺序和空数据回归。 |
| Mooncake #4895 | 修复 session_tag_test 在 ASan 下的分配/释放不匹配:补齐 nothrow 与数组 new/delete 重载,统一 malloc/free 路径并保留分配计数;仅修改测试代码。 |
| vLLM #61976 | 修复优先级调度中的自抢占提前退出:继续调度后续运行请求,避免跳过高优先级请求;CPU 回归检查修复前后行为。 |
| vLLM #59790 | P2P KV 超时或中止时,等待 NIXL 传输终态后释放 pins 和发送 AbortAck;取消请求本身不作为停止证明;消费者超时释放另由 #61532 跟踪。 |
| vLLM #59962 | 修复 RecoverSSM 在整块边界选错状态槽的问题,统一 KDA 提交规划与 V2 后处理的索引语义。 |
| vLLM #59263 | 补齐 Batch Chat 的 reasoning 配置传递,修复关闭 thinking 后结构化输出约束失效的问题。 |
| vLLM #59959 | 修复 LLM.score() 修改调用方参数的问题,保持参数复用和显式冲突检查的行为。 |
| vLLM #59399 | 补充多模态参数优先级回归,验证请求覆盖时保留 fps 等同级配置。 |
| SGLang #42077 | 将 HiCache 无元数据缓存路径的全目录扫描改为目标文件检查,保留 KV/Mamba 命中规则。 |
| SGLang #40899 | 共同作者:收窄图像/音频路径读取的 OSError 捕获范围,保留 EMFILE 等服务端故障,补充回归测试;补丁由原作者 cherry-pick。 |
- SGLang #42745:按页拆出 SWA 窗口尾部,减少 Rust TreeCore 的过量锁定,保护 D2H 备份尚未完成的节点。
状态以对应 PR 为准。本人发起的 PR
在同机、同 GPU、同模型条件下比较 vLLM / SGLang 的并发响应,保存逐请求数据、运行配置和 GPU 遥测。提供命令行工具、数据校验、FastAPI / SQLite 只读结果浏览器,支持请求时间线、原始文件与证据报告导出。采用 AI 辅助协作,本人参与服务运行与 SGLang 补跑;有限批次结果不外推稳态容量,trace 测量可信度仍在验证。
推理服务接口正确性回归
本地 Frontend Regression Lab,检查 reasoning、JSON Schema、流式响应与工具调用的组合行为。用事件控制 Batch 会话乱序完成,检查结果和 usage 的会话归属,并通过故障注入检验断言。尚未发布独立仓库;批量乱序验证任务由本人指定,代码实现与测试由 Codex 完成。
代码与实验有 AI 辅助,具体改动、验证范围和剩余限制见各 PR。


