Skip to content
View apex-mochen's full-sized avatar
🏠
Working from home
🏠
Working from home

Block or report apex-mochen

Block user

Prevent this user from interacting with your repositories and sending you notifications. Learn more about blocking users.

You must be logged in to block users.

Content in all repositories owned by your account will be closed.
Maximum 250 characters. Please don’t include any personal information such as legal names or email addresses. Markdown is supported. This note will only be visible to you.
Report abuse

Contact GitHub support about this user’s behavior. Learn more about reporting abuse.

Report abuse
apex-mochen/README.md

LLM Serving / AI Infra

关注大模型推理服务,近期参与 vLLM、SGLang 的缓存生命周期、调度与接口正确性修复,以及 Mooncake 的 C++ 测试基础设施维护。

已合并的代表贡献

项目 工作
Data-Juicer #1127 / #1128 / #1129 行频统计只分批读取哈希列;图像/视频去重按保留索引 select;Arrow null_count 判定无空值时跳过过滤,否则仅批量读取文本列,保留原有筛选语义。
Data-Juicer #1119 MinHash band 表只保留首个样本,碰撞时立即合并,省去逐桶 set 和二次遍历;迭代路径压缩修复降序 UID 长链的递归溢出,保留最小 UID 代表语义。
Data-Juicer #1123 精确去重与 SimHash 去重只读取哈希列,计算保留索引后使用 select,避免逐行解码无关字段,保留首条记录与 tracer 行为。
Data-Juicer #1125 四类字段选择器通过 iter_column 分批读取惰性列,避免一次持有整列解码对象;补充批次边界、子集顺序和空数据回归。
Mooncake #4895 修复 session_tag_test 在 ASan 下的分配/释放不匹配:补齐 nothrow 与数组 new/delete 重载,统一 malloc/free 路径并保留分配计数;仅修改测试代码。
vLLM #61976 修复优先级调度中的自抢占提前退出:继续调度后续运行请求,避免跳过高优先级请求;CPU 回归检查修复前后行为。
vLLM #59790 P2P KV 超时或中止时,等待 NIXL 传输终态后释放 pins 和发送 AbortAck;取消请求本身不作为停止证明;消费者超时释放另由 #61532 跟踪。
vLLM #59962 修复 RecoverSSM 在整块边界选错状态槽的问题,统一 KDA 提交规划与 V2 后处理的索引语义。
vLLM #59263 补齐 Batch Chat 的 reasoning 配置传递,修复关闭 thinking 后结构化输出约束失效的问题。
vLLM #59959 修复 LLM.score() 修改调用方参数的问题,保持参数复用和显式冲突检查的行为。
vLLM #59399 补充多模态参数优先级回归,验证请求覆盖时保留 fps 等同级配置。
SGLang #42077 将 HiCache 无元数据缓存路径的全目录扫描改为目标文件检查,保留 KV/Mamba 命中规则。
SGLang #40899 共同作者:收窄图像/音频路径读取的 OSError 捕获范围,保留 EMFILE 等服务端故障,补充回归测试;补丁由原作者 cherry-pick。

在审工作

  • SGLang #42745:按页拆出 SWA 窗口尾部,减少 Rust TreeCore 的过量锁定,保护 D2H 备份尚未完成的节点。

状态以对应 PR 为准。本人发起的 PR

项目实践

LLM Serving Benchmark Lab

在同机、同 GPU、同模型条件下比较 vLLM / SGLang 的并发响应,保存逐请求数据、运行配置和 GPU 遥测。提供命令行工具、数据校验、FastAPI / SQLite 只读结果浏览器,支持请求时间线、原始文件与证据报告导出。采用 AI 辅助协作,本人参与服务运行与 SGLang 补跑;有限批次结果不外推稳态容量,trace 测量可信度仍在验证。

推理服务接口正确性回归

本地 Frontend Regression Lab,检查 reasoning、JSON Schema、流式响应与工具调用的组合行为。用事件控制 Batch 会话乱序完成,检查结果和 usage 的会话归属,并通过故障注入检验断言。尚未发布独立仓库;批量乱序验证任务由本人指定,代码实现与测试由 Codex 完成。

技术复盘

代码与实验有 AI 辅助,具体改动、验证范围和剩余限制见各 PR。

Popular repositories Loading

  1. llm-serving-benchmark-lab llm-serving-benchmark-lab Public

    Reproducible vLLM/SGLang serving benchmarks, experiment evidence and bottleneck-analysis research prototype

    Python 2

  2. dsh-clock-context dsh-clock-context Public

    Give your DSH agent a clock: injects the current date and time into the runtime context on every turn, so the agent can read the time instead of inferring it.

    JavaScript 1

  3. dsh-reasoning-only-guard dsh-reasoning-only-guard Public

    Stops a reasoning-only turn from bricking a DSH session. · 防止「只有推理、没有正文」的一轮把整个会话毒死。

    JavaScript 1

  4. dsh-todo-continuity dsh-todo-continuity Public

    Keeps an unfinished task list visible across turns. · 让没做完的任务清单跨回合保留。

    JavaScript 1

  5. dsh-plugin-verify dsh-plugin-verify Public

    Forked from qing3a/dsh-plugin-verify

    验证 DSH 插件的 CLI:一条命令跑 mock-llm 完整 agent 循环,检查 waterfall 链与零副作用,产出验证报告

    TypeScript

  6. awesome-dsh-plugin awesome-dsh-plugin Public

    Forked from awesome-dsh-plugin/awesome-dsh-plugin

    A curated list of plugins for DeepSeek Harness (dsh) · DeepSeek Harness 插件精选列表

    Python