Skip to content
SuperMarioYLPublic

About

国产推理硬件买前选型判定工具,帮助信创与大模型私有化团队在付款前确认国产加速卡能否跑动目标模型

Topics

Resources

Stars

1 star

Watchers

0 watching

Forks

Repository files navigation

English | 简体中文

KaPan — 付款前判定国产加速卡能否跑动目标大模型。

卡判 KaPan 把「这台昇腾、摩尔线程或海光的机器能不能跑动我选定的模型」变成付款前 10 秒能回答的问题:输入模型版本、量化与上下文,得到 yes / conditional / no 三级判定、卡住的具体维度,以及每条结论的证据引用。

CI Release Go 平台 License

为什么需要它

企业 IT 与信创负责人为私有化大模型项目采购本地推理硬件时,采购目录里只有算力峰值和显存参数,没有任何人回答:这台机器能不能跑动你选定的 DeepSeek、Qwen 或 GLM 的具体版本、量化和上下文。支持矩阵散落在 CANN、MUSA、DTK 三个互不相通的生态里,滞后于模型发布,也从不做跨卡横向对比——厂商没有动力发布可能有利于对手的对比表。结果就是到货实测,发现跑不动时已经无法退换;而企业采购流程不允许「试了三台退三台」。

KaPan 是一个离线单二进制 CLI,内嵌人工维护的跨厂商兼容矩阵快照。两条设计原则让它的判定值得被归档进采购评审材料:

  • 每条支持性结论都要有出处:verified_yes / conditional 条目必须携带证据引用(官方支持矩阵、发布说明、模型官方仓库);没有证据的条目强制标 unverified,并在判定中显式降级为「不能作为付款依据」。厂商列表滞后于新 MoE 是常态,把「未知」诚实地亮出来,好过给一个体面的猜测。
  • 快照可复核:矩阵随二进制发布,版本号与 sha256 写进每一份判定与报告;同一快照重复生成报告逐字节一致,评审材料里的引用不会悄悄变。

快速开始

从 Releases 下载对应平台的 kapan 二进制,或用 Go 安装(需要 Go 1.24+):

go install github.com/SuperMarioYL/kapan/cmd/kapan@latest

然后问一个真实的问题——对 Atlas 800I 查 DeepSeek-V3 W8A8、32k 上下文:

kapan check deepseek-v3 --vendor ascend --hw atlas-800i --quant w8a8 --ctx 32k
kapan matrix --format md
kapan report deepseek-v3 --vendor ascend --hw atlas-800i --quant w8a8 --ctx 32k --out 选型依据.md

全程离线,无注册、无配置文件、不联网。check 数秒内给出判定;report 生成的 markdown 可直接附进采购评审文档;examples/report-atlas-800i-deepseek-v3.md 是一份真实生成的样例。

演示

kapan check 对昇腾 Atlas 800I 判定 DeepSeek-V3 w8a8 32k 的离线终端演示——conditional、双机显存约束、证据引用与快照指纹:

kapan check 对昇腾 Atlas 800I 判定 DeepSeek-V3 w8a8 32k 的离线终端演示

完整输入、命令与逐字输出记录在 docs/demo-results.json(录制于 v0.1.0,含 report 全文)。录制脚本:docs/demo.tape(vhs)与 docs/record_demo.py(本地 pty 重放)。

工作原理

一次查询的旅程:check 读查询参数,在内嵌快照里匹配机型 × 模型条目,输出三级判定与绑定约束;report 把同一判定落成可归档的 markdown;matrix 导出整张快照的热力图与数据新鲜度。

从提问到采购证据:查询 → 匹配快照 → 判定 → 归档报告。

单二进制、单进程,无服务端:cobra CLI 之下是三个 internal 包——internal/matrix 用 go:embed 加载 data/matrix/*.yaml 并做 schema 校验,internal/check 负责判定引擎,internal/report 生成字节稳定的 markdown。快照指纹 = 四个 YAML 文件按固定顺序的 SHA-256,随判定与报告一起输出。

CLI、矩阵快照、判定引擎与报告的数据流。

能力与矩阵

v0.1.0 快照 2026.09.0 覆盖三家厂商的代表机型与 DeepSeek / Qwen / GLM 三个模型家族:

厂商 机型 软件栈
昇腾 ascend Atlas 800I A2 · Atlas 800I A3 · Atlas 300I Duo CANN 9.1.0 · vLLM-ascend / MindIE
摩尔线程 mthreads MTT S4000 · MTT S5000 MUSA 5.2.0 · vLLM-MUSA
海光 hygon DCU K100-AI · DCU K100 DTK(版本待核实)

kapan matrix --format md 导出的热力图(节选,完整输出随快照发布):

# KaPan 兼容矩阵热力图 — 快照 2026.09.0 · sha256:47d2e3b851cf

图例:✓ 支持(verified_yes) · ◐ 条件(conditional) · ✗ 不支持(no) · 空 白 无数据 · † unverified(无可复核证据,按条件处理,不能作为付款依据)

## 昇腾 ascend

| 机型 | 模型 | bf16 | fp8 | w8a8 | int4 | mxfp4 | 最大上下文 | 证据数 | 数据日期 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| Atlas 800I A2 推理服务器 | DeepSeek-V3 (`deepseek-v3`) | ✓ |  | ✓ |  |  | 240k | 2 | 2026-09-17 |
| Atlas 800I A2 推理服务器 | DeepSeek-R1 (`deepseek-r1`) | ✓ |  | ✓ |  |  | 128k | 1 | 2026-09-17 |
| Atlas 800I A2 推理服务器 | DeepSeek-V4-Flash (`deepseek-v4-flash`) | ◐ |  | ◐ |  |  | 1m | 1 | 2026-09-17 |
| Atlas 800I A2 推理服务器 | Qwen3-8B (`qwen3-8b`) | ✓ | ✓ | ✓ |  |  | 128k | 1 | 2026-09-17 |

判定语义(完整规范见 docs/verdict-spec.md):

判定 含义
yes 公开证据直接覆盖本次查询,无绑定约束
conditional 证据显示可跑但存在绑定约束(显存 / 量化 / 上下文 / 运行时版本 / 实验性口径 / 证据不足)
no 证据或显存算术明确否定(如官方矩阵明确 ✗)
快照覆盖的厂商与模型家族。

配置与边界

  • 离线快照,人工维护:v0.1 不联网抓取厂商页面;快照随版本发布,数据日期(last_verified)与 unverified 标记就是新鲜度边界。kapan version --matrix 查看当前快照状态。
  • 判定不是实测:KaPan 引用公开证据并做显存算术(纯权重 + KV 口径),不执行基准、不做吞吐建模;付款前请就 conditional 的绑定约束向供应商索取同规格实测报告。
  • 显存预估是提示:不含框架开销,实际部署需求通常 ≥1.2×;新 MoE 规格未核实时预估自动禁用,不虚构数字。
  • 海光侧数据全部 unverified:快照制作时官方逐模型清单不可达,条目按规则显式降级,不猜测支持状态。

付费

KaPan 的 CLI 与基线矩阵快照免费开源、可商用(MIT)。面向持续使用的企业提供两条付费路径:

项目 内容 价格
矩阵订阅 持续更新的矩阵快照(新机型 / 新模型 / 判定纠错)+ 判定纠错优先队列,随版本交付 ¥3,000 / 年 / 组织
定制选型报告 按你的候选硬件与模型清单逐项核查并出具报告(markdown,附证据引用) ¥5,000 / 份

面向系统集成商与私有化交付团队:把 kapan report 的产物换成由我们维护团队背书、随快照版本更新的交付件。意向入口在 GitHub Issues(标签 订阅意向 / 定制报告),流程:留言 → 私信报价 → 对公转账(可开票)→ 邮件交付下一期快照与报告。v0.1 无服务端、无付费墙,履约是人工的。首年目标 3-5 家订阅。

中立性即产品本体:不接受任何厂商付费收录——厂商的钱会摧毁跨厂商对比的可信度。

路线图

  • m1:三厂商机型 × DeepSeek/Qwen/GLM 家族 × 多量化的兼容矩阵与证据引用,三级判定跑通
  • m2:kapan report 生成含判定、绑定约束、证据与快照 hash 的字节稳定选型报告
  • m3:kapan matrix 热力图导出、version --matrix 数据新鲜度、终端演示录制
  • 矩阵扩容:更多机型(昇腾 A3 逐项核实、S5000 规格、海光侧官方来源)与更多模型家族
  • 判定纠错工作流:外部纠错 issue → 复核 → 下一个快照版本的常态化
  • 在需求验证后评估:联网抓取厂商页面自动更新快照、Web 界面、英文 CLI

贡献与判定纠错

矩阵是人工维护的,错误不可避免,掩盖错误不可接受。发现判定与实测不符时,开 issue 附引用(官方矩阵链接 / release notes / 实测报告);「判定纠错」要求附证据,「新机型 / 新模型请求」会进入下一个快照版本。

开发

go test ./...

判定语义与快照 hash 规则在 docs/verdict-spec.md;矩阵数据在 data/matrix/,加载校验强制「supported 必带证据、unverified 必写待核实说明」;演示录制脚本在 docs/demo.tape 与 docs/record_demo.py。

MIT © 2026 SuperMarioYL

About

国产推理硬件买前选型判定工具,帮助信创与大模型私有化团队在付款前确认国产加速卡能否跑动目标模型

Topics

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages