[Feature] agent-skill-infra 自动化技能质量评分

[Liber1917]

Problem

SkillHub 是目前最大的中文 Agent Skill 社区，Top 50 技能通过人工审核。随着技能数量增长，纯人工审核无法规模化：

1. 中文描述被英文检查器误判：关键词正则 [a-zA-Z]{3,} 只统计英文字母，200 字的中文描述被视为"空"（实测 nuwa-skill：描述 200+ 字被检查器报 "Description too short"）
2. 审核一致性难保证：人工审核依赖审核者经验，不同审核员对同一 skill 的评分差异大
3. 更新后无回归检测：skill 作者修改 SKILL.md 后，审核员需要手动对比变化、重跑测试

Proposed Solution

用 agent-skill-infra 自动完成安装前质量评分：

pip install agent-skill-infra
skill-quality skill目录/SKILL.md --gh-models

三项能力：

• skill-quality: 8 维度语义评分（0–100%）+ 可执行改进建议。GitHub Models gpt-4o-mini 免费跑，CJK 原生支持
• skill-test: 行为测试（5 种判定器：keyword/schema/LLM/flow/snapshot）
• skill-version: 版本 diff/回滚/基线对比——监控 skill 作者修改后是否有回归

Alternatives Considered

• agent-skill-linter（17 条规则）：只做格式校验，不做语义评估
• OpenAI API：需付费 API key，CI 集成需额外配置 Secret
• 纯关键词正则：无法正确处理 CJK 内容（已证伪）

Impact

• UX: 审核员从"打开文件逐行阅读"变为"查看自动生成的评分 + 聚焦改进建议"
• Deployment: pip install 单行命令，无架构变更
• Observability: 每次评分产出 JSON 报告，可追踪技能质量趋势

Contract Or SDK Impact

无。agent-skill-infra 是独立 CLI 工具，不修改 SkillHub 的 API 或 SDK。仅在审核工作流中作为可选工具集成。

[github-actions]

Issue Triage

• Route: triage/core
• Priority: priority/p1 (3.7/5)
• Effort: effort/l (5/5)
• Confidence: 5/5
• Risk: high
• Analysis Mode: rules-only

Why

• Touches core SkillHub workflows (api, install, cli).
• Open for 10 days; forced into an active lane before the 14-day closure SLA is missed.
• Issue includes operator or product impact details.

High-Risk Signals

• Mentions sensitive areas (schema, sdk).
• Issue mentions API, SDK, or contract changes.

Maintainer Brief

Summary: SkillHub 是目前最大的中文 Agent Skill 社区，Top 50 技能通过人工审核。随着技能数量增长，纯人工审核无法规模化： 1. 中文描述被英文检查器误判：关键词正则 [a-zA-Z]{3,} 只统计英文字母，200 字的中文描述被视为"空"（实测 nuwa-skill：描述 200+ 字被检查器报 "Description too short"） 2. 审核一致性难保证：人工审核依赖审核者经验，不同审核员对同一 skill 的评分差异大 3. 更新后无回归检测：skill 作者修改 SKILL.md 后，审核员需要手动对比变化、重跑测试
Why core:

• Touches a higher-risk area where automated fixes should not be trusted without maintainer review.
• Likely spans multiple modules or a public compatibility surface.
• Mentions sensitive areas (schema, sdk).
• Issue mentions API, SDK, or contract changes.
  Reproduction or operator path:
• SkillHub 是目前最大的中文 Agent Skill 社区，Top 50 技能通过人工审核。随着技能数量增长，纯人工审核无法规模化：
• 1. 中文描述被英文检查器误判：关键词正则 [a-zA-Z]{3,} 只统计英文字母，200 字的中文描述被视为"空"（实测 nuwa-skill：描述 200+ 字被检查器报 "Description too short"）
• 2. 审核一致性难保证：人工审核依赖审核者经验，不同审核员对同一 skill 的评分差异大
• 3. 更新后无回归检测：skill 作者修改 SKILL.md 后，审核员需要手动对比变化、重跑测试
     Suspected areas:
• Skill installation flow and registry/lockfile integration
• Public API contract, generated SDKs, and compatibility surface
  Risks to watch:
• Mentions sensitive areas (schema, sdk).
• Issue mentions API, SDK, or contract changes.
  Validation checklist:
• Validate the primary reported workflow end-to-end after the fix.
• Check for downstream API/SDK/CLI compatibility expectations before shipping.

Next Action

• Hand the issue to a core maintainer and use a local programming agent for reproduction, scoping, and validation.

---

问题分流结果

• 路由: triage/core
• 优先级: priority/p1 (3.7/5)
• 修复投入: effort/l (5/5)
• 信息完整度: 5/5
• 风险: 高
• 分析模式: rules-only

原因

• 涉及 SkillHub 核心流程（api, install, cli）
• 已打开 10 天，为避免超过 14 天仍未闭环，强制进入 active lane
• 包含用户或产品影响说明

高风险信号

• 提到敏感区域（schema, sdk）
• 提到 API、SDK 或契约变更

维护者交接摘要

概要: SkillHub 是目前最大的中文 Agent Skill 社区，Top 50 技能通过人工审核。随着技能数量增长，纯人工审核无法规模化： 1. 中文描述被英文检查器误判：关键词正则 [a-zA-Z]{3,} 只统计英文字母，200 字的中文描述被视为"空"（实测 nuwa-skill：描述 200+ 字被检查器报 "Description too short"） 2. 审核一致性难保证：人工审核依赖审核者经验，不同审核员对同一 skill 的评分差异大 3. 更新后无回归检测：skill 作者修改 SKILL.md 后，审核员需要手动对比变化、重跑测试
为何进入 core:

• 触及高风险区域，未经 maintainer 审查不应直接信任自动修复
• 大概率跨多个模块或公共兼容面
• 提到敏感区域（schema, sdk）
• 提到 API、SDK 或契约变更
  复现路径或操作路径:
• SkillHub 是目前最大的中文 Agent Skill 社区，Top 50 技能通过人工审核。随着技能数量增长，纯人工审核无法规模化：
• 1. 中文描述被英文检查器误判：关键词正则 [a-zA-Z]{3,} 只统计英文字母，200 字的中文描述被视为"空"（实测 nuwa-skill：描述 200+ 字被检查器报 "Description too short"）
• 2. 审核一致性难保证：人工审核依赖审核者经验，不同审核员对同一 skill 的评分差异大
• 3. 更新后无回归检测：skill 作者修改 SKILL.md 后，审核员需要手动对比变化、重跑测试
     怀疑影响区域:
• 技能安装流程与 registry/lockfile 集成
• 公开 API 契约、生成 SDK 与兼容性表面
  重点风险:
• 提到敏感区域（schema, sdk）
• 提到 API、SDK 或契约变更
  验证清单:
• 修复后端到端验证主报告流程
• 发布前检查下游 API/SDK/CLI 的兼容性预期

下一步

• 交给 core maintainer，并结合本地编程Agent协助完成复现、收敛范围与验证闭环

[Liber1917]

/retriage

[AIZY2025]

随着技能数量增长，纯人工审核不仅效率低、成本高，还存在一致性差、更新后回归检测困难的问题，甚至还有中文描述被英文规则误判的 BUG。这个方案用免费可跑的 agent-skill-infra CLI 工具，实现了语义评分、多维度行为测试和版本对比，无需改造现有架构，就能让审核流程从 “人工逐行阅读” 升级为 “自动化初筛 + 人工聚焦改进点”，对社区的长期规模化发展至关重要，非常支持推进。