Background
Deep Research 的检索质量不能只看“搜到了多少链接”。同一篇新闻可能被几十家站点转载,同一份公司新闻稿可能以不同 URL 出现;如果 Agent 把这些重复内容当成多个独立证据,会产生虚假的“多来源一致”。
同时,搜索排序也不能只依赖通用搜索引擎 rank。金融研究应更偏好监管披露、交易所公告、公司 IR 等 primary source,并对来源权威性、时效性、独立性和覆盖多样性进行显式建模。
Related: #13 #15 #20 #30 #32
Requirements
1. Canonicalization & deduplication
对 retrieval/search result 建立统一 normalization,至少考虑:
- canonical URL / redirect resolution;
- tracking query removal;
- normalized title;
- content/excerpt hash;
- near-duplicate text similarity;
- syndicated/reposted article clustering;
- same-document multi-URL detection。
重复来源应聚合成 source cluster,并保留各 URL/provider metadata,但不能在 evidence count 中被当成多个独立来源。
2. Source quality model
定义可测试、可解释的 source-quality signals,至少考虑:
- primary vs secondary source;
- regulator / exchange / issuer / established news / aggregator 等 source class;
- publication freshness;
- direct relevance to instrument/query;
- original reporting vs syndicated copy;
- author/publisher metadata(可获取时);
- historical reliability metadata(如果项目已有);
- source availability/accessibility。
质量规则应以确定性配置/特征为基础;LLM 可以辅助分类,但不能成为唯一排序依据。
3. Diversity-aware selection
进入 synthesis/context 的 Top-K 不应全部来自同一域名或同一新闻稿转载链:
- 对 domain/source cluster 做 diversity control;
- 对关键 claim 尽量优先获取独立来源;
- primary source 可获得优先权;
- secondary sources 可用于解释、市场观点和交叉验证;
- 如果只有一个独立来源,应明确暴露不足,而不是用多个转载 URL 补数量。
4. Provenance
selection/ranking 结果至少记录:
- original rank;
- normalized source/cluster id;
- quality/source class;
- dedupe relation;
- selected / dropped reason;
- ranking policy version。
供 #14/#15 evaluation 与 #30 Source Inspector 使用。
Acceptance Criteria
Non-goals
- 不建立全互联网通用 PageRank。
- 不用单个 LLM judge 黑盒分数替代可解释的来源规则。
- 不因为来源“权威”就跳过 claim-level evidence verification。
Background
Deep Research 的检索质量不能只看“搜到了多少链接”。同一篇新闻可能被几十家站点转载,同一份公司新闻稿可能以不同 URL 出现;如果 Agent 把这些重复内容当成多个独立证据,会产生虚假的“多来源一致”。
同时,搜索排序也不能只依赖通用搜索引擎 rank。金融研究应更偏好监管披露、交易所公告、公司 IR 等 primary source,并对来源权威性、时效性、独立性和覆盖多样性进行显式建模。
Related: #13 #15 #20 #30 #32
Requirements
1. Canonicalization & deduplication
对 retrieval/search result 建立统一 normalization,至少考虑:
重复来源应聚合成 source cluster,并保留各 URL/provider metadata,但不能在 evidence count 中被当成多个独立来源。
2. Source quality model
定义可测试、可解释的 source-quality signals,至少考虑:
质量规则应以确定性配置/特征为基础;LLM 可以辅助分类,但不能成为唯一排序依据。
3. Diversity-aware selection
进入 synthesis/context 的 Top-K 不应全部来自同一域名或同一新闻稿转载链:
4. Provenance
selection/ranking 结果至少记录:
供 #14/#15 evaluation 与 #30 Source Inspector 使用。
Acceptance Criteria
Non-goals