Skip to content

[Research Retrieval] Deduplicate search results and rank sources by authority, freshness, and diversity #39

Description

@helsome

Background

Deep Research 的检索质量不能只看“搜到了多少链接”。同一篇新闻可能被几十家站点转载,同一份公司新闻稿可能以不同 URL 出现;如果 Agent 把这些重复内容当成多个独立证据,会产生虚假的“多来源一致”。

同时,搜索排序也不能只依赖通用搜索引擎 rank。金融研究应更偏好监管披露、交易所公告、公司 IR 等 primary source,并对来源权威性、时效性、独立性和覆盖多样性进行显式建模。

Related: #13 #15 #20 #30 #32

Requirements

1. Canonicalization & deduplication

对 retrieval/search result 建立统一 normalization,至少考虑:

  • canonical URL / redirect resolution;
  • tracking query removal;
  • normalized title;
  • content/excerpt hash;
  • near-duplicate text similarity;
  • syndicated/reposted article clustering;
  • same-document multi-URL detection。

重复来源应聚合成 source cluster,并保留各 URL/provider metadata,但不能在 evidence count 中被当成多个独立来源。

2. Source quality model

定义可测试、可解释的 source-quality signals,至少考虑:

  • primary vs secondary source;
  • regulator / exchange / issuer / established news / aggregator 等 source class;
  • publication freshness;
  • direct relevance to instrument/query;
  • original reporting vs syndicated copy;
  • author/publisher metadata(可获取时);
  • historical reliability metadata(如果项目已有);
  • source availability/accessibility。

质量规则应以确定性配置/特征为基础;LLM 可以辅助分类,但不能成为唯一排序依据。

3. Diversity-aware selection

进入 synthesis/context 的 Top-K 不应全部来自同一域名或同一新闻稿转载链:

  • 对 domain/source cluster 做 diversity control;
  • 对关键 claim 尽量优先获取独立来源;
  • primary source 可获得优先权;
  • secondary sources 可用于解释、市场观点和交叉验证;
  • 如果只有一个独立来源,应明确暴露不足,而不是用多个转载 URL 补数量。

4. Provenance

selection/ranking 结果至少记录:

  • original rank;
  • normalized source/cluster id;
  • quality/source class;
  • dedupe relation;
  • selected / dropped reason;
  • ranking policy version。

#14/#15 evaluation 与 #30 Source Inspector 使用。

Acceptance Criteria

  • URL 参数/redirect 导致的同一来源不会重复计数。
  • 高相似转载文章可以聚合为同一 syndicated cluster。
  • Source Inspector 能看到来源类别及 duplicate/syndication relation(适用时)。
  • 对财务事实查询,regulatory/exchange/company primary source 能在合理场景获得优先选择。
  • Top-K 有 domain/source diversity 约束,避免全部来自一个 publisher。
  • 多个转载副本不能让 claim verifier 误判成多个独立证据。
  • ranking/dedupe policy 有 machine-readable version,并进入 run/retrieval metadata。
  • 有 deterministic tests 覆盖 canonicalization、near-duplicate、syndication、source-class ranking。
  • PR 必须完成一次真实搜索 E2E:选择一个被大量媒体转载的公司公告/新闻事件,展示 raw search results → dedupe clusters → ranked/diverse source set → 最终带 citation 的 Research 输出。

Non-goals

  • 不建立全互联网通用 PageRank。
  • 不用单个 LLM judge 黑盒分数替代可解释的来源规则。
  • 不因为来源“权威”就跳过 claim-level evidence verification。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

claimedClaimed by a contributor and currently in progress

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions