Google Search Collector

一个 Chrome 扩展，用于采集 Google 搜索下拉框建议词和搜索结果页内容。建议词支持 API 自动采集及页面 DOM 抓取，SERP 内容可复制为可读文本或 JSON，并下载 JSON。

功能特点

API 采集模式

• 统一采集模式：通过「深度」参数控制采集层级
  • 0 = 只获取一次建议（原简单模式）
  • 1~5 = 递归挖掘包含主关键词的长尾词
• 可配置请求间隔：自定义每次请求之间的等待时间，降低被限流风险
• 指数退避机制：遇到请求异常时自动翻倍延迟，保护 IP
• 可选结果过滤：默认显示所有建议；取消勾选「不过滤」后只保留包含主关键词的建议词

页面抓取模式

• 从当前页面抓取：在 www.google.com 首页或搜索结果页读取下拉框建议；打开 Side Panel 后浮层关闭时使用最近一次同关键词建议快照
• 不触发额外请求：完全绕过 API 限流，适合精准采集
• 前后缀都能抓：取决于你在搜索框中输入的内容和光标位置，Google 显示什么就抓什么
• 动态注入兜底：如果扩展重新加载后 content script 未注入，background 会自动尝试重新注入

SERP 内容提取

• 在 www.google.com/search 结果页按页面顺序导出 Sponsored Results、自然结果、AI Overview、Find related products & services、视频等 Google 原生模块；JSON 仍保留逐条结果、People Also Ask、相关搜索和拼写修正字段
• 提供可读文本预览与复制、JSON 复制与下载，以及 DOM 诊断复制
• 提取当前页面已渲染的内容，不会自动展开 PAA 或加载更多结果
• 修正提示只接受真正的搜索纠错通知；Sponsored Results 单独导出。AITDK 和 SiteData.dev 指标仍可留在页面上，但不会进入导出内容。分页数字不会作为相关搜索导出
• 可读文本每条网站结果只附一个主链接；广告附加链接、站内链接和 AI 概览中的引用链接不再逐项罗列，相关产品与服务建议保留词组文本
• 可读文本使用简短的搜索页地址；JSON 的 page_url 保留原始完整地址
• 搜索结果下方独立显示的评分和评价数会并入上一条网页结果；带 aria-label 的评分也会读取

通用功能

• 导出方式：支持一键复制全部结果，或导出为 CSV 文件
• Side Panel 交互：点击扩展图标即可在侧边栏打开，不遮挡当前页面

安装方法

1. 下载或克隆本仓库到本地
2. 打开 Chrome，访问 chrome://extensions/
3. 开启右上角「开发者模式」
4. 点击「加载已解压的扩展程序」
5. 选择项目根目录即可

更新已安装的解压扩展后，在 chrome://extensions/ 点击该扩展的「重新加载」，并确认 www.google.com 站点访问权限。侧边栏需要此权限读取当前标签页地址。

使用说明

API 采集模式

1. 在任意网页点击工具栏的扩展图标，打开右侧 Side Panel
2. 在「API 采集模式」输入「关键词」
3. 设置「深度」和「间隔（秒）」
   • 深度建议 0~5，热门词深度 2 就可能产生上百条结果
   • 间隔建议 2.5 秒以上，网络不稳定时可适当加大
4. 点击「开始采集」，等待结果加载
5. 采集过程中可随时点击「停止」中断
6. 使用「复制全部」或「导出 CSV」保存结果

页面抓取模式

1. 打开 https://www.google.com 首页或搜索结果页
2. 在 Google 搜索框中输入关键词，等待下拉建议框出现；在结果页也可修改顶部搜索框中的词
3. 点击扩展图标打开 Side Panel
4. 在「页面抓取模式」中输入用于过滤的关键词（留空则显示所有抓取到的建议）
5. 点击「从当前页面抓取」
6. 抓取到的建议词会显示在结果区，只保留包含你输入关键词的项

SERP 内容提取

1. 打开 https://www.google.com/search?q=... 搜索结果页，再打开扩展 Side Panel
2. 在「SERP 内容提取」点击「提取本页」
3. 预览可读文本，或复制文本、复制 JSON、下载 JSON
4. 若某个模块为空，可点击「复制诊断」获取选择器命中数和上次提取摘要

文件结构

.
├── manifest.json      # Chrome 扩展清单
├── background.js      # Service Worker，负责打开 Side Panel 和消息转发
├── content-script.js  # 注入到 google.com 页面，读取下拉框 DOM
├── serp-extractor.js  # 注入到 google.com 页面，提取搜索结果页内容
├── sidebar.html       # 侧边栏界面
├── sidebar.css        # 侧边栏样式
├── sidebar.js         # 核心逻辑：API 请求、递归采集、页面抓取、导出
├── icon.png           # 扩展图标
├── docs/              # 设计文档与计划
└── resource_docs/     # 参考资源

注意事项

• 网络环境：API 模式直接请求 suggestqueries.google.com，请确保网络可以正常访问 Google 服务
• 限流保护：Google 对频繁请求有限制，建议保持合理的间隔时间；如果遇到异常，扩展会自动触发指数退避
• 递归收敛：不同关键词的扩展规模差异很大，热门词在深度 2 时就可能有几十到上百条结果，建议从小深度开始尝试
• 数据流向：API 模式会向 Google Suggest 服务发送输入的查询词；页面抓取和 SERP 提取只读取当前页面，结果留在本地扩展中

运维与维护

• 页面抓取模式的稳定性：该模式依赖 Google 的前端 DOM 结构。Google 的前端代码可能不定期更新，若抓取失败或返回空结果，需核对建议容器和选项选择器
• SERP 内容提取的稳定性：SERP 的 DOM 也会变化；诊断信息可帮助定位结果、视频、PAA 和相关搜索等模块的选择器失效情况
• 扩展重新加载后：如果已经打开的 Google 页面在扩展刷新前就已存在，content script 可能未重新注入。此时页面抓取模式会自动尝试重新注入脚本；如仍失败，手动刷新 Google 页面即可恢复
• API 模式限制：若长期大量请求导致 IP 被临时限制，建议增大间隔时间或切换至页面抓取模式