一个基于 Spring Boot、MyBatis-Plus 和 Flyway 的数据采集框架示例。连接器负责获取和转换数据,同步模板负责批次、位点、去重及写入计划,推送接口负责将存储结果交给目标端。仓库中的唯一连接器使用固定合成数据,目标端仅保存在内存中。
flowchart LR
Entry[启动 / 定时 / HTTP] --> Pipeline[DemoPipeline]
Pipeline --> Sync[BaseSyncService]
Source[DemoClient 内存数据] --> Convert[DemoConverter]
Sync --> Source
Convert --> Plan[来源键去重 / 内容指纹 / 批量写入]
Plan --> Store[(关系数据库)]
Sync --> Runs[运行记录与成功位点]
Runs --> Store
Store --> Query[查询 API]
Store --> Push[RecordPusher]
Push --> Target[DemoPusher 内存投影]
分层与扩展边界见 架构说明。没有前端项目,查询通过 JSON API 完成。
需要 JDK 8、Maven,以及本地已缓存的 Maven 依赖。
当前框架和演示独立构建,不依赖运维组件。后续需要扩展运维集成时,先在 ops-starter 开源版里 mvn install,再按该版本的公开接口添加 Maven 依赖。仓库不提供二进制副本或额外 Maven 仓库配置。
然后回到本项目执行:
mvn -o -q -DskipTests compile
mvn -o test
mvn -o package离线构建要求依赖和插件已经安装或缓存。如果缺少依赖,需要先在具备依赖的环境准备本地 Maven 缓存。
唯一配置文件是 src/main/resources/application.yml。启动前设置以下环境变量,所有连接信息均由使用者提供:
| 变量 | 含义 |
|---|---|
DATABASE_URL |
JDBC 连接串;本地内存演示可使用 jdbc:h2:mem:demo;MODE=MySQL;DATABASE_TO_LOWER=TRUE;DB_CLOSE_DELAY=-1 |
DATABASE_DRIVER |
内存演示使用 org.h2.Driver;MySQL 使用对应 JDBC 驱动类 |
DATABASE_USERNAME |
数据库用户名;新建内存数据库可显式设置为空 |
DATABASE_PASSWORD |
数据库密码;新建内存数据库可显式设置为空 |
SERVER_ADDRESS |
使用者选择的本地回环监听地址 |
SERVER_PORT |
使用者选择的可用监听端口 |
配置未提供时启动失败。内存数据库只供演示,进程结束后数据消失。使用 MySQL 时请准备独立空数据库并设置字符集为 utf8mb4、排序规则为 utf8mb4_0900_bin(需使用支持该规则的 MySQL 8 版本)。迁移表继承数据库的字符集和排序规则;该二进制、NO PAD 规则保留大小写、重音及尾随空格的区别,与 Java 来源键的精确字符串比较一致。不要使用会合并这些区别的排序规则,否则 Java 判定不同的键可能在数据库中合并。本项目的迁移仅用于创建三个框架及演示表,不能指向已有应用数据库。
启动 HTTP 演示:
java -jar target/data-platform-1.0.0-SNAPSHOT.jar启动时会自动运行一次演示:采集 demo-alpha、demo-beta,写入数据库,然后从数据库读取并推送到内存目标。也可以只运行一次,完成后关闭上下文并退出:
java -jar target/data-platform-1.0.0-SNAPSHOT.jar --demo.onceHTTP 模式下,将 DEMO_BASE_URL 设置为本次本地服务的根地址,即可查看和重复执行:
curl "${DEMO_BASE_URL}/api/sync/tasks"
curl "${DEMO_BASE_URL}/api/demo/records"
curl "${DEMO_BASE_URL}/api/demo/pushed"
curl -X POST "${DEMO_BASE_URL}/api/demo/run"重复运行时,sync.unchangedCount 为两条,sync.writeCount 为零,push.unchangedCount 为两条。GET /ping 用于基本存活检查。
| 配置 | 说明 |
|---|---|
sync.demo.run-on-startup |
是否启动时执行一次,示例为 true |
sync.demo.cron |
Spring cron 表达式;示例 - 表示停用定时执行,调度时区为 Asia/Shanghai |
sync.http.connect-timeout-ms |
HTTP 连接超时 |
sync.http.read-timeout-ms |
HTTP 读取超时 |
sync.http.max-retries |
幂等请求允许的最大重试次数 |
sync.http.retry-backoff-ms |
每次重试的基础等待时间 |
这些 API 面向本地演示,未提供身份认证。需要接入其他数据源时,实现连接器、转换器及同步服务;需要接入其他目标时,实现 RecordPusher。通知接口默认使用空实现,演示不会发起外部请求。
Licensed under the Apache License 2.0. See LICENSE.