Skip to content

About

Data-sync platform framework: connectors, scheduling, storage and push (demo connector included)

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

1 Commit

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Data Platform

一个基于 Spring Boot、MyBatis-Plus 和 Flyway 的数据采集框架示例。连接器负责获取和转换数据,同步模板负责批次、位点、去重及写入计划,推送接口负责将存储结果交给目标端。仓库中的唯一连接器使用固定合成数据,目标端仅保存在内存中。

整体架构

flowchart LR
    Entry[启动 / 定时 / HTTP] --> Pipeline[DemoPipeline]
    Pipeline --> Sync[BaseSyncService]
    Source[DemoClient 内存数据] --> Convert[DemoConverter]
    Sync --> Source
    Convert --> Plan[来源键去重 / 内容指纹 / 批量写入]
    Plan --> Store[(关系数据库)]
    Sync --> Runs[运行记录与成功位点]
    Runs --> Store
    Store --> Query[查询 API]
    Store --> Push[RecordPusher]
    Push --> Target[DemoPusher 内存投影]
Loading

分层与扩展边界见 架构说明。没有前端项目,查询通过 JSON API 完成。

本地构建

需要 JDK 8、Maven,以及本地已缓存的 Maven 依赖。

当前框架和演示独立构建,不依赖运维组件。后续需要扩展运维集成时,先在 ops-starter 开源版里 mvn install,再按该版本的公开接口添加 Maven 依赖。仓库不提供二进制副本或额外 Maven 仓库配置。

然后回到本项目执行:

mvn -o -q -DskipTests compile
mvn -o test
mvn -o package

离线构建要求依赖和插件已经安装或缓存。如果缺少依赖,需要先在具备依赖的环境准备本地 Maven 缓存。

运行演示

唯一配置文件是 src/main/resources/application.yml。启动前设置以下环境变量,所有连接信息均由使用者提供:

变量 含义
DATABASE_URL JDBC 连接串;本地内存演示可使用 jdbc:h2:mem:demo;MODE=MySQL;DATABASE_TO_LOWER=TRUE;DB_CLOSE_DELAY=-1
DATABASE_DRIVER 内存演示使用 org.h2.Driver;MySQL 使用对应 JDBC 驱动类
DATABASE_USERNAME 数据库用户名;新建内存数据库可显式设置为空
DATABASE_PASSWORD 数据库密码;新建内存数据库可显式设置为空
SERVER_ADDRESS 使用者选择的本地回环监听地址
SERVER_PORT 使用者选择的可用监听端口

配置未提供时启动失败。内存数据库只供演示,进程结束后数据消失。使用 MySQL 时请准备独立空数据库并设置字符集为 utf8mb4、排序规则为 utf8mb4_0900_bin(需使用支持该规则的 MySQL 8 版本)。迁移表继承数据库的字符集和排序规则;该二进制、NO PAD 规则保留大小写、重音及尾随空格的区别,与 Java 来源键的精确字符串比较一致。不要使用会合并这些区别的排序规则,否则 Java 判定不同的键可能在数据库中合并。本项目的迁移仅用于创建三个框架及演示表,不能指向已有应用数据库。

启动 HTTP 演示:

java -jar target/data-platform-1.0.0-SNAPSHOT.jar

启动时会自动运行一次演示:采集 demo-alpha、demo-beta,写入数据库,然后从数据库读取并推送到内存目标。也可以只运行一次,完成后关闭上下文并退出:

java -jar target/data-platform-1.0.0-SNAPSHOT.jar --demo.once

HTTP 模式下,将 DEMO_BASE_URL 设置为本次本地服务的根地址,即可查看和重复执行:

curl "${DEMO_BASE_URL}/api/sync/tasks"
curl "${DEMO_BASE_URL}/api/demo/records"
curl "${DEMO_BASE_URL}/api/demo/pushed"
curl -X POST "${DEMO_BASE_URL}/api/demo/run"

重复运行时,sync.unchangedCount 为两条,sync.writeCount 为零,push.unchangedCount 为两条。GET /ping 用于基本存活检查。

通用配置

配置 说明
sync.demo.run-on-startup 是否启动时执行一次,示例为 true
sync.demo.cron Spring cron 表达式;示例 - 表示停用定时执行,调度时区为 Asia/Shanghai
sync.http.connect-timeout-ms HTTP 连接超时
sync.http.read-timeout-ms HTTP 读取超时
sync.http.max-retries 幂等请求允许的最大重试次数
sync.http.retry-backoff-ms 每次重试的基础等待时间

这些 API 面向本地演示,未提供身份认证。需要接入其他数据源时,实现连接器、转换器及同步服务;需要接入其他目标时,实现 RecordPusher。通知接口默认使用空实现,演示不会发起外部请求。

许可证

License

Licensed under the Apache License 2.0. See LICENSE.

About

Data-sync platform framework: connectors, scheduling, storage and push (demo connector included)

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Used by

Contributors

Languages