[Feature][Metadata] Requirements for metadata gathering(元数据需求收集)

[wanshicheng]

Search before asking

• I had searched in the issues and found no similar feature requirement.

Description

Do you have a good idea for metadata? Please write it down.

Metadata includes technical metadata, business metadata, administrative metadata, and so on. The focus here is on technical metadata and administrative metadata.

你对元数据有什么好的想法，请在下面。

元数据包含技术元数、业务元数据、管理元数据等等。这里主要讨论技术元数据和管理元数据。

Use case

No response

Related issues

No response

Are you willing to submit a PR?

• Yes I am willing to submit a PR!

Code of Conduct

• I agree to follow this project's Code of Conduct

[heroWang]

元数据应该包含 各种类型数据源的数据表, 也包括消息队列中的topic.
技术元数据的范围: 字段信息(口径描述, 是否外键, 枚举值等). 关联ER 图. 数据血缘(上游表, 下游表, 关联 flinksql 任务). DDL
管理元数据: 数据 owner, 是否核心表, 安全等级

[kaori-seasons]

在没有元数据管理的情况下，从使用问题、管理问题、数据问题等三个方面进行说明：

使用问题

• 查看表结构信息不方便（查看、检索、表复用）
• 表依赖关系不清楚（血缘）
• 表信息缺少（表维护者，表状态）

管理问题

• 表权限管理
• 数据管理
• 数据质量监控

数据问题

• 建表规则混乱，没有统一标准
• 表结构变更之后，信息不同步

故而建议roadmap 如下:

流程:

以阿里云的oops举例:,数仓对于B端的交易报表统计流程如下:

[aiwenmo]

目前数据源元数据已实现，计划在 0.7.0 的元数据中心的实现中，需要先实现一下功能：
1.逻辑表和字段的管理；
2.物理表元数据采集到逻辑表；
3.逻辑表元数据同步至物理表。
后续其他功能将在 0.7.0 版本中进行扩展。