之前通过 API 跨系统同步数据,延迟 3 小时以上,以 HR 系统而言,员工在离职 3 小时后才会反应到下游系统。
市面上大部分 BI 产品能支持 T+1,但有些业务部门的需求,例如营销、应收报表则需要更高的实时性。
之前跨系统数据同步需通过 API 方式对接,弊端是一旦有相关人员入职,之后接手的人难以了解事情的来龙去脉,管理维护比较困难。
通过 DataPipeline 监听主数据源头系统,数据发生变化时,实时采集异动数据放入消息队列。主数据系统监听消息队列,对异动数据进行清洗、处理、存储。再通过 DataPipeline 实时分发至下游业务系统。
DataPipeline 支持多类型数据库、消息队列、API 对接,快速将散落在各系统中的关键业务数据实时同步至阳光城集团数据湖,达到在数据层面上,集团各板块各系统数据完全流通。
通过引入 DataPipeline,阳光城集团将规划统一数据同步建设标准规范,将之前散落的数据同步任务进行统一管理,形成统一的数据同步管理监控平台,将极大降低建设成本和运维难度。
通过引入 DataPipeline 搭建的新数据同步框架,HR 系统中的员工异动数据将在 5-10s 内,分发至全部下游业务系统,较之原数据同步框架同步速度提高数十倍。
通过 DataPipeline 快速将散落在各系统中的关键业务数据实时同步至阳光城集团数据湖,之后搭建阳光城数据模型,打造即时报表中心,满足业务部门对数据及时性越来越高的要求。
阳光城集团两个业务系统因业务开展需进行数据交互,通过 DataPipeline 进行数据同步,配置任务仅花 3 分钟即可完成,极大降低建设成本和运维难度。