“目前财通证券数据交换平台实现了公司含核心系统在内50+业务系统的数据交换,技术团队核心目标是利用流程、结构、技术的力量,建设一个符合金融行业数据流转稳定要求、操作简单、运维压力低、自定义能力强且对业务系统与业务人员更友好的系统。针对该目标,财通证券进行了四个关键点的划分,这与DataPipeline企业级实时数据融合平台产品理念具有有高度重合性:分布式架构、多元异构、高度开放性、批流一体,所以双方至今合作三年之久。”
核心交易系统部署在核心区,而下游风控、反洗钱、经营分析等系统部署在非核心区,核心区与非核心区之间存在网络隔离,需要通过跳板机。
数据源发生变化时,需要修改任务的配置和脚本,灵活性差。且核心交易系统在夜间完成数据清算后,需工程师手动同步数据,费时费力。
需要依赖下游用数环节判断数据是否存在异常,缺少过程监控和预警。
适配安全隔离网络架构,自动完成跨网的数据采集、中转、处理。
识别清算数据表的日期变化,自动触发数据同步任务。
针对无主键数据,可灵活设置过滤规则,同步指定的增量数据。
通过跳板机的方式,让跳板机承担数据中转服务,整体采集的控制端存放在非内网环境,确保出现问题可以在外部环境中进行直接管理和问题排查。
数百个数据任务为快速响应客户服务、提升运营效率等带来实时敏捷的数据支撑,大大提高数据部门的管理效率及业务部门的数据消费效率。
DataPipeline定义了采集条数和采集流量的双重阈值,保证了企业应用的安全性。