2023年3月16日 • 作者:DataPipeline
数字技术与实体产业的融合催生数字经济蓬勃兴起,金融科技成为金融供给侧改革的重要驱动力。当前,各大证券公司正加快推进金融科技战略规划和实施部署,进而提升核心竞争力。DataPipeline服务的该华东地区综合性证券公司在数字化改革方面持续发力,成为行业金融科技先行者和探索者。
该券商作为一家综合性证券公司,现经营证券经纪、证券投资咨询、证券自营、证券承销与保荐等多项业务。公司下属证券分支机构百余家,总资产过千亿元。
2021年,证监会出台的《证券期货行业科技发展“十四五”规划》支持,要持续打造一体化行业基础设施,提升行业数据共享水平和数据要素价值的深化利用水平。近年,该券商贯彻以客户为中心的理念,实施数字化改革协同创新体系,打造“数据底座”,落地多个数字化标志性成果,加速金融科技业务赋能。其中,全域数据互联互通成为夯实集团数据管理基础、提升数字化能力的必要保障。
早在2018年,该券商就与DataPipeline达成合作进行进行集团化数据采集同步集群的建设。随着该券商数据应用的深入,数据使用场景持续扩展、交付效率持续加快,其选择扩大与DataPipeline的合作规模。
DataPipeline助力该券商构建的集团化数据采集同步集群打通了电商、估值、公募、私募、财务、CRM、HR等若干系统,适配了包括MySQL、MS SQL Server、PostgreSQL、Hive、Kafka、TiDB、FTP、OSS在内的多种数据库管理技术。
该集团化数据采集同步集群力求数据流转稳定、操作简单、运维压力低、自定义能力强且对业务系统与业务人员友好,建成后的系统在“多元异构、批流一体、稳定高可靠”等方面有突出表现。
多元异构
支持全面的数据节点类型,及异构数据之间丰富、自动化、准确的语义映射构建,覆盖关系型数据库、NoSQL 数据库、大数据平台、国产数据库、消息队列、文件系统、API 等数据类型,可自定义数据节点。
批流一体
平台式统一集中管理,同时满足流和批的数据处理需求,支持指定增量同步、全量同步、执行时间同步等方式实现数据同步。
稳定高可靠
采用分布式架构,所有组件均支持高可用,提供丰富容错策略,应对上下游的结构变化、数据错误、网络故障等突发情况,可以保证系统业务连续性要求。
随着该系统的成功上线,数百个数据任务为快速响应客户服务、提升运营效率等带来实时敏捷的数据支撑,大大提高数据部门的管理效率及业务部门的数据消费效率。数据变为资产并服务于业务,数据赋能业务价值逐步显现,实现了数据可见、可信、可用。
未来,DataPipeline将与该券商持续探索端到端数据链路构建等数据管理架构,助力数据底座智能化建设,加速激活数据要素潜能。