2023年10月19日 • 作者:DataPipeline
DataPipeline服务的华东地区某信托公司致力于成为国内一流的专业化信托机构,自成立以来,持续打造资产管理与投资银行、财富管理、服务信托三大业务体系。近年来,信托业在资产配置、客户服务、经营管理等各个方面都对数据时效性提出了更高的要求,数据时效性已成为信托机构构建差异化竞争优势的关键基础。为了提升核心竞争力,构建差异化竞争优势,该信托公司决定构建实时数据汇聚平台,实现对各类业务系统数据的实时采集、同步与管理,以支撑业务发展要求,应对市场的快速变化。
由于该信托公司的业务体系集信托产品研发、销售和服务为一体,复杂的业务结构和系统建设的逐步发展导致了数据管理技术的较大差异和高成本的信息流转。为解决这一问题,实时数据汇聚平台需要整合多种数据库,包括 SQL Server、Oracle、MySQL 等,以实现业务系统之间的数据融合,最终提升客户的运营管理和决策效率。
DataPipeline通过基于日志的增量数据获取技术,实现数据的秒级实时采集、同步、融合。同时DataPipeline支持不同架构数据库部署模式和客户对系统侵入性的需求。例如DataPipeline支持对于SQL Server Always On备库的实时数据采集。这大大减轻了数据源主库的压力。
自上线以来,DataPipeline高效管理各类数据源、数据目的地和数据同步链路,解决了大规模数据在高并发环境下的数据同步问题。同时,DataPipeline提供针对实时数据同步任务的可视化实时监测,实时监控上下游数据变化与异常情况,确保数据任务的稳定运行,为该信托公司的产品研发、客户服务、实时风控、运营管理与决策制定等提供准确及时的数据。
DataPipeline通过以下几个方面协助该信托公司有效提升了业务运营和管理能力。
▶ 分布式架构、容器化部署 保障业务连续性
DataPipeline融合引擎采用分布式架构及容器化部署,可实现快速部署与灵活扩容,有效地保障系统业务连续性。
▶ 分层管理、配置式链路定义 提升实时数据敏捷性
DataPipeline采用“节点注册、链路配置、任务构建、资源分配”的分层管理模式,通过无代码任务构建方式,将任务的开发交付时间从按周降低至分钟级,有效提升了数据交付效率。
▶ 预设限制配置与策略配置 提升运营管理效率
DataPipeline为应对复杂的实时数据同步场景需求,提供了限制配置与策略配置两大类十余种高级配置,协助用户灵活应对生产环境的各类状况,有效降低运维复杂度,从而提升运营管理效率。
伴随着信托行业数字化转型的逐渐深入,信托业务对IT的依赖程度不断提高,针对实时数据的应用需求和针对实时数据的管理需求也会持续提高,DataPipeline在协助该信托公司将各个业务链条中的数据实时汇聚、管理、应用的过程中,也将继续秉承DataOps理念,与该信托公司一道不断提升产品、服务能力,为业务平稳运行保驾护航,助力业务创新与数字化转型。