2023年3月23日 • 作者:DataPipeline
一年之计在于春,一年好景在春“耕”。
近日,DataPipeline助力某头部城市商业银行打造的企业级实时数据融合平台顺利上线投产,为行内资产管理、交易管理、电子回单等业务提供了实时敏捷的数据支撑,丰富了行内数据服务体系。
DataPipeline助力头部城市商业银行,实时数据融合平台顺利上线
在英国《银行家》杂志2022年度全球1000强银行排名中,按一级资本总额排名,该城商行排名榜单前列。该行始坚持扎根区域经济,做实金融服务,全力打造现代数字银行。在业务端,该行聚焦企业网银、手机银行、客户服务三大客户体验平台;在技术端,以数据化分析为支撑,打造运营管理分析平台,实现全行柜面业务量及柜员交易量、营业网点服务客户及排队数量、平均服务时长、现金流入流出等实时监测、分析功能,全面赋能运营与业务体系。因此,该城商行需要建立实时数据管道,在不影响核心业务的情况下,将包括核心系统在内的十余种业务系统数据实时稳定地进行数据融合,为灵活多样的数据消费需求提供强有力的技术支撑,增强该行金融科技服务能力。
该城商行通过产品调研、可行性分析、POC验证,选择DataPipeline作为合作伙伴共同完成该数据基础设施建设。企业级实时数据融合平台适配了该行MySQL、Kafka、Hbase在内的多种数据库管理技术,实现核心、支付、理财、现金、票据、收单等系统数据的实时采集与同步,接入实时数据计算平台,为上层数据模型构建与计算任务提供敏捷数据基础。
实时数据融合平台架构
驭“数”乘风,实时数据价值凸显
DataPipeline助力该城商行打造的实时数据融合平台在多元异构数据节点的支持能力、高性能实时处理、端到端数据可观测、企业级管理方面具备突出能力,可实现高效连接复杂异构数据源和目的地、大数据量高并发的数据同步、可视化实时监测保障数据质量,有效地减少实时数据同步过程中的开发和运维成本,提高了工作效率。上线后,平台在日常结息及季度结息日表现稳定,良好运行。
▶ 全面的数据节点支持
支持关系型数据库、NoSQL数据库、国产数据库、数据仓库、大数据平台、云存储、API等多种数据节点类型,可自定义数据节点。
▶ 批流一体数据融合
平台式统一集中管理,同时满足流和批的数据处理需求,支持指定增量同步、全量同步、执行时间同步等方式实现数据同步。支持基于日志的增量数据获取技术,实现秒级的变化数据捕获。
▶ 分层管理降本增效
采用“数据节点注册、数据链路配置、数据任务构建、系统资源分配”的分层管理模式,大大缩短企业级平台的建设周期。平台提供用户管理、单点登录、系统操作日志等企业级管理能力,确保符合企业的整体管理要求。
▶ 全链路数据观测
数据任务的 “管理驾驶舱”功能,可以详细了解每个数据任务同步情况。可实时监控上下游数据变化与异常情况,确保用户能够掌控激活、运行、暂停、报错、重启等数据任务状态。
全域数据实时融合的价值愈发重要,是企业加速数据流通、提升经营效率、构建差异性竞争优势的重要手段。该平台的成功上线,实现各系统的数据融合,为行内资产管理、交易管理、电子回单等业务提供了实时敏捷的数据支撑,丰富了行内数据服务体系。
不断优化金融服务体验、提升金融服务水平,是该城商行科技创新不竭的源动力,其在筑牢数字化转型数据基础设施、激发数据活力领域的创新还远未止步。希望双方此次协作创新实践,可为行业数据业务创新提供可供借鉴的新思路。