无锡锡商银行股份有限公司（以下简称“无锡锡商银行”）成立于2020年，是江苏省第二家、全国第19家民营银行。作为全国首家以物联网金融为特色的科技型银行，无锡锡商银行服务于消费群体、个体工商户、小微企业主等长尾客群，推出全线上化的数字金融服务。
成立三年来，无锡锡商银行基于产品线上化、风控数字化和架构平台化三翼一体科技布局，资产规模、净利润等指标均实现较大幅度增长，业务能力和核心风控能力表现优异。但在高速发展的背后，无锡锡商银行也面临着不同业务系统在实时数据融合方面的挑战。本文将分享无锡锡商银行如何通过DataPipeline实时数据同步平台，既保障各类业务数据的实时融合，又兼顾效率与成本的平衡。
无锡锡商银行于2020年启动大数据平台建设，支撑了业务部门逐步推出的锡望贷、锡惠贷、信E融、账E融、订E融等创新型金融产品。但随着数字化转型的不断深入，业务部门对数据时效性和数据交付效率的要求逐渐提高，大数据平台初期建设的离线数仓已不能满足其需求。然而，建设实时数据同步平台面临着以下难点：
▶异构数据融合。数据源来自上游业务数据库、埋点数据、日志数据和外部数据，由于数据类型复杂多样且业务系统、数据仓库与大数据平台采用的数据库管理技术在实例、库、模式、表等数据对象上，字段类型、精度、标度等语义模式上都有区别，加大了数据交换的复杂性。
▶ 极高的数据时效性。随着业务发展，特别是零售自营业务在运营和风控等方面的需求以及支撑营销推荐与监控预警体系建设需求，业务部门对实时数据同步提出了单秒级的要求。
▶ 强适应性与低侵入性。由于上下游节点的业务连续性和服务级别均高于实时数据链路，导致实时数据链路一方面需要遵循上下游节点的认证、加密、权限、日志等管理机制；另一方面需要降低对上下游系统的侵入性，保障上下游系统的稳定性。
在此背景之下，无锡锡商银行基于以下几点综合考虑，最终选择了DataPipeline作为实时数据管理的基础平台。
作为年轻的民营银行，无锡锡商银行处于高速发展阶段，采集的业务系统数据库和数据量将持续增加，需要一款架构先进，可支撑业务长远发展的实时数据同步产品。因此，具备分布式架构的DataPipeline显现出一系列优势，主要包括以下方面：
▶ 首先，DataPipeline的分布式架构可实现灵活的动态扩缩容，平滑支撑业务快速增长。▶ 其次，DataPipeline所有组件均支持高可用和微服务状态，确保面对故障或异常情况时也能保持稳定运行。▶ 最后，DataPipeline在分布式集群的基础上，采用系统资源组的形式隔离不同任务的运行环境，保障重要任务的稳定有序运行，极大程度保障了业务连续性。无锡锡商银行通过Sqoop工具、Spark外部数据源及Shell脚本方式完成离线数据的采集，无法满足业务部门对实时数据采集的需求。此外，IT部门需要自行构建数据链路来完成数据同步，增加了IT部门的运维成本。
因此，在后续的建设中，无锡锡商银行既需要实时捕获和处理数据流，又需要降低运维的难度和消耗的资源。在这种情况下，无锡锡商银行进行了全面的评估，并决定采用 DataPipeline建设实时数据同步平台，以实现数据时效性与运维成本的平衡。
▶ 第一，DataPipeline通过日志的增量数据获取技术（Log-based change data capture）为大数据平台提供实时、准确的数据变化，支持广泛的数据节点类型，可打通各类数据库管理技术，并通过系统间的实时数据交互赋能业务，如通过实时的业务数据及用户行为埋点数据，实时计算用户的各类标签及人群变化，支撑着千人千面的营销业务。
▶ 第二，DataPipeline对数据节点注册、数据链路配置、数据任务构建、系统资源分配等各个环节进行分层管理，在有效地满足系统运维管理需求的前提下，提升实时数据获取与管理在各个环节的配合效率，将实时数据需求的研发交付时间从周减少为分钟级。
▶ 第三，DataPipeline提供可视化界面，可进行全链路数据观测以及降低创建数据链路的难度，既可以实时监控上下游数据变化与异常情况，也可以自动化匹配，满足复杂度高、数据量大的各类数据同步场景，同时极大程度降低了运维成本。
无锡锡商银行通过部署Datapipeline计算节点、管理节点以及 Agent 代理节点的方式，建立统一的实时数据同步平台，实现核心、核算、网贷、统一支付、理财、锡币、智能存款等若干业务系统的数据实时同步到实时数据仓库平台，并且DataPipeline已在生产环境中稳定运行一年多，充分证明其可用性、稳定性完全符合金融机构的要求。
目前，DataPipeline日同步千张表，数百G数据，单点日志解析量在TB以上，平均解析延迟达秒级。
采用DataPipeline后，无锡锡商银行信息科技部给予了满意的评价：
▶ 在支持营销业务方面，千人千面、资产净增项目，业务部门观察不同活动的用户转化情况，及时调整人员圈选策略；
▶ 在支持风控业务方面，业务部门基于实时风控变量，判断审批策略效果，及时优化策略模型保障审批质量；▶ 在提升运营效率方面，通过实时数据采集、分析和可视化界面，有关部门可以迅速了解当前业务运营状况，及时发现异常情况并采取相应措施；▶ 在提升决策质量方面，提供及时、准确的实时报表，有助于减少决策风险，优化资源配置；
同时，无锡锡商银行认为DataPipeline在实时数仓方面表现优越，未来，有希望通过DataPipeline构建离线数据仓库，以解决目前离线抽取任务繁多，维护复杂等问题。
实践证明，无锡锡商银行DataPipeline数据同步平台的建设，不仅能够满足业务时效性的要求，也能实现企业的降本增效，同时为同行业提供实践与参照。随着金融机构加速推动数字化转型，无锡锡商银行围绕小微企业探索泛场景金融模式，通过大数据的深度应用，精准判断客户所处场景、环节、身份，识别客户真实风险，摆脱对场景方依赖，减少小微企业获得服务的中间环节。未来，DataPipeline将与无锡锡商银行加强合作，为三翼一体科技布局提供有力的基础设施支撑，助力无锡锡商银行发展普惠金融。
400 606 5709
体验 DEMO
