客户案例-山东城商行联盟

客户背景

山东省城市商业银行合作联盟有限公司经原中国银监会批准成立，是目前全国唯一持有金融牌照的中小银行金融科技服务公司。公司为数十家成员行提供集核心业务系统、互联网金融系统、外联业务平台、大数据服务及运营、风控支持等全方位的信息科技解决方案以及培训、咨询、合作创新等多元服务，引领成员行通过科技创新推动业务发展和转型升级，是山东省大数据重点骨干企业。公司致力于打造赋能中小银行、开放共享的金融科技生态平台。

客户说

“DataPipeline助力山东省城商行联盟构建的企业级数据库准实时数据采集系统对于推动联盟实现数字化转型、数据规范化和集约化管理、赋能企业经营及增强其持久核心竞争力具有重要意义。DataPipeline可实现数据的秒级实时采集，产品具备统一易用的人性化操作界面，丰富的配置策略可实现对资源的高效充分利用，产品同时具有标准化遵循与前瞻性判断前提下的开放可扩展性，当然最重要的是其金融级的稳定高容错能力。”

— 山东城商行联盟核心运维组技术专家

面临挑战

数据源繁多，数据孤岛严重

山东城商行联盟在服务 40 余家联盟成员行过程中，业务端在取数时，首先需要生产运维部将各数据源通过 CDC 模式将数据实时同步至中间库；其次，源端数据同步至中间库后，通过 CDC 实时下发至各个下游用数方。在该过程中，由于上游发版频繁，中间库的数据结构均需要跟着变动，数据同步过程中系统维护工作量较大以及极大地影响了数据应用部的取数时效性。为了能够更好地服务联盟成员行，山东城商行联盟需要铲除中间库，重新搭建统一的数据库准实时数据采集系统，实现通过数据流平台近实时的向各外围系统供数的目的，进而及时高效地支持联盟成员行的运营、市场、销售及财务等 BI 分析需求。

运维压力大，管理风险高

为实现多套业务系统产生的海量数据融合的目标，山东城商行需要融合多种数据库管理技术，实现从综合业务系统 CBUS、外联业务处理平台 XBUS、互联网业务服务平台 EBUS、企业服务总线 ESB、二代支付系统、柜台系统、网联支付系统 EPCC 等核心业务系统到客户端的多个系统产生的数十亿条数据的整合与分发。该项目如果选择自研，需要付出高额的开发人力成本与时间成本。

解决方案

多元异构

多种数据库进行近实时的数据采集功能，并对数据源建立高效的管理功能，实现对数据源、目的地的数据连接统一管理管理，通过界面进行数据源与目的地注册，删除数据源，同时根据需求不断迭代支持新的数据库。

实时采集

利用解析数据库归档日志的方式，实现秒级的数据变更捕获，将解析的变更记录传送到数据目的地中，包括日志中提取数据变更的增、删、改等 DML 操作记录，以及新增表、删除表、添加字段、删除字段等自动同步到目的地中。

标准管理

统一的可视化管理页面，提供平台级别的数据管理功能，包括产品权限、数据时效管理和安全管控等方面功能，为数据工程师、运维人员提供直观的数据任务地图，随时可以洞悉数据的最新动态，极大提升运维工作效率和效益。

客户价值

降低研发成本

支持实时的对客、对监管的查询需求。提升数据中台查询模块的查询性能，降低存储成本。
加速数据的流通

一对多的数据下发链路可以很好地应对各种实时数据应用的场景，提高数据的复用度。
快速开发配置和上线部署

DataPipeline 简单易用，极大地加速了实时数据同步需求的开发配置和上线部署，实时数据的采集、加工均可以以配置的方式实现，一改过去项目制交付的弊端，降低手工开发成本，加快了实时数据价值的释放。