山东城商行联盟

构建坚实数据底座——数据库准实时数据采集系统,DataPipeline 助力城市商业银行加快数字化转型

方案咨询
客户背景

山东省城市商业银行合作联盟有限公司经原中国银监会批准成立,是目前全国唯一持有金融牌照的中小银行金融科技服务公司。公司为数十家成员行提供集核心业务系统、互联网金融系统、外联业务平台、大数据服务及运营、风控支持等全方位的信息科技解决方案以及培训、咨询、合作创新等多元服务,引领成员行通过科技创新推动业务发展和转型升级,是山东省大数据重点骨干企业。公司致力于打造赋能中小银行、开放共享的金融科技生态平台。

客户说
客户说

“DataPipeline助力山东省城商行联盟构建的企业级数据库准实时数据采集系统对于推动联盟实现数字化转型、数据规范化和集约化管理、赋能企业经营及增强其持久核心竞争力具有重要意义。DataPipeline可实现数据的秒级实时采集,产品具备统一易用的人性化操作界面,丰富的配置策略可实现对资源的高效充分利用,产品同时具有标准化遵循与前瞻性判断前提下的开放可扩展性,当然最重要的是其金融级的稳定高容错能力。”

— 山东城商行联盟核心运维组技术专家
面临挑战
面临挑战
数据应用深入,实时数据加工需求复杂

随着数据应用的深入,成员行业务部门不断提出更复杂的实时数据加工需求,新需求的加工复杂度持续升高、使用场景持续扩展、交付效率持续加快、运营质量要求持续提升。为提升实时数据支撑能力,山东城商行联盟亟待启动实时数据体系建设。该体系需要实现综合业务系统CBUS、外联业务处理平台XBUS、ESB服务总线、电子银行等系统的数据实时采集、同步、分发,实现每日产生的数亿条数据的整合。

运维压力大,管理风险高

山东城商行联盟在过往服务成员行过程中,业务端在取数时,首先需要将各数据源通过CDC模式将数据实时同步至中间库;其次,源端数据同步至中间库后,通过CDC实时下发至各个下游用数方。在该过程中,由于上游发版频繁,中间库的数据结构均需要相应变动,数据同步过程中系统维护工作量较大地影响了数据应用方的取数时效性。为了能够更好地服务联盟成员行,山东城商行联盟需要重新构建统一的数据库准实时数据采集系统,实现通过数据流平台近实时地向各外围系统供数的目的,进而及时高效地支持成员行的运营、市场、销售等实时业务需求。该项目如果选择自研,需要付出高额的开发人力成本与时间成本。

解决方案
多元异构

打通Oracle、IBM DB2、MySQL、Kafka等多种数据管理技术,并对数据源建立高效的管理功能,实现对数据源、目的地的数据连接统一管理管理,通过界面进行数据源与目的地注册,删除数据源,同时根据需求不断迭代支持新的数据库。

实时采集

利用解析数据库归档日志的方式,实现秒级的数据变更捕获,将解析的变更记录传送到数据目的地中,包括日志中提取数据变更的增、删、改等 DML 操作记录,以及新增表、删除表、添加字段、删除字段等自动同步到目的地中。

标准管理

统一的可视化管理页面,提供平台级别的数据管理功能,包括产品权限、数据时效管理和安全管控等方面功能,为数据工程师、运维人员提供直观的数据任务地图,随时可以洞悉数据的最新动态,极大提升运维工作效率和效益。

解决方案
客户价值
用数据驱动决策与业务创新!
体验DEMO
联系我们