“金融与科技的结合发展正从低频率、浅层次的简单叠加向着高频率、全方位的方向融合发展。DataPipeline实时数据融合平台基于DataOps理念,具备灵活、开放的技术架构,可有效应对‘需求紧急繁杂、数据来源异构、服务方式多样’等的数据管理难点,提升快速准确响应数据需求能力,成为数据敏捷服务的关键一环。同时,平台中同步任务的管理和完善的运维机制,可大大提升数据管理效率、高效释放数据价值。这为助力业务端提升客户体验满意度带来非常大的帮助。”
国盛证券希望通过对数据链路持续构建,像交付应用一样快速、灵活地交付数据,最终达到降低TCO,提高ROI,实现数字化和智能化转型的长期战略目标。
力求打破“烟囱式”、“项目制”系统之间的集成和协作壁垒,沉淀共享服务,降低前台业务的试错成本,赋予业务快速创新能力,最终提升企业的组织效能。
平台打通了客户交易、客户基本信息、用户行为数据、外部数据等若干系统,适配了包括MySQL、MS SQL Server、HBase、Hive、Kafka在内的多种数据库管理技术。该平台可以助力客户管理异构数据节点实时同步与批量数据处理任务的定义。平台组件全面实现了高可用,用户可以根据对可用性的要求,灵活进行组件节点的部署,避免单点故障。
根据客户分层管理的需求,平台将系统内资源抽象为节点、链路、任务、资源,每一层都可以进行独立的管理和授权,在组织内部形成很强的协同性。用户可以在链路上定义字段类型映射、限速、告警等策略,并应用到任务层面,从而实现层级化的精细管理。与此同时,平台配备容器、应用、线程、业务四级监控体系,平台内部的所有重要事件、告警信息都能够推送到用户定义的邮箱、文件路径或Webhook中,从而与企业既有的运维监控体系无缝集成。
丰富和构建数仓ODS层,实现实时数据的集成,全方位且高效地采集、同步、融合业务及客户行为等的数据;低代码,提升实时数据采集的效率,降低开发成本,提升服务支撑能力。
通过同步任务的管理和告警的机制及图形化界面,客户更为直观地完成了日常任务监控,极大节省了运维时间,提升数据管理效率、高效释放数据价值。
实时敏捷的数据支撑以客户为中心的数据智能,可使得企业能够像互联网公司有一个敏捷的组织响应客户的服务、提供更好的产品,能够给传统企业带来一些模式创新、组织能力的变革,从而提升商业价值。