一、项目背景与目标

国盛证券作为先行者之一，在构建数据中台方面做出了积极的努力。公司致力于整合其业务数据，旨在通过离线和实时数据采集来打破系统间的数据壁垒。通过数据加工、清洗、建模和标签化等治理措施，国盛证券提升了数据资产的质量和准确性，这使得公司能够在精准营销、资讯提供、数据可视化和账户分析等方面，为客户和管理部门提供更加有效和及时的数据服务。

随着数字化转型的不断深入，国盛证券认识到业务对数据时效性的需求日益增长，特别是在智能营销、智能客服、智能投研和智能账单等领域。为了满足这些需求，公司计划建立一个企业级的实时数据融合平台，专注于提供快速且灵活的数据服务，以支持“以客户为中心”的数据智能策略，进而为公司创造更大的业务价值。平台的目标是降低总体拥有成本（TCO），提高投资回报率（ROI），并实现数字化和智能化转型的长期战略。

▶ 技术目标

· 构建和丰富数据仓库的ODS层，实现实时数据集成，全面高效地采集、同步和融合业务及客户行为数据。

· 实施低代码解决方案，提高实时数据采集效率，降低开发成本，并增强服务支持能力。

· 支持端到端灵活在线开发，高级清洗和个性化配置等。

在深入进行产品调研、可行性分析以及POC之后，国盛证券决定选择DataPipeline作为实时数据融合平台项目的合作伙伴，主要基于以下几点考虑：

首先，随着互联网金融的快速发展和数字化新生态的不断演进，国盛证券面临着对实时数据融合在种类和时效性方面的更高要求，公司迫切需要提升数据处理能力。

其次，国盛证券期望在现有数据采集平台的基础上，进一步升级其性能，以支持多元异构数据的处理、高性能运算、高稳定性运行以及企业级的管理能力。

DataPipeline的企业级实时数据融合平台正好符合这些需求。它能够实现秒级数据采集，提供用户友好的操作界面，以及丰富的配置选项，确保资源的高效利用。此外，该平台在标准化和前瞻性的基础上保持开放性和可扩展性，这些都是国盛证券所看重的特点。最重要的是，DataPipeline具备金融级别的稳定性和高容错能力。

三、实施方案

国盛证券实时数据融合平台适配了包括Oracle、MySQL、MS SQL Server、HBase、Hive、Kafka在内的多种数据库管理技术，打通了客户交易、客户基本信息、用户行为数据、外部数据等若干系统。平台组件全面实现了高可用，用户可以根据对可用性的要求，灵活进行组件节点的部署，避免单点故障。

实时数据融合平台架构

同时，实时数据融合平台的可管理性较之前有明显提升。根据客户分层管理的需求，平台将系统内资源抽象为节点、链路、任务、资源，每一层都可以进行独立的管理和授权，在组织内部形成很强的协同性。用户可以在链路上定义字段类型映射、限速、告警等策略，并应用到任务层面，从而实现层级化的精细管理。与此同时，平台配备容器、应用、线程、业务四级监控体系，平台内部的所有重要事件、告警信息都能够推送到用户定义的邮箱、文件路径或Webhook中，从而与企业既有的运维监控体系无缝集成。

四、实施成果

从技术层面，平台具备的“数据全、传输快、强协同、更敏捷、极稳定、易维护”的突出特性，使国盛证券实现了自动化和智能化的数据任务与链路构建，极大地加快了实时数据同步需求的开发、配置和上线部署过程。实时数据的采集和加工也可以通过配置来完成，改变了以往依赖项目制交付的模式，显著降低了手工开发的成本。

在项目运行一年多的时间里，该平台日同步近千张数据表和数百GB的数据，成功对接了4个业务系统，并打通了数百条数据链路。

同时，通过同步任务管理和告警机制，以及图形化的界面，用户可以更直观地监控日常任务，从而大幅节省了运维时间。

从业务层面，平台通过实现各系统间的无缝对接和数据关联，构建了多维度的客户服务体系，显著强化了线上业务服务和资产配置等综合实力。这一高效的数据管理机制不仅提升了数据的复用率和数据管理的效率，还有效释放了数据价值。这为快速响应客户需求、优化管理决策提供了实时且敏捷的数据支持，从而促进了模式创新、组织能力的变革以及商业价值的增长。此外，平台的高效稳定实施，为公司在客户获取和提供精准个性化服务方面提供了坚实的基础，推动了公司运营和管理的数字化升级。