内容来源/ 国盛证券

转载自/ 信息化观察网

近日，由中国信息协会大数据分会主办的“2022中国大数据产业创新大会”在北京圆满落幕。500余位政产学研企各领域的专业人士参会，就推动中国大数据产业的创新发展进行深入剖析。大会重磅发布“2021-2022大数据创新成果与实践”，「DataPipeline助力国盛证券构建的实时数据融合平台」案例成功入选。 

《2021-2022大数据创新成果与实践》意在表彰近一年中实施的重点大数据标杆案例，案例信息将被呈报到国务院各直属机构信息中心、各省市经济和信息化主管部门、各大央国企等龙头企业、国家及省级产业联盟协会等，为相关部门提供数字化转型方案应用范本及决策参考，并起到行业示范引领效应。

数据融合平台升级，DataOps理念激发新活力

国盛证券充分认识到，高效的管理体系、统一的数据标准、良好的数据质量是数据价值实现的基础，也是业内较早一批构建数据中台的券商。公司数据管理体系，力求打破“烟囱式”、“项目制”系统之间的集成和协作壁垒，沉淀共享服务，提高服务重用率，降低前台业务的试错成本，赋予业务快速创新能力，最终提升企业的组织效能。

国盛证券数据中台战略致力于整合全业务数据，实现数据的离线采集、实时采集，打通系统之间的数据孤岛。通过数据加工、清洗、建模、标签化等数据治理措施提高数据资产的有效性、准确性，为数据可视化、数据服务提供基础指标。基于有效的数据资产，结合智能营销、智能资讯、数据可视化、账户分析等场景，数据中台可为客户和各管理部门提供有效、及时的数据服务。

随着公司数字化转型进程逐步深入，智能营销、客户服务、智能账单等业务对数据时效性要求也越来越高，对多元异构数据的统一采集、数据实时同步的需求也越来越紧迫。数据中台中再先的数据采集时效和监控运维等能力已不能适应当前业务的发展需求，国盛证券希望建立“企业级实时数据融合平台”，从而推动以客户为中心的数据智能从而创造更大的业务价值。

国盛证券希望通过对数据链路持续构建，像交付应用一样快速、灵活地交付数据，最终达到降低TCO，提高ROI，实现数字化和智能化转型的长期战略目标。因此，国盛证券将此次要建设的企业级实时数据融合平台定位为：具备核心自动化数据链路能力的数据融合平台，基于DataOps理念的创新型数据基础设施。

技术目标

· 丰富和构建数仓ODS层，实现实时数据的集成，全方位且高效地采集、同步、融合业务及客户行为等的数据。

· 低代码，提升实时数据采集的效率，降低开发成本，提升服务支撑能力。

· 支持端到端灵活线上开发，高级清洗个性化配置等。

业务目标

· 驱动高效的管理决策：提升数据新鲜度，保证数据时效，用于管理层的驾驶舱报表、业务管理团队的管理统计及数据分析等的场景。

· 支撑更及时的客户关系管理：将客户异动消息、行情资讯等信息及时推送给客户管理/服务人员，从而支撑更及时的客户关系维护。

· 提升客户服务体验：打破系统孤岛，实时地把资讯、公告等数据进行采集形成基础数据，从而把相关服务动作直接映射到客户端，高效支撑客户生命周期运营数字化。

· 赋能精准营销：通过数据实时技术将客户数据进行采集并与外部行情结合，实现客户实时画像，用于潜客推荐等模型，从而触发更多购买场景，支撑更多的精准营销动作行为。

携手DataPipeline，构筑创新型数据基础设施坚实底座

国盛证券通过产品调研、可行性分析、POC验证，选择DataPipeline作为合作伙伴共同完成实时数据融合平台项目的实施。其主要原因为：DataPipeline企业级实时数据融合平台可实现数据的秒级实时采集，产品具备统一易用的人性化操作界面，丰富的配置策略可实现对资源的高效充分利用，产品同时具有标准化遵循与前瞻性判断前提下的开放可扩展性，当然最重要的是其金融级的稳定高容错能力。

实时数据融合平台架构

国盛证券实时数据融合平台打通了客户交易、客户基本信息、用户行为数据、外部数据等若干系统，适配了包括MySQL、MS SQL Server、HBase、Hive、Kafka在内的多种数据库管理技术。该平台可以助力公司管理异构数据节点实时同步与批量数据处理任务的定义。平台组件全面实现了高可用，用户可以根据对可用性的要求，灵活进行组件节点的部署，避免单点故障。

同时，实时数据融合平台的可管理性较之前有明显提升。根据客户分层管理的需求，平台将系统内资源抽象为节点、链路、任务、资源，每一层都可以进行独立的管理和授权，在组织内部形成很强的协同性。用户可以在链路上定义字段类型映射、限速、告警等策略，并应用到任务层面，从而实现层级化的精细管理。与此同时，平台配备容器、应用、线程、业务四级监控体系，平台内部的所有重要事件、告警信息都能够推送到用户定义的邮箱、文件路径或Webhook中，从而与企业既有的运维监控体系无缝集成。

向数据管理要效益，激发运营与管理数智化再升级

国盛证券实时数据融合平台具备自动化智能的数数据任务与链路构建，该平台简单易用，极大地加速了实时数据同步需求的开发配置和上线部署。实时数据的采集、加工均可以以配置的方式实现，一改过去项目制交付的弊端，降低手工开发成本。同时，通过同步任务的管理和告警的机制及图形化界面，用户更为直观地完成了日常任务监控，极大节省运维时间。

同时，该数据管理机制可以很好地应对各种实时数据应用的场景，提高数据的复用度，提升数据管理效率、高效释放数据价值。为快速响应客户服务、优化管理决策等带来实时敏捷的数据支撑，从而对模式创新、组织能力变革及商业价值提升带来推动力。

从技术角度看，平台具备“数据全、传输快、强协同、更敏捷、极稳定、易维护”的突出特性。

数据全：多元异构 广泛支持

支持关系型数据库、NoSQL数据库、国产数据库、数据仓库、大数据平台、云存储、API等多种数据节点类型，可自定义数据节点。

传输快：高性能实时处理  

针对不同数据节点类型提供TB级吞吐量、秒级低延迟的增量数据处理能力，加速企业各类场景的数据流转。

强协同：分层管理降本增效  

采用“数据节点注册、数据链路配置、数据任务构建、系统资源分配”的分层管理模式，定制开发的建设周期大大减少。

更敏捷：无代码敏捷管理  

提供限制配置与策略配置两大类十余种高级配置，包括灵活的数据对象映射关系，数据融合任务的研发交付时间从2周减少为1小时。

极稳定：极稳定高可靠  

采用分布式架构，所有组件均支持高可用，提供丰富容错策略，应对上下游的结构变化、数据错误、网络故障等突发情况，可以保证系统业务连续性要求。

易维护：高效全面运维  

配备容器、应用、线程、业务四级监控体系，全景驾驶舱守护任务稳定运行。自动化运维体系，灵活扩缩容，合理管理和分配系统资源。

全域数据实时融合的价值愈发重要，国盛证券实时数据融合平台可加速数据的流通，从而提升经营效率构建差异性竞争优势。

平台实现各系统的打通与关联，覆盖多层次客户服务体系，强化了线上业务服务和资产配置等综合实力。该项目的实施高效且稳定地支撑了公司的获客能力和精准个性化服务水平等业务场景，助力公司运营与管理数智化再升级。