DataPipeline 企业级实时数据融合平台,秉承 DataOps 理念,自主研发的批流一体、多元异构数据基础设施 通过持续构建端到端数据链路,让用户专注数据价值释放,把握市场机会快速建立竞争优势,实现企业数字化创新
DataPipeline 产品聚焦于组织数据管理全景,将“企业管理特性”与“数据技术发展”的思考纳入到产品打磨过程中,协助企业实现数据应用的“研发、运维、运营”一体化创新,有效应对数据融合过程中“人工依赖度高、团队协作配合困难、需求响应时间低于预期、管理难度大费时费力”等问题。
配置式链路定义,无代码任务构建,丰富策略应对复杂场景需求,大大缩短数据交付周期。
对实时数据管理各个环节进行分层管理,提升不同角色间的配合效率。
支持自定义数据节点,可二次开发,全面连接数据孤岛。
容器、应用、线程、业务四级数据状态和健康度观测体系,全景驾驶舱守护任务稳定运行。
为企业级用户提供统一的平台,管理异构数据节点的实时同步与批量数据处理任务。
支持包括 Oracle、IBM DB2、MySQL、MS SQL Server、PostgreSQL、GoldenDB、TDSQL、OceanBase、MongDB 等数据库通过解析日志获取准确的增量数据。
可实现任意结构化、半结构化数据节点之间批量数据传输,支持数据入仓/湖、数据库迁移、数据上云等场景。
平台式统一集中管理,同时满足流和批的数据处理需求,支持指定增量同步、全量同步、执行时间同步等方式实现数据同步。
支持全面的数据节点类型,及异构数据之间丰富、自动化、准确的语义映射构建。 覆盖关系型数据库、NoSQL 数据库、大数据平台、国产数据库、消息队列、文件系统、API 等数据类型。
基于日志的增量数据获取技术,实现秒级的变化数据捕获( Change Data Capture,CDC ),将解析的变更记录传送到数据目的地中。
支持一对多、多对一数据映射,支持异构数据之间丰富的语义映射策略。 默认语义映射规则配置,可自动化匹配,满足复杂度高、数据量大的各类数据同步场景。
通过结构变化策略应对任务执行过程中出现的数据源结构变化问题。 支持全自动地推送表结构定义的变更内容到下游系统,可将源端数据库表结构的新增、删除、修改字段自动同步到目标端,保障数据一致性。
作为数据任务的 “管理驾驶舱”,您可以详细了解每个数据任务同步情况。 可实时监控上下游数据变化与异常情况,确保您能够掌控激活、运行、暂停、报错、重启等数据任务状态。
融合引擎采用分布式架构,容器化部署,可以保证系统业务连续性要求。 当集群中的某个节点故障时,任务会被 rebalance 到健康节点。
平台提供用户管理、单点登录、系统操作日志等企业级管理能力,确保符合企业的整体管理要求。
平台提供管理员用户、用户分组、权限管理等用户管理功能,可实现不同用户组、不同用户角色间的权限分配与任务权限区隔。
平台支持与企业级单点登录系统集成,实现单点登录功能。
平台提供高风险操作日志、系统配置变更日志、系统登录审计日志、系统级文件管理日志、系统级错误日志等日志信息。
无代码,即可将全面的数据实时同步到您的目的地,并实时掌控您的数据任务状态。 为企业实时风控、客户管理、生产管理、运营管理与决策制定等提供准确及时的数据,从而助力企业在新的竞争中获得先机。