2023年7月21日 • 作者:DataPipeline
近年,制造业面临大宗商品及人力成本上升、国际贸易环境不确定性带来的供应链挑战、汇率波动等风险。制造业企业面临降本增效的巨大考验。随着云计算、人工智能、大数据、5G等信息技术的发展与在制造业的探索应用的推进,利用信 息技术推动制造业的研发、生产、管理等环节的变革,甚至推动数据顺畅融通、深度挖掘数据价值成为了解决当下难题新的突破点。
DataPipeline助力某规模化制造企业,实时数据融合平台顺利上线
DataPipeline服务的某规模化制造企业,涉及智能终端组件、汽车零组件等领域,公司有数万名员工,业务遍及全球。该制造企业在供应链、生产管理等方面已经较为成功的软/硬件应用实践。例如,在装备工艺方面,公司全面投入进行生产过程自动化和信息化改造,对公司设备、各类业务系统进行智能数据管理,精益化、数据化生产管理降成本,提升行业竞争力。在该过程中,公司也已经积累了大量生产经营过程的数据。
如何盘活并应用内部已经沉淀的大量数据资产、如何覆盖更多的场景以收集更多的数据优化企业运营该企业下一步关注的重点。
因为,该企业客户需要打通MS SQL Server等数据库管理技术,实现各智能制造系统之间的跨工厂的实时与批量数据同步。客户原有的数据同步工具无法满足实时性的数据同步需求,DataPipeline实时数据融合平台因批流一体、友好易用的数据管理能力获得客户信任。
该数据融合平台适配了客户多种数据库管理技术,通过基于日志的增量数据获取方式,实现数据的秒级实时采集、同步、融合。在重要节点支持方面,该实时数据融合平台支持通过变更数据变更数据捕获(Change Data Capture,CDC)模式来获取MS SQL Server的增量数据,通过解析数据库日志,将增量数据写入到数据库临时表中,减少了因查询源表带来的额外数据源SQL引擎压力,且支持Always On备库,丰富了数据采集的场景。同时,DataPipeline支持通过高级清洗功能解决字符串解析,大大减少客户数据开发的工作量。
实时数据融合平台架构
让“数据流”变为“价值流”,构建实时数据实时数据管道
▶ 全面的数据节点支持
支持关系型数据库、NoSQL数据库、国产数据库、数据仓库、大数据平台、云存储、API等多种数据节点类型,可自定义数据节点。
▶ 高性能实时处理
针对不同数据节点类型提供TB级吞吐量、秒级低延迟的增量数据处理能力,加速企业各类场景的数据流转。
▶ 无代码敏捷管理
提供限制配置与策略配置两大类十余种高级配置,包括灵活的数据对象映射关系,数据融合任务的研发交付时间从按周计算降低至分钟级。
DataPipeline助力客户生产链条中的所有信息实时打通,帮助客户实现各地工厂之间的数据关联,为生产制造链条的端到端数字化创新提供助力。通过同步任务的管理和告警的机制及图形化界面,客户更为直观地完成了日常任务管理,极大节省了运维时间降低成本,高效释放数据价值。
未来,双方将持续深度合作,致力于通过创新型数据基础设施助力工厂运营降本增效、提升用户运营价值,为企业的数字化发展提供新动能。