2025年4月2日 • 作者:DataPipeline
一、项目背景与目标
当前,钢铁行业在复杂形势下加速数字化、智能化转型。鞍钢集团作为世界500强企业,不仅产品服务于国家重大工程,还积极履行社会责任。围绕“产业数字化、数字产业化、数据价值化”三大方向,鞍钢集团持续推进数字化转型。然而,在提升数字化、智能化水平过程中,企业在数据生产、管理和应用方面遭遇挑战,急需整合数据以加速推进“数字鞍钢”、“智能鞍钢”建设。
在此背景下,鞍钢集团启动相关项目,实现业务数据与数据平台的实时同步,提升数据传输和管理效率,同时适配更多国产数据库,逐步用国产数据库替换传统数据库,以增强企业的核心竞争力和自主创新能力,推动企业的高质量发展,并为行业的数字化转型提供经验和借鉴。
为应对这些挑战,鞍钢集团明确了以下关键目标:
▶ 业务目标
· 实现全流程数据贯通与实时监控:依托生产、工艺、设备等核心数据的实时采集与整合,贯通炼铁全流程数据链,实时掌握设备状态、优化巡检路径,快速识别异常并预警,提高运维和检修效率。
· 提升生产稳定性与安全防护能力:通过实时数据分析,精准评估设备健康状况,预防因设备故障导致的质量问题和计划外停机,同时降低短路、爆燃等安全隐患,保障生产稳定运行。
· 支持产销一体化与订单全流程跟踪:整合生产数据、成本数据、订单指令等核心信息,实现从生产到销售的全链路数据联动,确保订单状态实时可见,提升生产计划的精准度和交付效率。
▶ 技术目标
· 消除数据孤岛:整合高炉等复杂工序的多元异构数据,实现高效共享与协同应用。
· 提升数据时效性:优化数据采集方式,支持实时决策,提高生产效率和质量控制能力。
· 推进全面国产化:加速国产技术与产品替代,构建自主可控的数字化体系。
二、为什么选择DataPipeline
鞍钢集团在选择数据融合产品时,经过技术可控性与场景匹配度的全面评估,对比多款同类产品,最终认为DataPipeline最符合其需求。
· 兼容性与稳定性:基于长期使用同类传统产品的经验,鞍钢集团充分验证了DataPipeline的兼容性和稳定性,确保其能够无缝替换原有工具,并符合国产化信创要求。
· 多源异构数据支持:DataPipeline具备强大的异构数据兼容能力,支持传统数据库、达梦、Kafka等多种数据库,实现高可靠、低延时的数据融合,保障数据的实时同步和高效处理。
· 高效易用性:凭借优化的UI交互设计,DataPipeline提升了运维便捷性,降低了运维成本,同时依托秒级同步性能和高可用架构,成为鞍钢集团数字化转型的核心技术底座。
三、实施方案
DataPipeline实时数据融合平台适配了传统数据库、达梦、Kafka等多种数据库管理技术,从上游的炼铁集控系统、铁区动态管控系统、铁区数采系统、高炉集控系统、第三方系统,实时采集生产数据、工艺数据、设备数据、成本数据、订单指令、第三方数据在内的关键信息,将各类异构数据有效整合、清洗后,加载到智慧炼铁大数据共享平台。该平台的应用,实现了生产、工艺、设备等核心数据的实时采集与整合,使鞍钢集团在数据处理效率和业务决策支持方面得到了显著提升。
实时数据融合平台架构
▶ 打破数据孤岛:通过配置式链路定义和无代码任务构建,平台可以快速响应并适应复杂的业务场景需求,大大提高了项目实施的灵活性和效率。
▶ 提升数据时效性:借助高性能实时处理能力,针对不同数据节点实现增量数据的TB级吞吐量、秒级低延迟处理,满足生产决策对及时数据的需求,提升生产效率和质量控制。
▶ 推进国产化替代:依托对国产数据库等国产化技术的支持,结合其稳定可靠的分布式架构及容错策略,替换进口系统,确保企业数据平台的自主可控。
▶ 增强设备管理效能:结合全链路数据可观测性,通过多级监控体系实时掌握设备状态,实现设备的实时监控、可靠性提升、检修效率提高以及安全性增强,保障生产连续性和稳定性。
四、实施成果
目前,项目已稳定运行14个月,有效支撑40+个业务场景,日均实时采集并处理超2000张表的数据,确保高效稳定的运行。通过国产化技术与实时数据处理的深度结合,不仅实现了数据的高效整合与利用,还成功驱动鞍钢集团生产运营效率提升与业务决策智能化升级。
鞍钢集团对此给予了高度评价,“鞍钢集团DataPipeline数据同步平台的建设,高效支持产销一体、订单跟踪、数据治理和智能决策等业务场景。平台凭借强大的数据融合能力,将分散数据实时整合,提供准确的数据支持,助力鞍钢集团降本增效与数字化转型。”
降本增效,敏捷决策
依托国产化平台与实时数据整合,项目显著提升了鞍钢集团运营效率。以鞍钢股份热轧带钢厂为例,人员劳动强度降低 20%、运维成本下降 10%;设备无故障运行时间增加 23%,资产回报率提升 1%。此外,平台具备弹性扩展能力,既能支撑业务发展,又能保障系统长期稳定运行。
国产化突破,高可靠支撑
项目以全栈国产化技术突破为核心,自主研发高可用架构,适配多源异构数据实时融合。通过流式处理与动态扩缩容技术,实现秒级数据同步与资源弹性调度。四级监控体系结合自动化运维工具链,确保数据质量与系统稳定性,推动主动预防式运维,构建自主可控的工业数据基础设施。