“如今,数字化转型已经成为油气行业降低成本、更快更好地做出决策、提高效率的重要抓手之一。DataPipeline企业级实时数据融合平台的成功上线,为勘探开发梦想云平台提供了核心技术支持。在异构数据库的支持方面表现尤为突出,兼容我们数十种数据库管理技术,实现了勘探开发数据的统一采集、集中管理与共享应用,极大地提升了我们数据工程师和勘探开发生产科研工作效率,为中石油打造国际一流能源企业奠定了坚实的基础。未来双方将在更多场景进行探索,推动更多实时应用落地。”
中国石油需要构建融合MySQL、 PostgreSQL、HashData、Greenplum 等多种数据库管理技术,自研难度较大。
中国石油自研了数据同步产品 DSB,采用代码方式实现数据传输链路,每个数据同步任务需要编制脚本,研发交付效率较低。没有图形化界面,任务状态监控等运维功能不直观,用户权限、安全等方面的管理功能不完善。
中国石油需要实时将油田数据采集到大数据平台进行建模分析,自研的 DSB 只实现了定时数据同步,未能实现实时数据同步,实时数据融合较定时模式自研难度更大,稳定性、性能要求更高。
零代码部署后即可实现客户 MySQL、 PostgreSQL、HashData、Greenplum 等十余种数据库技术的打通,实现异构数据之间同步。
通过 DataPipeline 解析数据库日志的方式,实现对MySQL、 PostgreSQL 等的实时增量数据的准确获取。
通过可视化管理页面和配置式构建数据链路,极大地提升了数据工程师的工作效率;运维人员通过可视化监控界面,及时查看任务执行情况,及时发现问题,提升了运维效率,降低了风险。
自研难度太大,耗时太长,成本太高。中国石油上线DataPipeline后,极大降低了研发成本且可以立即投入使用,省时省力省钱。
数百个实时数据任务为从生产管理到经营决策的各个部门,从勘探、开发、生产到作业的各类场景提供准确、可靠、一致的批量与实时数据,使生产管理及研究人员从日常琐碎繁重资料收集、数据处理工作中解放出来。
实现了勘探开发数据的统一采集、集中管理与共享应用,极大地提升了勘探开发生产科研工作效率,为中国石油打造国际一流能源企业奠定了坚实的基础。