“为能灵活满足业务部门的数据消费需求,及时响应学生反馈,正保远程教育将携手DataPipeline基于批流一体的数据融合服务展开合作,共同推进智慧教育的发展。”
正保远程教育旗下有十几个子品牌,数据存在在多个系统中,如客服类、运营类、内容产出类等,数据源繁多且复杂。这就导致企业在打通异构数据源时,需要使用多套产品来解决异构数据源打通的问题。
正保远程教育业务部门较多,有客服部门、教务部门、运营部门、市场部门等,为能及时了解学生上课等情况,做好后续服务,需要及时取数进行实时分析,以及时响应优化决策。
由于数据源多且比较复杂,数据库需要DBA负责,网络需要运维负责,一旦业务部门提出需求,中间负责数据管道的人员需要协调多方完成取数,效率较低。
DataPipeline基于流式数据处理的模式,实现在不间断的时间轴上处理无限数据集。实时获取源端的数据变化并一对多分发,保证数据的实时传输,满足同业务场景的用数需求。
DataPipeline支持主流关系型和非关系型数据,同时可以快速实现云上数据平台的数据打通、支持各种大数据平台、文件系统同步等功能。
之前为解决数据传输问题需进行二次开发,投入了大量时间和人员,现在只需投入之前的20%-30%,人工同步脚本开发时间节省75%。
工具轻便,容易学习上手部署,版本更新迭代快,能最大化满足市场变化带来的挑战,为灵活的数据消费需求提供了强有力的技术驱动。
流式处理框架能满足高效低延迟,秒级准实时要求,数据同步实时度提升 90%,极大程度上满足了业务部门的数据需求。