近日,DataPipeline协助某全球知名化妆品企业构建的企业级实时数据融合平台正式投入使用。
DataPipeline协助某世界五百强金融企业搭建的企业级数据融合平台正式投入使用!
虽然目前Apache Kafka已经全面进化成一个流处理平台,但大多数的用户依然使用的是其核心功能:消息队列。对于如何有效地监控和调优Kafka是一个大话题,很多用户都有这样的困扰,今天我们就来讨论一下。
本文主要从携程大数据平台概况、架构设计及实现、在实现当中踩坑及填坑的过程、实时计算领域详细的应用场景,以及未来规划五个方面阐述携程实时计算平台架构与实践,希望对需要构建实时数据平台的公司和同学有所借鉴。
DataPipeline致力于帮助企业打通内外部的各种数据,小微企业的贷款是涵盖大量内外部数据源的一个典型场景,无论是贷前、贷中还是贷后,都需要融合大量的、及时的数据以判断小微企业的经营水平。
在这种情况下,我们接触到了DataPipeline,他们拿出了相对成熟的数据管理平台DataPipeline,并且通过私有化部署在我们服务器上以及完善的解决方案,这在很大程度上帮助我们解决了工程师遇到的诸多问题。可以相对比较稳定的支撑我们推荐、搜索、一线分析、业务分析等不同的场景。