实时数据既要全面覆盖能被利用的各类数据，也要基于价值分清先后顺序；既要高效释放数据价值，也要选好抓手、切入点；所谓博观约取，价值驱动。

大家好，先自我介绍一下，我是王睿。之前在Facebook/Instagram担任AI技术负责人，现在DataPipeline任Head of AI，负责研发企业级业务异常检测产品，旨在帮助企业一站式解决业务自动化监控和异常检测问题。今天主要从以下四方面跟大家分享构建该产品的思路和实战。

DataPipeline Head of AI，负责业务异常检测产品线。

本文简要讨论了一些构建面向实时数据的集成平台在技术选型方面的考量点。

ELT 和 ETL 是数据集成的两种基本方式。前者专注于大数据的实时抽取和可靠传输，后者则包含了更丰富的数据转换功能。 由于今天是和 AI 前线的朋友们一起探讨数据集成，我主要结合 AI 应用的场景谈谈：为什么 ELT 是更适合 AI 应用场景的数据集成方案、采用 Kafka 技术栈来构建 ELT 平台所具备的优势和问题以及我们所做的一些优化工作。希望能够对大家的工作和学习有所帮助。

首先，本文将从数据融合角度，谈一下DataPipeline对批流一体架构的看法，以及如何设计和使用一个基础框架。其次，数据的一致性是进行数据融合时最基础的问题。如果数据无法实现一致，即使同步再快，支持的功能再丰富，都没有意义。 另外，DataPipeline目前使用的基础框架为Kafka Connect。为实现一致性的语义保证，我们做了一些额外工作，希望对大家有一定的参考意义。