数据流处理

Kafka Streams

Kafka 原生流处理库。

Streams 架构

Source Topic → Processor → Sink Topic

流处理场景

1. 实时 ETL：数据转换和加载
2. 实时监控：指标计算
3. 事件驱动：事件处理

最佳实践

1. 合理设置分区数
2. 监控消费延迟
3. 处理消息幂等性

参考：https://kafka.apache.org/documentation/streams/