Structured Streaming
Spark的结构化流处理引擎，把流式数据视为无界表，用DataFrame/SQL API做增量计算，支持Exactly-once语义
时间轴 (近 90 天)
结构化流处理的“实时”更多是微批级别的持续更新，其延迟量级取决于触发间隔与数据到达节奏，而非硬实时的逐条处理
结构化流处理（Structured Streaming）是 Apache Spark 内置的流计算引擎
结构化流处理将流式数据视作一张不断追加的表，允许开发者用批处理的 SQL 或 DataFrame API 表达流式逻辑
结构化流处理的核心机制是增量查询：每次只处理新到达的数据，而不是对历史全量重新计算
结构化流处理支持基于事件时间的滚动窗口聚合、水位线处理迟到数据，以及将聚合结果持续写入 Delta 表
Structured Streaming是Spark的结构化流处理引擎，把流式数据视为不断追加的无界表，用与批处理一致的DataFrame/SQL API做增量计算，并借助检查点与Exactly-once语义保证容错。
惠普利用Databricks的Structured Streaming能力，将网站行为、订单事件和客服交互近乎实时地汇入CustomerLake，使营销团队可以基于最新行为触发个性化触达。
Checkpoint是Structured Streaming容错机制的核心，每个微批次执行时Spark会将算子的状态快照和执行进度持久化到外部存储（通常是HDFS或对象存储）
状态数据按照spark.sql.shuffle.partitions或算子级别的分区数写成固定数量的文件分片，直接修改分区数会导致Checkpoint中历史状态文件与新配置不兼容
分区设得太少会造成状态倾斜和处理瓶颈，分区设得太多则在低流量时段浪费计算资源
全部知识事实 (10)
结构化流处理的“实时”更多是微批级别的持续更新，其延迟量级取决于触发间隔与数据到达节奏，而非硬实时的逐条处理
50%待验证结构化流处理（Structured Streaming）是 Apache Spark 内置的流计算引擎
50%待验证结构化流处理将流式数据视作一张不断追加的表，允许开发者用批处理的 SQL 或 DataFrame API 表达流式逻辑
50%待验证结构化流处理的核心机制是增量查询：每次只处理新到达的数据，而不是对历史全量重新计算
50%待验证结构化流处理支持基于事件时间的滚动窗口聚合、水位线处理迟到数据，以及将聚合结果持续写入 Delta 表
50%待验证Structured Streaming是Spark的结构化流处理引擎，把流式数据视为不断追加的无界表，用与批处理一致的DataFrame/SQL API做增量计算，并借助检查点与Exactly-once语义保证容错。
50%待验证惠普利用Databricks的Structured Streaming能力，将网站行为、订单事件和客服交互近乎实时地汇入CustomerLake，使营销团队可以基于最新行为触发个性化触达。
50%待验证Checkpoint是Structured Streaming容错机制的核心，每个微批次执行时Spark会将算子的状态快照和执行进度持久化到外部存储（通常是HDFS或对象存储）
50%待验证状态数据按照spark.sql.shuffle.partitions或算子级别的分区数写成固定数量的文件分片，直接修改分区数会导致Checkpoint中历史状态文件与新配置不兼容
50%待验证分区设得太少会造成状态倾斜和处理瓶颈，分区设得太多则在低流量时段浪费计算资源
50%