分块
将长文档切分为较小文本块的处理过程，是RAG系统的关键预处理步骤，切分策略直接影响检索效果
核心事实
时间轴 (近 90 天)
操作融合（operator fusion）和分块（tiling）是减少数据移动的关键技术。
分块（Chunking）时文档切得太碎会丢失上下文，切得太大又会稀释语义、挤占上下文窗口；分块大小、重叠长度、切分边界是检索评估时最值得优先调优的超参数之一。
调用时序模型前应先估算序列消耗的 token 数；如果估算值超过模型的上下文窗口，必须降采样或分块，这一步不能跳过。
即使大模型的上下文窗口足够大，生产流水线仍会主动分块文档，原因包括单次推理成本随 token 数近似线性增长、超长请求的延迟不可接受、输出长度受限。
分块会导致文档级连贯性丢失，表现为术语翻译不一致、代词指代错误等，这在法律、医疗或技术内容中构成错误。
在RAG中，小块更容易命中最具体的事实但可能丢失上下文，大块保留了更多上下文但容易引入无关信息，因此块粒度需要权衡。
分块（chunking）是把原始文档切割成可检索的最小单元，是RAG pipeline中最靠前且关键的决策之一，其质量影响后续embedding、检索和生成的效果。
高效的分块策略目标是创建足够聚焦以便检索、足够完整以便解释的单元
分块边界应反映源材料的结构，例如政策需要保留条件、例外和章节标题，合同可能需要条款边界和交叉引用
分块（Chunking）指将长文档切分为适合索引和放入上下文窗口的文本单元，常见做法包括固定token窗口加重叠、按段落或标题切分、按语义相似度动态合并等
还有 5 条时间轴事件
全部知识事实 (15)
RAG教程很少覆盖一个关键问题：分块边界几乎总是错的；当把文档切块并嵌入时，实际上是对哪些上下文属于一起做出假设，这些假设经常不成立。
70%已验证如果RAG流水线返回技术上正确但语境上无用的结果，问题几乎一定出在切块或元数据上，而不是嵌入模型
70%待验证操作融合（operator fusion）和分块（tiling）是减少数据移动的关键技术。
50%待验证分块（Chunking）时文档切得太碎会丢失上下文，切得太大又会稀释语义、挤占上下文窗口；分块大小、重叠长度、切分边界是检索评估时最值得优先调优的超参数之一。
50%待验证调用时序模型前应先估算序列消耗的 token 数；如果估算值超过模型的上下文窗口，必须降采样或分块，这一步不能跳过。
50%待验证分块会导致文档级连贯性丢失，表现为术语翻译不一致、代词指代错误等，这在法律、医疗或技术内容中构成错误。
50%待验证即使大模型的上下文窗口足够大，生产流水线仍会主动分块文档，原因包括单次推理成本随 token 数近似线性增长、超长请求的延迟不可接受、输出长度受限。
50%待验证分块（chunking）是把原始文档切割成可检索的最小单元，是RAG pipeline中最靠前且关键的决策之一，其质量影响后续embedding、检索和生成的效果。
50%待验证在RAG中，小块更容易命中最具体的事实但可能丢失上下文，大块保留了更多上下文但容易引入无关信息，因此块粒度需要权衡。
50%待验证高效的分块策略目标是创建足够聚焦以便检索、足够完整以便解释的单元
50%待验证分块边界应反映源材料的结构，例如政策需要保留条件、例外和章节标题，合同可能需要条款边界和交叉引用
50%待验证分块（Chunking）指将长文档切分为适合索引和放入上下文窗口的文本单元，常见做法包括固定token窗口加重叠、按段落或标题切分、按语义相似度动态合并等
50%待验证RAG管道返回结果'技术上正确但上下文无用'的问题几乎肯定出在分块或元数据上，而不是嵌入模型。
50%待验证分块（chunking）是 RAG 管线的关键环节，常见切分方式包括按固定长度切、按段落边界切、按语义相似度切等，分块大小需要权衡。
50%待验证分块粒度的选择本质上是精确度与上下文完整性之间的权衡：chunk太小则精确代码易定位但上下文丢失，chunk太大则上下文保留但检索精度和向量表征质量下降
50%