[控场AI]
概念Semantic Chunking / 语义切块

语义分块

一种文档分块策略,按语义边界而非固定字符或Token长度切分文档,保证语义完整性,常用于RAG和文档信息抽取场景

时间轴 (近 90 天)

10月19日

语义分块通过计算相邻句子或段落的嵌入向量相似度,低于阈值时切分,相比固定长度窗口能让块内主题更连贯,但阈值选择依赖经验、计算成本更高。

待验证50%
10月16日

RAG教程没有讲清楚分块边界是错的核心问题;更好的分块策略包括重叠窗口、语义分块、父文档检索;真正的修复在于重新思考存储的内容本身。

待验证50%
10月14日

改善RAG分块问题的方向包括重叠窗口、语义分块、父文档检索等更优的分块策略;根本解法在于重新思考存储的对象,有时应存储信息的结构化表示而非原始文本。

待验证50%
10月12日

语义分块通过检测嵌入向量相似度的突变点来确定切分位置

待验证50%
9月7日

固定长度分块会破坏语义完整性,语义分块则计算开销较大且对嵌入模型质量高度敏感

待验证50%

全部知识事实 (5)

来源文章