概念Semantic Chunking / 语义切块
语义分块
一种文档分块策略,按语义边界而非固定字符或Token长度切分文档,保证语义完整性,常用于RAG和文档信息抽取场景
时间轴 (近 90 天)
10月19日
语义分块通过计算相邻句子或段落的嵌入向量相似度,低于阈值时切分,相比固定长度窗口能让块内主题更连贯,但阈值选择依赖经验、计算成本更高。
待验证50%
10月16日
RAG教程没有讲清楚分块边界是错的核心问题;更好的分块策略包括重叠窗口、语义分块、父文档检索;真正的修复在于重新思考存储的内容本身。
待验证50%
10月14日
改善RAG分块问题的方向包括重叠窗口、语义分块、父文档检索等更优的分块策略;根本解法在于重新思考存储的对象,有时应存储信息的结构化表示而非原始文本。
待验证50%
10月12日
语义分块通过检测嵌入向量相似度的突变点来确定切分位置
待验证50%
9月7日
固定长度分块会破坏语义完整性,语义分块则计算开销较大且对嵌入模型质量高度敏感
待验证50%
全部知识事实 (5)
待验证
语义分块通过计算相邻句子或段落的嵌入向量相似度,低于阈值时切分,相比固定长度窗口能让块内主题更连贯,但阈值选择依赖经验、计算成本更高。
50%待验证RAG教程没有讲清楚分块边界是错的核心问题;更好的分块策略包括重叠窗口、语义分块、父文档检索;真正的修复在于重新思考存储的内容本身。
50%待验证改善RAG分块问题的方向包括重叠窗口、语义分块、父文档检索等更优的分块策略;根本解法在于重新思考存储的对象,有时应存储信息的结构化表示而非原始文本。
50%待验证语义分块通过检测嵌入向量相似度的突变点来确定切分位置
50%待验证固定长度分块会破坏语义完整性,语义分块则计算开销较大且对嵌入模型质量高度敏感
50%