概念Text Splitting / 文本切分
文本分割
将长文档切分为适合模型处理的短片段(chunk)的预处理技术,常见策略包括固定字符数、按段落标题和递归分割,分割粒度影响检索质量
时间轴 (近 90 天)
10月12日
文本分割中,按标题切分属于结构性分割,能保留文档的语义边界;按大小切分(如约500字符)则控制单块长度,适配嵌入模型和上下文窗口的限制。
待验证50%
将长文档切分为适合模型处理的短片段(chunk)的预处理技术,常见策略包括固定字符数、按段落标题和递归分割,分割粒度影响检索质量
文本分割中,按标题切分属于结构性分割,能保留文档的语义边界;按大小切分(如约500字符)则控制单块长度,适配嵌入模型和上下文窗口的限制。