Chonkie
Python 生态中的文本分块库，专门针对 tiktoken 集成做了优化，在基于 BPE 分词的分块场景下性能表现突出
时间轴 (近 90 天)
Agentic GraphRAG的知识层使用Docling进行文档摄入，使用Chonkie进行分块，分块时保留文档章节结构、表格和段落层级，PDF还会记录页码位置。
在递归分块基准测试（1MB，1000/200）中，Chunkr 达到 2,264 MB/s，LangChain 为 769 MB/s，LlamaIndex 仅 10 MB/s，Chonkie 为 225 MB/s
在 BPE 分词（cl100k_base，512/50）场景下，Chunkr 为 38 MB/s，Chonkie 以 151 MB/s 领先
Chonkie 专门针对 tiktoken 集成做了优化，而 Chunkr 在 tokenizer 调用层的适配尚未达到同等水平，这是 Chunkr 在 BPE 场景下落后的原因
全部知识事实 (4)
Agentic GraphRAG的知识层使用Docling进行文档摄入，使用Chonkie进行分块，分块时保留文档章节结构、表格和段落层级，PDF还会记录页码位置。
50%待验证在递归分块基准测试（1MB，1000/200）中，Chunkr 达到 2,264 MB/s，LangChain 为 769 MB/s，LlamaIndex 仅 10 MB/s，Chonkie 为 225 MB/s
50%待验证在 BPE 分词（cl100k_base，512/50）场景下，Chunkr 为 38 MB/s，Chonkie 以 151 MB/s 领先
50%待验证Chonkie 专门针对 tiktoken 集成做了优化，而 Chunkr 在 tokenizer 调用层的适配尚未达到同等水平，这是 Chunkr 在 BPE 场景下落后的原因
50%