待验证50% 置信事实精确时间

大语言模型以词元（token）为基本处理单位，而非以单词为单位理解语言

1

来源数

50%

置信度

长期有效

时效性

2026/7/20

首次发现

来源

AI幻觉从何而来？为什么难以根除

相关事实

待验证大语言模型以token为单位处理文字而非以字母为单位，这解释了早期模型在字母计数任务上出错84% 相似已验证大型语言模型通过将输入文本分割为tokens来处理语言，tokens可以是完整单词、子词片段或单个字符77% 相似待验证大语言模型的用量计费通常基于token（词元）消耗，而非简单的对话次数75% 相似待验证大模型本身只是语言引擎，其能力边界取决于接入了多少工具72% 相似待验证语言模型作为编排核心、外部工具作为执行单元的架构范式在学术界被称为 Tool-Augmented Language Model（工具增强语言模型）71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/565276

API

curl https://kongchang.com/api/v1/knowledge/claims/565276

MCP

get_claim(id=565276)