待验证50% 置信事实精确时间

Tiny-MoE实现了包括Top-k、Top-p、重复惩罚和n-gram屏蔽在内的文本生成策略

1

来源数

50%

置信度

长期有效

时效性

2026/7/13

首次发现

来源

15岁少年从零训练200M MoE语言模型：完整架构与实战拆解

redditr/learnmachinelearning2026/7/12

相关事实

待验证项目实现了涵盖Top-k、Top-p、重复惩罚和n-gram屏蔽的文本生成策略，用于对抗小模型的重复循环缺陷77% 相似待验证文本分块策略包括固定字符长度分块、语义分块、递归分块以及小到大检索（Small-to-Big）等策略65% 相似待验证大模型处理文本以Token（词元）为最小处理单元，由分词器完成切分62% 相似待验证KV Cache机制可以缓存重复的前缀内容，越简洁的系统提示词缓存命中率越高60% 相似待验证文本编码器将提示词编码为固定维度嵌入向量，abliteration针对的是token生成过程中的拒绝行为，与嵌入向量输出情况不同58% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/502163

API

curl https://kongchang.com/api/v1/knowledge/claims/502163

MCP

get_claim(id=502163)