#循环神经网络

共 2 篇相关文章

非对称循环Transformer（AsymLoop）将单遍上下文编码与循环状态细化分离，固定全局KV缓存，在1B规模下常识推理平均准确率从49.58%提升至50.85%，为循环语言模型提供新设计范式。

ILRN是一种无注意力的循环神经网络，核心机制为逆延迟记忆（ILRM），在96和256上下文长度下与Transformer对比取得更高准确率。本文解析其架构设计、实验结果与局限性。