共 2 篇相关文章
从Token、向量嵌入到Transformer自注意力机制，系统拆解AI大模型预训练、微调与推理三阶段原理，解释大模型为何逐词输出、幻觉从何而来，以及它如何理解上下文语义。
从token切分到transformer注意力，从Prefill/Decode两阶段到KV Cache成本，再到LLM为何没有记忆，一文讲清大模型生成一个词的完整链路与长上下文昂贵的根本原因。
