[控场AI]
概念Multi-Head Attention / 多头注意力

多头机制

将查询、键、值投影到多个低维子空间并行计算注意力的机制,使模型能同时关注不同类型的关联,是Transformer的核心设计之一。

来源文章