> 技术文档 > 词嵌入维度与多头注意力关系解析

词嵌入维度与多头注意力关系解析

技术文档

词嵌入维度与头数关系

词嵌入维度与多头注意力关系解析

在多头注意力机制中，词嵌入维度与头数存在特定的关系。通常情况下，输入的词嵌入向量维度会被平均分配到各个注意力头中，即假设词嵌入向量维度为 $d_{model}$