注意力机制：不看公式也能懂

讲 Transformer 的资料，一上来就是 Q、K、V 和矩阵。其实先不看公式，它要做的事很好懂。

词的意思要看周围

「我咬了一口苹果，很甜。」

「苹果发布了新款手机。」

字典里苹果就那一个词。电脑如果只把它换成一串固定的数字，这两句话里的苹果就没有区别。注意力就是让每个词看一圈句子里的其他词，把有关的信息掺进自己身上。

每个词带三张名片

可以把一句话想成一场派对，每个词带三张名片。比如「那只疲惫的狗躺在草地上」，轮到「躺」的时候：

• Q，我想找什么。 「躺」想知道谁在躺，躺在哪。
• K，我是什么。 「狗」亮出来的是动物、主语，「草地上」亮出来的是地点。
• V，我能给你什么。 这个词实际带着的内容。

「躺」拿自己的 Q 去跟每个词的 K 比，比出一组比例，再按比例把大家的 V 混到一起。比如狗 50%、草地上 40%、疲惫 10%，这组数是举例用的。混完之后，这个「躺」就带上了「一只狗躺在草地上」的意思。

句子里每个词都同时这么做一遍。三张名片也不是人写的，都是模型训练出来的。

多头就是多看几遍

只算一组比例，容易顾此失彼。所以同一句话会同时算好几组，这叫多头，最早的 Transformer 用了 8 个头。可以理解成有的头在看谁做了什么，有的头在看「它」指的是谁。实际上每个头看什么也是训练出来的，没人给它们分工。

GPT 只能往前看

GPT 训练时玩的是文字接龙，给「床前」猜「明月」，给「床前明月」猜「光」。要是能看到后面的词，它直接抄就行，什么也学不到。

所以它在比完分数之后，把后面所有词的分数改成负无穷，换算成比例就是 0%。这样读到「苹果」时它还不知道后面有手机，要等读到「手机」，才回头去看前面的苹果。

再看那条公式

现在回去看公式就没那么吓人了。Q 乘 K 是打分，softmax 是把分数换成比例，再乘 V 是按比例混合。