ChatGPT 论文精读:注意力加权小例子

这个例子解释softmax权重如何参与加权,不复现完整Transformer训练。

读者问题解释边界
权重为什么相加为1softmax除以指数总和输入得分不同权重也变
5是模型预测吗不是,只是标量教学计算没有运行大模型
论文效果能由此推出吗不能需原论文实验