这个例子解释softmax权重如何参与加权,不复现完整Transformer训练。
| 读者问题 | 解释 | 边界 |
|---|---|---|
| 权重为什么相加为1 | softmax除以指数总和 | 输入得分不同权重也变 |
| 5是模型预测吗 | 不是,只是标量教学计算 | 没有运行大模型 |
| 论文效果能由此推出吗 | 不能 | 需原论文实验 |
这个例子解释softmax权重如何参与加权,不复现完整Transformer训练。
| 读者问题 | 解释 | 边界 |
|---|---|---|
| 权重为什么相加为1 | softmax除以指数总和 | 输入得分不同权重也变 |
| 5是模型预测吗 | 不是,只是标量教学计算 | 没有运行大模型 |
| 论文效果能由此推出吗 | 不能 | 需原论文实验 |