庞征博引Wiki开始新主题

Transformer 的注意力机制

从序列建模的难点出发,理解自注意力、QKV、多头注意力与位置编码如何协作,建立对大语言模型底层结构的直觉。

为什么需要注意力机制:RNN 的瓶颈与「每个词直接看见彼此」的直觉

8月2日

自注意力核心运算:QKV 与缩放点积

8月2日

多头注意力与位置编码:Transformer 的两块基础拼图

8月2日

Encoder/Decoder 堆叠、残差连接与 LayerNorm:Transformer 为什么能堆到很深

8月2日

掩码:整句并行训练,模型为什么不偷看后面的词

10月26日

从向量到词:logits、softmax 与权重共享的输出投影

10月26日

交叉熵损失:模型怎么知道自己猜错了,又怎么把错变成参数更新

10月26日

文字怎么变成向量:子词分词与词嵌入表

10月26日

相关主题

  • 从机器人行动理解具身智能
    1. 人示范五十遍,机器人为什么还是会偏出去
    2. 从“把杯子放进水槽”到一串关节角:机器人把一句话拆成三层
    3. 夹爪合上了,为什么杯子还是滑掉:抓取里的形封闭与力封闭
  • 用 AI 生成图片和视频
    1. 引导强度到底在管什么:为什么调高后更听话,也更容易过曝
    2. 只改一小块为什么这么难:遮罩管到哪,重绘幅度管改多少
    3. 一句“镜头缓缓推近”为什么不听话:模型里其实没有那台摄像机
  • Photoshop 修图与合成
    1. 修掉一个瑕疵,像素是从哪里来的:污点修复画笔、修复画笔和仿制图章的区别
    2. 智能对象是什么:为什么普通图层反复缩放会越改越糊
    3. 混合模式改了什么:正片叠底为什么去白留黑,滤色为什么去黑留白
  • 光线追踪怎样让画面更真实
    1. 阴影是怎么算出来的:光栅化为什么要靠一个滑杆硬撑,光追又凭什么自然给出软硬不同的半影
    2. 光打到表面之后:金属、塑料、玻璃为什么长得完全不一样
    3. 光追噪点与降噪的取舍:颗粒、拖影、糊掉细节是怎么来的

庞征博引开始新主题

探索

  • 主页
  • 公共知识库
  • App 下载
  • 博客
  • 价格

支持

  • 使用指南
  • 更新日志
  • 联系我们
  • 服务状态

关于

  • 宣言
  • 故事
  • 服务条款
  • 隐私政策

© 2026 汉士鲁ICP备19059331号-3