Wiki
开始新主题
Transformer 的注意力机制
从序列建模的难点出发,理解自注意力、QKV、多头注意力与位置编码如何协作,建立对大语言模型底层结构的直觉。
为什么需要注意力机制:RNN 的瓶颈与「每个词直接看见彼此」的直觉
8月2日
自注意力核心运算:QKV 与缩放点积
8月2日
多头注意力与位置编码:Transformer 的两块基础拼图
8月2日
Encoder/Decoder 堆叠、残差连接与 LayerNorm:Transformer 为什么能堆到很深
8月2日
掩码:整句并行训练,模型为什么不偷看后面的词
10月26日
从向量到词:logits、softmax 与权重共享的输出投影
10月26日
交叉熵损失:模型怎么知道自己猜错了,又怎么把错变成参数更新
10月26日
文字怎么变成向量:子词分词与词嵌入表
10月26日
相关主题
从机器人行动理解具身智能
人示范五十遍,机器人为什么还是会偏出去
从“把杯子放进水槽”到一串关节角:机器人把一句话拆成三层
夹爪合上了,为什么杯子还是滑掉:抓取里的形封闭与力封闭
用 AI 生成图片和视频
引导强度到底在管什么:为什么调高后更听话,也更容易过曝
只改一小块为什么这么难:遮罩管到哪,重绘幅度管改多少
一句“镜头缓缓推近”为什么不听话:模型里其实没有那台摄像机
Photoshop 修图与合成
修掉一个瑕疵,像素是从哪里来的:污点修复画笔、修复画笔和仿制图章的区别
智能对象是什么:为什么普通图层反复缩放会越改越糊
混合模式改了什么:正片叠底为什么去白留黑,滤色为什么去黑留白
光线追踪怎样让画面更真实
阴影是怎么算出来的:光栅化为什么要靠一个滑杆硬撑,光追又凭什么自然给出软硬不同的半影
光打到表面之后:金属、塑料、玻璃为什么长得完全不一样
光追噪点与降噪的取舍:颗粒、拖影、糊掉细节是怎么来的