作者小头像 Lv.3
更多个人资料
416 成长值
0 关注
0 粉丝
+ 关注 私信

个人介绍

这个人很懒,什么都没有留下

感兴趣或擅长的领域

暂无数据
个人勋章
  • 活跃之星
成长雷达
365
36
0
15
0

个人资料

个人介绍

这个人很懒,什么都没有留下

感兴趣或擅长的领域

暂无数据

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
全部时间
全部时间
最近三天
最近一周
最近一月
  • 全部
  • 暂无专栏分类
Transformer 自注意力机制
从矩阵乘法到并行计算:彻底拆解 Transformer 自注意力机制本文不讲"注意力是什么",而是拆解它在工程上到底怎么算、为什么这么算、以及哪些细节决定了它能不能跑起来。 1. 问题起点:为什么需要注意力机制在 Transformer 出现之前,序列建模主要靠 RNN/LSTM。RNN 的致命问题有两个:时间步串行:第 t 步的计算依赖第 t-1 步的隐状态,无法在时间维度上并行,训练速...
机器学习 神经网络
作者小头像 yd_292659020 2026-11-19 00:21:55
19
0
0
2026-11-19 00:21:55
19
0
0
FlashAttention
FlashAttention:让 Transformer 训练快 2-4 倍的底层秘密 一、问题背景:标准注意力的内存瓶颈Transformer 的核心是自注意力机制。给定查询矩阵 QQQ、键矩阵 KKK、值矩阵 VVV,三者形状均为 (N,d)(N, d)(N,d),其中 NNN 是序列长度,ddd 是头维度,标准注意力的计算为:S=QKT∈RN×N,P=softmax(S),O=PV∈...
机器学习
作者小头像 yd_292659020 2026-11-18 01:12:20
25
0
0
2026-11-18 01:12:20
25
0
0
Flash Attention
Flash Attention:从内存瓶颈到在线 softmax 的算法重构 一、为什么需要 Flash Attention标准 Attention 的计算公式是:Attention(Q,K,V)=softmax ⁣(QKTd)V\text{Attention}(Q, K, V) = \text{softmax}\!\left(\frac{QK^T}{\sqrt{d}}\right) VA...
Flash
作者小头像 yd_292659020 2026-11-17 00:25:51
41
0
0
2026-11-17 00:25:51
41
0
0
RoPE 旋转位置编码
RoPE 旋转位置编码:用复数旋转把绝对位置变成相对位置 为什么需要重新设计位置编码Transformer 的 Self-Attention 机制本身是置换不变的——把输入序列打乱顺序,Attention 的输出完全不变(只是对应行也跟着打乱)。这意味着模型根本不知道 token 的先后关系,必须额外注入位置信息。经典方案有两种:绝对位置编码(原版 Transformer 的 sin/co...
机器学习
作者小头像 yd_292659020 2026-11-16 00:09:24
42
0
0
2026-11-16 00:09:24
42
0
0
RoPE 旋转位置编码
RoPE 旋转位置编码:从原理到实现的深度解析 引言在 Transformer 架构中,Self-Attention 机制本身是位置无关的——它只关心 token 之间的内容相似度,不关心它们在序列中的先后顺序。如果不注入位置信息,"猫追狗"和"狗追猫"在模型看来将完全等价。位置编码就是解决这个问题的方案。从最初的绝对位置编码(正弦/余弦编码、可学习位置编码),到相对位置编码(T5 Rel...
机器学习 深度学习
作者小头像 yd_292659020 2026-11-15 00:48:32
51
0
0
2026-11-15 00:48:32
51
0
0
Flash Attention
Flash Attention:从内存瓶颈到分块计算的注意力加速革命 一、为什么需要 Flash Attention?Transformer 的核心是 Self-Attention,其计算公式为:O=softmax(QKTd)VO = \text{softmax}\left(\frac{QK^T}{\sqrt{d}}\right) VO=softmax(d​QKT​)V其中 Q,K,V∈R...
Flash
作者小头像 yd_292659020 2026-11-14 00:20:02
57
0
0
2026-11-14 00:20:02
57
0
0
深入剖析 LLM 推理中的 KV Cache 机制
# 深入剖析 LLM 推理中的 KV Cache 机制> 本文聚焦大语言模型推理阶段的核心优化技术——KV Cache,从原理推导到工程实现细节,逐层拆解其工作机制、内存占用模型、以及为什么它是自回归生成得以高效运行的基础设施。## 1. 问题起点:为什么朴素自回归推理慢得不可接受大语言模型生成文本的过程是**自回归的**(autoregressive):每生成一个 token,就把它拼回输...
作者小头像 yd_292659020 2026-11-13 00:30:51
45
0
0
2026-11-13 00:30:51
45
0
0
Flash Attention
Flash Attention:从内存瓶颈到分块计算的完整拆解 一、为什么需要 Flash Attention?标准 Self-Attention 的计算公式是:Attention(Q,K,V)=softmax(QKTd)V\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d}}\right) VAttent...
Flash
作者小头像 yd_292659020 2026-11-12 00:34:35
53
0
0
2026-11-12 00:34:35
53
0
0
Transformer 自注意力机制
深入剖析 Transformer 自注意力机制:从数学原理到工程实现 引言2017 年,Google 在论文《Attention Is All You Need》中提出了 Transformer 架构,彻底抛弃了 RNN 和 CNN 的序列建模方式,仅凭注意力机制就完成了序列到序列的映射。如今,从 BERT、GPT 到 LLaMA、DeepSeek,几乎所有主流大语言模型都以自注意力(Se...
机器学习
作者小头像 yd_292659020 2026-11-11 00:23:47
57
0
0
2026-11-11 00:23:47
57
0
0
Harness
深入理解 Harness:下一代持续交付平台本文将系统介绍 Harness 平台的核心架构、关键能力、Pipeline 设计模式以及与云原生生态的集成实践。 目录1. 什么是 Harness2. 核心架构3. 关键概念4. Pipeline 设计5. 部署策略6. 与云原生生态集成7. GitOps 与 Infrastructure as Code8. Feature Flags(功能开关...
Git
作者小头像 yd_292659020 2026-11-10 01:09:01
68
0
0
2026-11-10 01:09:01
68
0
0
总条数:36
10
10
20
50
100
  • 1
  • 2
  • 3
  • 4

上滑加载中

https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注