作者小头像 Lv.3
更多个人资料
246 成长值
0 关注
0 粉丝
+ 关注 私信

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

暂无数据
个人勋章
TA还没获得勋章~
成长雷达
165
21
0
60
0

个人资料

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

暂无数据

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
全部时间
全部时间
最近三天
最近一周
最近一月
  • 全部
  • 暂无专栏分类
从 MHA、GQA 到 MLA：大模型注意力机制 KV Cache 极致压缩原理与工程实践
在大语言模型（LLM）向超长上下文（128K 乃至 1M Tokens）与高并发生产服务演进的过程中，推理系统的核心物理瓶颈已从模型权重显存转移至 KV Cache（键值缓存）的显存占用与访存带宽。当上下文长度与并发批次（Batch Size）同步扩大时，庞大的 KV Cache 会迅速耗尽高带宽显存（HBM），限制系统最大吞吐上限。为了在保持模型表征能力的同时压减 KV Cache 体积，...
作者小头像 coral_66666 2026-11-13 21:40:55
1
0
0
2026-11-13 21:40:55
1
0
0
大模型长上下文外推核心原理：从 RoPE 旋转位置编码到 NTK-aware 与 YaRN 工程实践
在构建长文档分析、代码仓库级理解以及复杂多轮智能体（Agent）系统时，大语言模型（LLM）处理长上下文（Long Context，如 32K、128K 甚至 1M Tokens）的能力至关重要。然而，Transformer 架构中的自注意力机制（Self-Attention）本身具有置换不变性（Permutation Invariance）——若不注入位置信息，打乱输入 Token 顺序将...
Yarn
作者小头像 coral_66666 2026-11-12 16:08:21
1
0
0
2026-11-12 16:08:21
1
0
0
大模型低比特量化核心原理与工程实践：从激活异常值到 GPTQ 与 AWQ 深度剖析
随着大语言模型（LLM）参数规模从 7B 迈向 70B 甚至千亿级别，模型部署面临严峻的硬件资源壁垒：一方面，FP16/BF16 精度下的权重占用海量显存（70B 模型仅权重就需约 140 GB）；另一方面，自回归解码阶段受限于显存带宽（Memory-bound），频繁搬运高比特权重严重拖累生成吞吐。模型量化（Model Quantization） 通过将高精度的浮点数（FP16/BF16）...
作者小头像 coral_66666 2026-11-11 14:46:12
4
0
0
2026-11-11 14:46:12
4
0
0
混合专家模型（MoE）核心原理与工程实践：从 Top-K 门控、辅助负载均衡到专家并行
随着大语言模型（LLM）参数规模突破千亿，传统的密集模型（Dense Model）面临着巨大的算力与能耗瓶颈：每次前向推理都需要激活所有参数，导致计算成本（FLOPs）与模型容量强行绑定。为了打破这一“参数量与计算开销正比”的物理约束，混合专家模型（Mixture of Experts, MoE） 成为了当前主流前沿模型（如 DeepSeek-V3、Mixtral、Qwen-MoE）的标准架...
作者小头像 coral_66666 2026-11-10 16:25:26
10
0
0
2026-11-10 16:25:26
10
0
0
大模型强化学习对齐演进：从 PPO、DPO 到 GRPO 核心数学原理与显存优化实践
在大语言模型（LLM）的训练范式中，经历了预训练（Pre-training）与监督微调（SFT）之后，模型虽然掌握了语言结构与任务指令，但往往存在“对齐税（Alignment Tax）”、长逻辑链推理幻觉以及过度迎合用户等问题。基于人类反馈的强化学习（RLHF）是引导模型价值观对齐、激发思维链（Chain-of-Thought, CoT）深度推理能力的核心途径。然而，传统的强化学习方案对显存...
作者小头像 coral_66666 2026-11-09 15:14:48
14
0
0
2026-11-09 15:14:48
14
0
0
FlashAttention 硬件感知计算剖析：从 GPU 显存墙到 Online Softmax 与分块计算实践
在 Transformer 架构主导大语言模型（LLM）的当下，自注意力机制（Self-Attention）是捕捉上下文长程依赖的核心基石。然而，传统 Attention 的计算与空间复杂度随序列长度 NNN 呈平方级增长（O(N2)O(N^2)O(N2)）。当上下文从 4K 扩展至 32K 乃至 128K 时，显存占用与计算耗时会发生断崖式恶化。传统的模型加速工作大多聚焦于浮点运算次数（F...
作者小头像 coral_66666 2026-11-08 18:24:06
12
0
0
2026-11-08 18:24:06
12
0
0
大模型推理无损加速：投机采样（Speculative Decoding）数学原理与工业级落地实践
在部署 70B 乃至千亿参数的大语言模型（LLM）时，推理系统的吞吐与时延瓶颈往往卡在解码阶段（Decode Phase）。自回归生成的本质是：每生成一个 Token，都需要将庞大的模型权重从高带宽显存（HBM）完整读取到计算核心（SRAM）一次。此时算力利用率（FLOPs/Byte）极低，属于典型的**内存带宽受限（Memory-bound）**负载。为了打破“单步串行加载”的物理限制，*...
作者小头像 coral_66666 2026-11-07 13:40:05
27
0
0
2026-11-07 13:40:05
27
0
0
大模型 Function Calling 与智能体（Agent）工程落地：从 ReAct 范式到生产级容错架构
随着大语言模型（LLM）能力的演进，AI 应用的研发重点已从单纯的“对话交互（Chatbot）”全面转向具备外部系统交互能力的“自主智能体（Autonomous Agent）”。在这一演进过程中，模型需要根据用户自然语言指令，自主判断是否调用外部 API、计算器、检索数据库或执行业务代码。然而，在将 Agent 推向生产环境时，由于大模型的概率输出特性，开发者经常面临工具选择错误、参数格式幻...
React
作者小头像 coral_66666 2026-11-06 14:31:14
31
0
0
2026-11-06 14:31:14
31
0
0
大模型微调显存拆解与 LoRA/QLoRA 工业级落地实践
在企业级垂直场景中，直接使用通用大语言模型（LLM）往往无法精准对齐特定领域的专业术语、规范格式或复杂指令遵循规范。微调（Fine-Tuning）是模型定制化的核心路径。然而，随着模型参数量跃升至 7B、14B 乃至 70B，全参数微调（Full Fine-Tuning）对 GPU 显存的需求呈指数级爆炸，中小型团队难以承担数台 80GB A100/H100 集群的高昂成本。参数高效微调（P...
作者小头像 coral_66666 2026-11-05 13:41:18
51
0
0
2026-11-05 13:41:18
51
0
0
企业级 RAG 系统精度调优：从语义分块、混合检索到重排序（Rerank）工程实践
在垂直领域知识库与企业内部问答系统的构建中，大语言模型（LLM）常因训练数据时效滞后与“幻觉”问题导致回答失真。检索增强生成（Retrieval-Augmented Generation, RAG）通过在 Prompt 中注入外挂知识库检索结果，成为大模型企业落地的标配架构。然而，朴素 RAG（Naive RAG：简单定长切块 + 向量点积检索）在真实生产中往往面临召回率低、专业术语失真、相...
作者小头像 coral_66666 2026-11-04 14:05:07
58
0
0
2026-11-04 14:05:07
58
0
0
总条数：16
10
10
20
50
100
  • 1
  • 2

上滑加载中

https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注