DeepSeek V4 双版本正式上线，采用华为昇腾芯片
4月24日，DeepSeek全新系列模型DeepSeek-V4的预览版本正式上线并同步开源。
据介绍，DeepSeek-V4拥有百万字超长上下文，在Agent能力、世界知识和推理性能上均实现国内与开源领域的领先。模型按大小分为两个版本,分别是 DeepSeek-V4-Flash 和 DeepSeek-V4-Pro。上下文长度是 100 万 tokens。同时，输出长度最大为 384K tokens。即日起登录官网或官方App，即可与DeepSeek-V4对话，API服务也已同步更新。
该系列包括 DeepSeek-V4-Pro（1.6T 参数，49B 激活）和 DeepSeek-V4-Flash（284B 参数，13B 激活），两者均支持一百万令牌的上下文长度，旨在提升超长上下文场景下的性能。该系列的关键创新包括：
1. 混合注意力架构：结合了 压缩稀疏注意力（CSA） 和 高度压缩注意力（HCA），这一新方法显著减少了计算复杂度，提升了长上下文处理的效率，特别适用于涉及数百万令牌的任务。
2. 流形约束超连接（mHC）：增强了传统残差连接，提高了信号在层之间传播的稳定性。
3. Muon 优化器：设计用于加速收敛和提高训练稳定性，Muon 优化器显著提升了训练过程中的模型性能。
4. 训练和后训练管道：该模型在大量数据集（DeepSeek-V4-Flash 使用 32T 令牌，DeepSeek-V4-Pro 使用 33T 令牌）上进行了预训练，随后通过专门的训练和策略蒸馏进一步优化，确保它们在推理、编程和世界知识任务中表现出色。
5. 长上下文效率：这些模型在推理 FLOPs 和 KV 缓存大小 上都实现了显著减少，使得处理一百万令牌成为可能。例如，DeepSeek-V4-Pro 在与前代模型 DeepSeek-V3 的对比中，FLOPs 降低了 73%，KV 缓存大小减少了 90%。
6. 评估结果：DeepSeek-V4-Pro-Max 版本在推理和知识任务上设定了新基准，超越了之前的开源模型，并接近一些专有模型的水平。DeepSeek-V4-Flash-Max 在更多高效的参数规模下，提供了相当的推理性能。
可以看出，DeepSeek-V4 系列在大规模语言模型的效率上迈出了重要一步，能够有效处理超长序列，从而为复杂的长时间跨度任务开辟了新的可能性。
今晚 7 点，昇腾 CANN 将直播 DeepSeek V4 在昇腾平台的首发。敬请期待！！
剩下的，就是大家亲自体验到 DeepSeek-V4 了！
开源权重和本地部署
-
DeepSeek-V4 模型开源链接：
https://huggingface.co/collections/deepseek-ai/deepseek-v4
https://modelscope.cn/collections/deepseek-ai/DeepSeek-V4
-
DeepSeek-V4 技术报告：
https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf
- 点赞
- 收藏
- 关注作者
评论（0）