ollama v0.11.11 发布:CUDA 13 支持、内存优化与应用体验全面提升

举报
福大大架构师每日一题 发表于 2025/09/17 08:10:41 2025/09/17
【摘要】 Ollama 近日发布了 v0.11.11 版本,该版本于 2025 年 9 月 12 日进入预发布阶段,并于 9 月 16 日正式推出。本次更新涵盖了多项重要改进,包括对 CUDA 13 的全面支持、内存使用效率的优化、应用交互体验的提升以及多项错误修复,进一步增强了 Ollama 在本地大模型推理和部署方面的能力。 更新内容支持 CUDA 13在 Ollama 应用中使用 gpt-oss...

在这里插入图片描述

Ollama 近日发布了 v0.11.11 版本,该版本于 2025 年 9 月 12 日进入预发布阶段,并于 9 月 16 日正式推出。本次更新涵盖了多项重要改进,包括对 CUDA 13 的全面支持、内存使用效率的优化、应用交互体验的提升以及多项错误修复,进一步增强了 Ollama 在本地大模型推理和部署方面的能力。


更新内容

  • 支持 CUDA 13
  • 在 Ollama 应用中使用 gpt-oss 时改进了内存使用
  • 在 Ollama 应用中提交长提示词时改进了滚动体验
  • 在 Ollama 应用中,使用 Cmd + / Cmd - 现在可以放大和缩小文本
  • 现在可以在 Ollama 应用中复制助手的消息
  • 修复了在尝试导入 satefensor 文件时出现的错误
  • 改进了 混合模型循环模型 的内存估算
  • 修复了当批量大小大于上下文长度时发生的错误
  • 修复了 Flash AttentionKV 缓存量化 的验证问题
  • 嵌入请求 添加了 dimensions 字段
  • 默认启用 Ollama 新引擎中的新内存估算功能
  • Ollama 将不再在 Ollama 引擎中加载分离的视觉模型

一、CUDA 13 支持

v0.11.11 版本新增了对 CUDA 13 的支持,使得用户可以在更高版本的 NVIDIA 驱动和计算平台上运行 Ollama,享受更佳的兼容性和性能表现。这一改进尤其适合使用最新 GPU 硬件的用户,为其提供更稳定的运行环境。


二、内存使用优化

本次更新在内存管理方面进行了多项改进:

  1. GPT-OSS 模型内存使用优化:在使用 Ollama 应用运行 GPT-OSS 模型时,内存占用显著降低,提升了长时间运行的稳定性。
  2. 混合模型与循环模型内存估算改进:新版本提供了更准确的内存预估机制,帮助用户更好地规划资源分配。
  3. 默认启用新内存估算机制:Ollama 新引擎现已默认采用更高效的内存管理策略,进一步提升资源利用率。

三、Ollama 应用体验提升

v0.11.11 在用户交互方面也带来了多项优化:

  • 长提示词输入滚动体验改善:在提交较长提示词时,应用的滚动行为更加流畅。
  • 文本缩放支持:用户现在可以使用 Cmd + +/- 快捷键快速调整文本大小,提升阅读和编辑体验。
  • 助手消息复制功能:用户可以直接复制助手生成的消息内容,方便后续使用或分享。

四、错误修复与稳定性增强

本次更新修复了多个已知问题,包括:

  • 修复了在尝试导入 safetensors 文件时可能出现的错误。
  • 修复了当批处理大小超过上下文长度时导致的错误。
  • 修复了 Flash Attention 和 KV 缓存量化验证中的问题。
  • 修复了 Gemma2 模型在使用 Flash Attention 时的不必要警告。
  • 修复了在 Ollama 引擎中加载分割视觉模型时的问题。

五、其他改进

  • 嵌入请求维度字段支持:新增了 dimensions 字段,使得嵌入请求更加灵活。
  • Windows CUDA 构建修复:修复了 Windows 平台下的 CUDA 构建问题,提升了跨平台兼容性。
  • 部分测试用例优化:减少了 CPU 压力测试的模型数量,提升了测试效率。

六、总结

Ollama v0.11.11 是一个功能丰富、优化显著的版本,不仅在性能、内存管理和兼容性方面有所提升,还大幅改善了用户体验。无论是研究者、开发者还是普通用户,都能从中受益。建议所有用户升级至该版本,以获取更稳定、高效的使用体验。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。