eduSwarm 本地 Ollama 模型接入实践:离线教学环境下的多智能体协作

举报
yd_253835047 发表于 2026/11/12 14:16:15 2026/11/12
【摘要】 把 eduSwarm 的推理后端从云端切到本地 Ollama,只需在 config.yaml 增加 provider 字段并在客户端初始化处加一个分支,其余调用代码不动。文中给出安装、配置、验证与显存踩坑的完整步骤,适合离线教学演示。

背景

eduSwarm 是面向智慧课堂的多智能体协作框架,教学演示时经常遇到机房断网、云端 API Key 不便下发的场景。把推理后端换成本地 Ollama,可以做到零外网依赖。

一、安装与拉取模型

在实验机上装好 Ollama 后拉取一个 7B 量级的模型:

curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen2.5:7b
ollama serve   # 默认监听 127.0.0.1:11434

Ollama 原生提供了 OpenAI 兼容端点,路径为 /v1,因此任何按 OpenAI SDK 写的客户端都能直接复用。

二、配置文件改动

在 config.yaml 中新增 provider 字段:

llm:
  provider: local          # local 或 cloud
  model: qwen2.5:7b
  base_url: http://127.0.0.1:11434/v1
  temperature: 0.3

三、客户端分支

初始化客户端时按 provider 选择 base_url 与 api_key,其余调用代码不动:

def build_client(cfg):
    if cfg.get("provider", "cloud") == "local":
        return OpenAI(base_url=cfg["base_url"], api_key="ollama")
    return OpenAI(base_url=CLOUD_BASE, api_key=os.environ["DASHSCOPE_KEY"])

注意本地推理不需要真实密钥,但 OpenAI SDK 会校验非空字符串,所以填 ollama 即可。

四、验证

用 curl 直连确认服务可用,再跑一遍框架自带的 smoke test:

curl http://127.0.0.1:11434/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"ping"}]}'
python -m eduSwarm.smoke --provider local

五、踩坑记录

  • 7B 模型在 16G 显存的机器上默认全量加载会 OOM,需要设置 OLLAMA_NUM_PARALLEL=1 并降低上下文长度。
  • 多智能体并发调用时容易占满显存,建议在客户端加一层信号量限流。
  • 本地模型的 function calling 稳定性弱于云端,Agent 的工具调用分支要加兜底解析。

小结

整个改造只改了配置文件和一个构造函数,云端与本地可随时切换,适合教学演示与离线批处理两种场景。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。