eduSwarm 本地 Ollama 模型接入实践:离线教学环境下的多智能体协作
【摘要】 把 eduSwarm 的推理后端从云端切到本地 Ollama,只需在 config.yaml 增加 provider 字段并在客户端初始化处加一个分支,其余调用代码不动。文中给出安装、配置、验证与显存踩坑的完整步骤,适合离线教学演示。
背景
eduSwarm 是面向智慧课堂的多智能体协作框架,教学演示时经常遇到机房断网、云端 API Key 不便下发的场景。把推理后端换成本地 Ollama,可以做到零外网依赖。
一、安装与拉取模型
在实验机上装好 Ollama 后拉取一个 7B 量级的模型:
curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen2.5:7b
ollama serve # 默认监听 127.0.0.1:11434
Ollama 原生提供了 OpenAI 兼容端点,路径为 /v1,因此任何按 OpenAI SDK 写的客户端都能直接复用。
二、配置文件改动
在 config.yaml 中新增 provider 字段:
llm:
provider: local # local 或 cloud
model: qwen2.5:7b
base_url: http://127.0.0.1:11434/v1
temperature: 0.3
三、客户端分支
初始化客户端时按 provider 选择 base_url 与 api_key,其余调用代码不动:
def build_client(cfg):
if cfg.get("provider", "cloud") == "local":
return OpenAI(base_url=cfg["base_url"], api_key="ollama")
return OpenAI(base_url=CLOUD_BASE, api_key=os.environ["DASHSCOPE_KEY"])
注意本地推理不需要真实密钥,但 OpenAI SDK 会校验非空字符串,所以填 ollama 即可。
四、验证
用 curl 直连确认服务可用,再跑一遍框架自带的 smoke test:
curl http://127.0.0.1:11434/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"ping"}]}'
python -m eduSwarm.smoke --provider local
五、踩坑记录
- 7B 模型在 16G 显存的机器上默认全量加载会 OOM,需要设置
OLLAMA_NUM_PARALLEL=1并降低上下文长度。 - 多智能体并发调用时容易占满显存,建议在客户端加一层信号量限流。
- 本地模型的 function calling 稳定性弱于云端,Agent 的工具调用分支要加兜底解析。
小结
整个改造只改了配置文件和一个构造函数,云端与本地可随时切换,适合教学演示与离线批处理两种场景。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)