Codex+Jev: 直接砍一半大模型调用成本

举报
golang学习记 发表于 2026/09/27 16:58:22 2026/09/27
【摘要】 不知道大家平时在用大模型写代码的时候有没有一种糟心感受。 不管问题简单还是烧脑,模型的思考深度基本是固定死的。简单的文件查找、列出目录这种 routine 的常规任务,它照样吭哧吭哧疯狂输出一大段内部思考,白白烧掉一堆token;等到真正遇到复杂难题卡壳的时候,思考又好像不够深入,三下五除二就草率给出错误答案。要么无脑使劲想,花钱;要么少思考,容易错。很长一段时间我们好像只能二选一。最近社区...

不知道大家平时在用大模型写代码的时候有没有一种糟心感受。 不管问题简单还是烧脑,模型的思考深度基本是固定死的。简单的文件查找、列出目录这种 routine 的常规任务,它照样吭哧吭哧疯狂输出一大段内部思考,白白烧掉一堆token;等到真正遇到复杂难题卡壳的时候,思考又好像不够深入,三下五除二就草率给出错误答案。

要么无脑使劲想,花钱;要么少思考,容易错。很长一段时间我们好像只能二选一。

最近社区流传的 Jev 思路就有意思了:任务运行的中途动态调整 GPT‑6(Codex)的 reasoning effort(思考投入程度)。 逻辑说起来并不复杂。Agent 在跑任务的时候自己做判断:现在是不是卡住了?如果陷入难题,就立刻调高思考力度,让模型多想一想;如果只是普通、重复性的例行步骤,就降低思考开销,不要无谓地胡思乱想。

下面直接来看看怎么使用

首先使用/model选择模型

在这里插入图片描述在这里插入图片描述

选择jev

在这里插入图片描述在这里插入图片描述

先打个招呼

在这里插入图片描述 再让他找bug

在这里插入图片描述在这里插入图片描述

jev会根据实际情况来选择codex的不同努力级别,而不是一味的使用某一个级别 在这里插入图片描述

最亮眼的数据是什么?我用自己的项目实测直接把整体调用成本直接下降50%。而且更厉害的一点,这套玩法并没有破坏 prompt caching(提示缓存)。

很多做过Agent开发的朋友应该懂这里的含金量。 但凡你中途随便改系统提示、乱改头部的参数,前面已经缓存好的上下文直接失效。缓存一没,每一轮都重新跑完整输入,token开销瞬间暴涨,省下来那点思考token全部亏回去。很多动态改思考参数的早期尝试就是栽在这里。Jev 的方案绕开了这个大坑,可以继续享用缓存带来的提速省钱红利。

放到Agent写代码这个场景来看就非常贴切。Agent执行的时候,大量工作其实就是执行shell命令、查文件、grep检索源码,这些步骤根本不需要深度推理;只有遇到分析报错、梳理复杂逻辑、重构代码的时候,才真正需要模型沉下心深度思考。

以前是“一刀切”,全程维持最高档位的思考。现在变成了弹性策略:该猛想的时候使劲想,该摸鱼的时候就少想。按需分配算力。

当然也要冷静看待,Jev目前还属于社区传出的玩法,并不是OpenAI官方开放的API能力。它更偏向一套上层调度思路,并不是什么黑魔法补丁。并不是打开开关就直接半价,需要上层Agent逻辑识别当前任务状态,再动态下发推理强度指令。

以后Agent开发,单纯堆模型能力不一定是出路。这种上层动态调度、弹性控制思考资源的思路,说不定会成为优化Agent成本的主流方向。不知道后续会不会有更多项目跟进这套模式?

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。