全部建议
>
建议详情
- 预审中
- 预审通过
- 3 未采纳
【功能建议】关于大模型训练 “核心元能力内置+专项技能外挂”新范式的建议 未采纳 编辑 删除
- 盘古大模型 PanguLargeModels
- 盘古大模型
场景描述:
想给 盘古大模型 提个建议,找不到入口,就来这里了,麻烦转交一下哈,谢谢!
场景主要针对大模型训练方面,从魔擎社区的产品架构能看出华为有完整的工具链,既然可以 用 UCM 做到 “以存代算” ,那么为什么不尝试用大模型的新范式 来做做 “以存代训” 呢,我觉得是值得一试的。 算是大胆假设,小心求证的一种方式吧!
建议方案:
我在想如果把大模型的训练范式改成 元能力+少量必备的通用和编程知识,然后外挂常用编程库用法等技能知识库的方式使用, 能否在保证 处理任务能力的同时,大幅减少 大模型的参数? 因为各个旗舰模型中,我查询后发现有大量训练的知识和内容,但个人使用者常常只会用到一小部分,所以就想了这么一个 核心元能力内置+专项技能外挂”的新范式 ,而现在的工作流框架也能支持这样的工作流程,比如最近兴起的 agentic rag,也可以理解成通过 专项技能外挂让大模型在具体任务中 可以根据最新的情况做出更合理的判断和执行,那么既然大模型永远不可能存储最新的知识, 索性把 精力放到 核心元能力内置 上,然后通过 专项技能外挂 进行赋能, 这样能大幅降低 大模型的训练成本和迭代周期,大幅降低部署成本。
不知道 可否考虑用7B 小模型测试论证 ? 我觉得从 工作流的使用角度,可以反推 对 大模型的核心功能的要求,然后训练大模型。如果能行得通, 应该可以全面节省大量成本的。
我的逻辑是把模型处理任务或工作流的过程 抽象成 元能力+外挂技能知识库 的组合,大模型负责前者,agentic rag 负责后者。 我觉得可以类比大模型推理技术的发展轨迹,从统一架构演变为 预填充 和 解码 这两个阶段, 而最初各家都是不认可这种方式的,后来发现,真香!!
希望 华为 能引领 世界开源技术,不断打击美国科技股的核心叙事逻辑,让世界上越来越多的人使用国产开源模型, 打击闭源模型的现金流,打压美股扯淡的左脚踩右脚的金融收割游戏!
houyingxu
发布于 2025-11-14 16:47:41
2025-11-14
108 2
0%
0%
取消
发表
0/1000
+ 插入图片0/4
仅支持JPG、JPEG、PNG、GIF,数量不超过4张且每张大小不超过2MB
0%
0%
删除建议
全部评论(2)
评论(2)
您好,关于您提交的建议产品和研发团队进行了评估,综合考虑整体需求与产品规划,很抱歉未能采纳,还请您谅解。
对您造成困扰深表歉意!希望以上可以解决您的疑虑,感谢您的反馈,若在使用还有其它建议,可在云声平台继续反馈,我们收到后会尽快处理。感谢您对华为云的支持!
非常感谢您的反馈,您的建议和诉求已经收到,并已提交至相关产品团队进行核查评估,评估完成后对于建议是否采纳会尽快给您答复,也请您持续关注云声平台,了解反馈建议处理进展,感谢您对华为云的支持!