大模型提示词工程入门笔记:从采样参数到常用提示技巧
最近系统学习了大模型提示词工程(Prompt Engineering)的基础内容,把几个关键知识点整理成这篇笔记,供同样在入门的朋友参考。
一、采样参数决定输出的随机性
1. temperature(温度):取值越低,输出越稳定、确定;越高,输出越发散、更有创意。事实问答类任务适合低温,创意写作可适当调高。
2. top_p(核采样):只从累计概率达到阈值的候选词中采样,top_p 较小时输出更保守,通常与 temperature 二选一调整即可。
3. 惩罚参数:通过惩罚已生成的内容来减少重复,频率惩罚的常见合理值在 0.5 左右,过大容易让文本失真。
二、指令微调的核心是对齐人类意图
指令微调(Instruction Tuning)通过高质量的指令-回答数据,让模型学会按照人类意图组织回答。构建这类数据时,重点不是盲目扩充数量,而是让数据的表达方式与真实需求对齐。
三、常用提示技巧
1. 基于上下文的问答:把背景资料放进提示词,并明确要求只根据给定内容回答、无法回答时说明不知道,可以显著减少编造。
2. 样本提示(Few-shot):在提示中给出少量输入-输出示例,模型会模仿示例的格式与风格,适合分类、信息抽取等结构化任务。
3. 思维链(CoT):要求模型一步一步思考再给出结论,对推理类问题效果明显。
4. 链接提示(Prompt Chaining):把复杂任务拆成多步,前一步的输出作为后一步的输入,便于检查中间结果。
5. 检索增强生成(RAG):先从外部知识库检索相关段落,再让模型结合检索结果作答,事实性更强。
6. ReAct 框架:让模型在思考、调用工具、观察结果的循环中完成任务,适合需要查资料或调用接口的场景。
四、写提示词的几个通用原则
一是给模型明确的角色和任务边界;二是要求答不出来时明确说明,而不是按自己的理解编造;三是控制输出格式与长度,但字数限制要结合场景,过短的硬性限制并不普适;四是使用模板时,变量数量宜少而精、位置要合理,变量过多过长反而会让效果不可控。
以上是这次学习的主要收获,后续打算结合实际的 API 调用做更多参数对比实验,再来更新这篇笔记。
- 点赞
- 收藏
- 关注作者
评论(0)