标注质量决定微调上限

举报
yd_242310901 发表于 2026/10/25 01:16:38 2026/10/25
【摘要】 给产品经理:先定义“什么算对”,再开始标。分类边界、例外情况、可接受表述,要写成标注手册。否则标注员只能靠感觉,模型学到的也是感觉。给标注负责人:别只做终审,要做一致性抽样。让两个人标同一批样本,算一致率;分歧样本单独讨论,反哺手册。一致率低的类别,先修定义,不要急着扩量。给算法工程师:不要只收最终标签,尽量保留标注理由和困难样本。微调时,困难样本和边界样本的价值通常高于大量简单样本。训练集...

给产品经理:
先定义“什么算对”,再开始标。分类边界、例外情况、可接受表述,要写成标注手册。否则标注员只能靠感觉,模型学到的也是感觉。

给标注负责人:
别只做终审,要做一致性抽样。让两个人标同一批样本,算一致率;分歧样本单独讨论,反哺手册。一致率低的类别,先修定义,不要急着扩量。

给算法工程师:
不要只收最终标签,尽量保留标注理由和困难样本。微调时,困难样本和边界样本的价值通常高于大量简单样本。训练集、验证集按业务维度切分,别随机切导致泄漏。

给业务方:
标注不是一次性外包任务。上线后的 bad case 要回流,标注手册要版本化。模型迭代越快,标注体系越要稳定。

微调失败很多时候不是模型太小,而是标签定义模糊、边界样本缺失、验证集不代表线上。数据质量的天花板,就是微调效果的天花板。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。