标注质量决定微调上限
【摘要】 给产品经理:先定义“什么算对”,再开始标。分类边界、例外情况、可接受表述,要写成标注手册。否则标注员只能靠感觉,模型学到的也是感觉。给标注负责人:别只做终审,要做一致性抽样。让两个人标同一批样本,算一致率;分歧样本单独讨论,反哺手册。一致率低的类别,先修定义,不要急着扩量。给算法工程师:不要只收最终标签,尽量保留标注理由和困难样本。微调时,困难样本和边界样本的价值通常高于大量简单样本。训练集...
给产品经理:
先定义“什么算对”,再开始标。分类边界、例外情况、可接受表述,要写成标注手册。否则标注员只能靠感觉,模型学到的也是感觉。
给标注负责人:
别只做终审,要做一致性抽样。让两个人标同一批样本,算一致率;分歧样本单独讨论,反哺手册。一致率低的类别,先修定义,不要急着扩量。
给算法工程师:
不要只收最终标签,尽量保留标注理由和困难样本。微调时,困难样本和边界样本的价值通常高于大量简单样本。训练集、验证集按业务维度切分,别随机切导致泄漏。
给业务方:
标注不是一次性外包任务。上线后的 bad case 要回流,标注手册要版本化。模型迭代越快,标注体系越要稳定。
微调失败很多时候不是模型太小,而是标签定义模糊、边界样本缺失、验证集不代表线上。数据质量的天花板,就是微调效果的天花板。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)