AI与人类联手,智能排序人类决策:RLHF标注工具打造协同标注新纪元,重塑AI训练体验

举报
汀丶 发表于 2024/02/27 14:09:10 2024/02/27
【摘要】 AI与人类联手,智能排序人类决策:RLHF标注工具打造协同标注新纪元,重塑AI训练体验

AI与人类联手,智能排序人类决策:RLHF标注工具打造协同标注新纪元,重塑AI训练体验

在大模型训练的 RLHF 阶段,需要人工对模型生成的多份数据进行标注排序,然而目前缺乏开源可用的 RLHF 标注平台。

RLHF 标注工具 是一个简单易用的,可以在大模型进行 RLHF(基于人类反馈的强化学习)标注排序的工具,旨在帮助用户在友好的图形界面中对生成式模型生成的答案进行排序标注。

  • 工具特点

    • RLHF助力者:强调工具在大模型训练中的重要性,特别是在RLHF阶段。
    • 智慧融合引擎:展示AI与人类智慧结合的创新点。
    • 生成式模型助手:突出工具在生成式模型训练流程中的支持作用。
    • 排序标注利器:直接描述工具的核心功能,即帮助用户对答案进行排序和标注。
    • 友好界面体验:强调工具用户界面的友好性和易用性。
    • 开源创新平台:突出工具的开源特性,鼓励用户参与和贡献。
  • 功能点

    • 提供界面展示当前的查询问题和历史对话
    • 支持为生成的答案选择排名
    • 可以自定义回答个数 K,默认为 4
    • 自动检测和提示排名冲突
    • 将标注的排序结果追加保存到数据集文件中
    • 提供数据集页面以查看已标注的数据
  • 更多功能点

    • [ ] 实现 RLAIF ,基于 API 进行自动标注
    • [ ] 支持拖动排序
  • 效果展示:

1. 快速开始

  • 安装依赖

    • Python 3.x
    • 安装依赖包:pip install -r requirements.txt
  • 使用说明

    1. 准备数据集文件:将包含查询问题、历史对话和生成的答案的数据集文件准备为 JSON 格式,格式参见 input_file.json。
      对于 RLHF 数据的生成,直接对同一份模型运行 K 次即可。由于大模型的随机性,每次生成的答案都会不同。
    2. 运行应用:执行 bash run.sh 命令启动应用。
    3. 标注排序:在标注页面,依次为每个查询问题的生成答案选择排名,并点击“存储当前排序”按钮保存标注结果。
    4. 查看数据集:在数据集页面,可以查看已标注的数据集,包括查询问题、历史对话和生成的答案的排序结果。
  • 配置
    应用支持一些配置选项,可在 app.py 文件中进行修改:

    • MODEL_CONFIG:模型配置,包括模型名称、设备、数据集文件路径等。
    • RANK_COLOR:排名颜色列表,用于在界面中显示不同排名的颜色。

2.示例数据集

您可以使用以下 JSON 数据集示例进行测试:

{
    "0": {
        "query": "非常感谢您的建议,我会尽量按照您的建议来做。谢谢!",
        "history": [],
        "response_0": "不客气,我很高兴能够帮助到您。如果您还有其他问题,随时可以向我咨询。祝您好运!",
        "response_1": "不客气,我很高兴能够帮助您。如果您还有其他问题,随时都可以向我咨询。祝您好运!",
        "response_2": "不客气,我很高兴能够帮助您。如果您有任何其他问题,随时都可以向我咨询。祝您好运!",
        "response_3": "不客气,我很高兴能够帮助到您。如果您还有其他问题,随时可以向我咨询。祝您好运!"
    },
    ...
}

更多优质内容请关注公号:汀丶人工智能;会提供一些相关的资源和优质文章,免费获取阅读。

更多资料下载见:https://blog.csdn.net/sinat_39620217/article/details/136317936

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。