全部建议
>
建议详情
- 预审中
- 2 预审不通过
【用户体验】【HCDE体验官第三期】流式输出体检不好 预审不通过 编辑 删除
- AI开发平台ModelArts
- EI基础平台
场景描述：
ModelArts Studio-模型体验，模型对话框中流式对话输出可能不是真正的流式输出，依据是first token时间过长，后续tokens输出却可以瞬间完成。
建议方案：
改进流式输出策略。
7
发布于 2024-12-02 15:49:29
2024-12-02
89 3
0%
0%
取消
发表
0/1000
+ 插入图片0/4
仅支持JPG、JPEG、PNG、GIF，数量不超过4张且每张大小不超过2MB
0%
0%
新窗
关闭
删除建议
全部评论（3）
评论（3）
非常抱歉给您带来这么多不便，您的建议我们已经收到，需要您这边在云声重新补充编辑后点击一下再次提交，目前您反馈的这个云声单是“驳回待澄清状态”，给您造成不便，敬请谅解！再次感谢您的支持与关注，期待提出更多建议！
场景：ModelArts Studio-模型体验，文本对话场景，模型名称Qwen2.5-72B-32K-1128。
操作步骤：
1、对话框输入提示词：请写一份10000字左右的工作总结，回车。
2、等待大约19秒钟，模型才开始响应输出，也就是first token时间大概是19秒钟左右。
3、后面的输出基本上是5秒钟以内完成。
由此判断，流式输出策略可能有问题，first token时间远远大于后续token的输出时间总和。
非常感谢您的反馈，当前平台是流式输出策略，为了能更准确的定位反馈内容，还请您出现当前场景使用的是哪个模型以及对应的使用详细描述，方便时尽量附带截图以及链接地址等，以便我们尽快核实并推动解决，感谢您对华为云的支持！