建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块

DestinyBym...

发帖: 1粉丝: 1

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2018-4-6 13:55:31 4466 8 楼主 显示全部楼层
[技术探讨] 部分用例的CPU/MEM比例设置的好像没法达到较好的成绩,希望大佬指教

在经过漫长的提交和试错后,发现用例2、4预测的总CPU/MEM比例存在问题,始终无法提高用例的总分,下面上图解释一下
TIM截图20180406113229.png

图中是我得到的测试报告,其中2、4用例放置部分的资源使用率较低,分别是0.7~0.75、0.8~0.85,于是对这两个用例进行了进一步测试。
结果如下:
1.物理机CPU和MEM分别为56、128。
2.用例2、4的评价指标均为MEM
3.用例2的CPU和MEM分别为400~420、760~765(GB);用例4的CPU和MEM分别为650~660、1200~1250(GB)
4.用例2、4的预测准确度为>0.95、0.9~0.96 ,说明预测结果比较符合实际结果
5.不考虑资源碎片的情况下,用例使用的物理机数量最小应为Min{虚拟机总CPU/物理机CPU+1,虚拟机总MEM/物理机MEM+1};
对用例2、4进行计算得到物理机数量最小为8、12,结果最优
6.在放置最优的情况下,根据计算公式,放置部分分数=虚拟机资源总量/物理机资源总量,评价指标为MEM,姑用例2、4放置部分得分分别是(760~765)/(128*8)、(1200~1250)/(128*120),即0.74、0.78

结论分析:
1.对于用例2、4,即便预测和放置均达到最优,总分很有可能也偏低
2.用例2、4放置评分偏低的原因是虚拟机MEM/CPU比值导致的。用例2、4虚拟机MEM/CPU比值分别为1.8~1.9、1.84~1.92,而物理机MEM/CPU为2.28。
3.在不考虑资源碎片的情况下,物理机MEM也会存在较大的浪费,这导致用例2、4放置评分低,因为评分标准为MEM
4.如果评分标准为MEM,只有预测虚拟机总的MEM/CPU>物理机MEM/CPU时,才可能实现MEM资源的100%利用(理论上可能,视具体情况而定);
如果评分标准为CPU,只有预测虚拟机总的MEM/CPU<物理机MEM/CPU时,才可能实现CPU资源的100%利用(理论上可能,视具体情况而定)

由于实际的虚拟机集合不可知,这里的预测分均为计算,此对预测准确度进行说明:
1.根据评分公式,用例得分=用例权重*预测分*放置分*100
2.4个用例中包括2个初级用例和2个中级用例,初级用例权重为0.2,中级为0.3,预测分和放置分均为0~1,初级用例得分低于20,中级用例得分低于30
3.放置分计算根据资源使用率,在程序中计算放置方案后,根据放置方案可以计算资源使用率,得到放置分。
4.预测分=用例得分/(用例权重*放置分*100),反应预测准确度,计算结果是可信的。

关于测试数据来源及方法说明:
1.测试数据均来自提交日志中的报错信息
2.方法则是控制变量单一测试,根据测试参数设置过滤条件,满足条件则返回正确结果并输出,否则返回错误结果,日志报错,该用例得分为0
如图,对用例4进行测试,其他用例虚拟机总数设置为0,日志报错,总分只有用例4的得分
TIM截图20180406131513.png

以上就是在下测试结果,本着为大家服务的态度疯狂提交(实在是分太低想找原因),希望华为不会怪我占用计算资源。。。
真相只有一个,不,结论只有一个,虚拟机MEM/CPU比例可能影响到用例总分。
虽然目前这四个用例不是比赛用例,但是比赛中如果高级用例放置分上限比较低,可能会对哪些高级用例预测更准确的玩家产生一些影响吧
我不确定这种现象是否会对比赛公平性产生影响,希望华为的专家们设计用例时已经考虑到这个情况了。
仅此与大家分享,希望比赛时的用例时最棒的,大家有好多成绩。(话说我的分咋就不涨呢~~)
举报
分享

分享文章到朋友圈

分享文章到微博

qingwage

发帖: 2粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2018-4-6 14:25:42 沙发 显示全部楼层
本帖最后由 qingwage 于 2018-4-6 14:36 编辑

点赞 回复 举报

yd_4452121...

发帖: 7粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2018-4-6 16:59:40 板凳 显示全部楼层
能贴一下区分4个用例的条件参数吗
点赞 回复 举报

icebear

发帖: 2粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2018-4-6 21:12:41 地板 显示全部楼层
我擦,還有這種操作,工作人員也不管管,正式比賽也可以這樣?

点赞 回复 举报

小白菜不菜

发帖: 3粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2018-4-7 10:25:08 5# 显示全部楼层
我觉得这个优化问题是有上限的,如果只能达到80%,那么无论再怎么优化都没用。

点赞 回复 举报

DestinyBym...

发帖: 1粉丝: 1

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2018-4-7 19:19:59 6# 显示全部楼层
yd_44521216 发表于 2018-4-6 16:59
能贴一下区分4个用例的条件参数吗

老铁,正式比赛肯定不行的,毕竟限制提交次数的,这只是调试阶段的无奈之举
点赞 回复 举报

小原2号

发帖: 0粉丝: 18

级别 : 高级会员

Rank: 4

发消息 + 关注

发表于2018-4-7 21:30:44 7# 显示全部楼层
正式比赛会有提交次数限制,每天5次,也就是总共10次的提交次数,不存在疯狂提交的问题。至于CPU还是内存的利用率计算问题,每个用例对于每个参赛者都是公平的,不存在倾向于谁的问题。
点赞 回复 举报

yd_6872982...

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2018-4-9 08:52:31 8# 显示全部楼层
yd_44521216 发表于 2018-4-6 16:59
能贴一下区分4个用例的条件参数吗

控制数据量的天数和CPU\MEM 的类型就可以了  天数60+天左右区分
点赞 回复 举报

PMZW

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2018-4-10 22:18:48 9# 显示全部楼层
预测准确度你是如何得知的呢?

点赞 回复 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册