如何利用数据湖探索进行账单分析与优化
数据湖探索(DLI)作为华为云大数据分析平台,计费项有存储费用与计算费用,计费类型有包周期,包套餐和按需。本文简单介绍下DLI的计费,并使用华为云DLI上的实际消费数据(文中涉及账户的信息已脱敏),在DLI的大数据分析平台上分析,找出费用优化的空间,并给出使用DLI过程中降成本的一些措施。
一、DLI的计费简介
数据湖探索服务目前支持三种作业:SQL作业,Flink作业和Spark作业。
SQL作业的计费包括存储计费和计算计费,其中计算计费包括包年包月计费和按需计费两种。
包年包月计费根据购买周期进行扣费,推荐使用包年包月模式,价格优惠且在周期内独享计算资源。
按需计费以小时为单位进行扣费。按需计费又分为按CU时计费和按扫描数据量计费,这两种计费方式是互斥的,可根据需要选择其中一种。建议优先选择按CU时计费,可资源独享,且成本核算清晰。同时,按CU时计费还提供套餐包的购买和使用。
CU时资费=CU数*使用时长*单价。使用时长按自然小时计费,不足一个小时按一个小时计费。
扫描数据量资费=执行SQL时产生的扫描数据量*单价。若计算任务超时或失败,则当次计算不收取费用。
Flink作业和Spark作业的计费只有计算计费,具体计费规则与SQL作业相同。
具体计费规则可以参考华为云官网
https://www.huaweicloud.com/pricing.html?tab=detail#/dli
二、如何使用DLI来分析消费数据并进行成本优化。
我们选取以我们账户的实际消费数据为基础,在DLI上分析该账户消费结构,找出开支较大的资源或用户,并给出降成本的优化措施。
1、获取消费明细数据
1.1 使用华为云账户登录控制台
1.2 通过费用中心->消费汇总进入费用中心。
1.3 在消费汇总中发现数据湖探索服务消费较多,展开可以发现DLI计算资源使用量消费最多。
1.4 点击DLI计算资源使用量后面的明细链接进入消费明细列表,选择时间范围,导出该段时间内的消费明细记录。
1.5 下载消费明细数据。
2、在DLI上进行消费明细分析
2.1 上传刚才下载的消费明细数据到OBS上
2.2 在数据湖探索服务中创建表
下载的文件中包含时间用量等,按表头意义在DLI上创建表,其中第20列为费用。
CREATE TABLE `spending` ( no string, time string, account_period string, supplier string, region string, product_type string, resource_type string, resource_id string, resouce_name string, tag string, epid string, ep_name string, product string, speccode string, mode string, type string, size string, unit string, `c18` STRING, `amount` STRING, `c20` STRING, `c21` STRING, `c22` STRING, `c23` STRING, `c24` STRING, `c25` STRING, `c26` STRING, `billtime` timestamp, `c28` STRING, `c29` STRING, `c30` STRING ) USING csv options ( path 'obs://xxx/Spendings(ByTransaction)_20200501_20200531.csv', header true )
2.3 查询该时间内消费最高的resource_id, resource_name
通过以下语句我们发现sql和flink队列使用的费用均为1842元,在总费用3754元中占比98%。
select resource_id, resouce_name, sum(size) as usage, sum(amount) as sum_amount from spending group by resource_id, resouce_name order by sum_amount desc
2.4 通过以上语句我们发现sql, flink 2个资源消费最多。我们使用以下语句具体分析下这两个资源消费的周期的时间段。
select * from spending where resource_id = 'd91d4616-b10c-471a-820d-e676e6c5f4b4' order by billtime
我们发现从sql队列从2020-05-14 17:00:00 GMT+08:00开始,每小时产生5.6费用,持续到2020-05-28 10:00:00 GMT+08:00。说明sql这个队列在这段时间在持续使用。
同样我们可以发现flink队列在2020-05-14 17:00:00 GMT+08:00到2020-05-28 10:00:00 GMT+08:00持续消费。
3,成本优化建议
通过以上分析我们知道sql和flink这两个队列几乎是在持续使用,因些这种队列建议用户通过购买包周期队列来降低使用成本。另外对于明确需要多大CU时的作业,也可以提前购买对应的CU时套餐,来降低使用成本。
企业中的业务使用模式多且经常变化,成本管理员通常并不能全面及时了解花销较大的业务在哪里,哪些是合理的,哪些是不合理的,通过在DLI对费用明细进行分析可以及时发现企业花销不合理的地方,及时进行成本管理,可以降低企业使用华为云的成本。
- 点赞
- 收藏
- 关注作者
评论(0)