微认证 - 大数据板块 -《使用DLI Flink SQL进行电商实时业务数据分析开发》 - 学习分享

高级云网管 发表于 2022/06/19 16:37:20 2022/06/19
【摘要】      课程简介:电商通常有web,小程序等多种接入方式,为掌握其实时变化,需统计各平台的实时访问量、订单数等,从而针对性地调整营销策略。



什么是微认证?


          华为云微认证是基于线上学习与在线实践,快速获得场景化技能提升的认证。


微认证清单 - 大数据


使用DLI Flink SQL进行电商实时业务数据分析开发



     课程简介商通常有web,小程序等多种接入方式,为掌握其实时变化,需统计各平台的实时访问量、订单数等,从而针对性地调整营销策略。



     课程结构:

电商实时业务应用场景介绍 8 认识电商常用的实时业务特点及应用
电商实业业务对应大数据技术组件的原理 47 了解实现电商网站数据实时计算的相关大数据技术特性及原理
华为云实时流计算Flink及解决方案 7 掌握华为云实时流计算Flink及解决方案及相应应用
华为云实战案例 15 掌握华为云实时流计算Flink验流程及开发思路


     1、电商实时业务应用场景介绍


          电商从2009年发展至今,当前线上购物无疑是最火热的购物方式,而电商平台则又可以以多种方式接入,例如通过web方式访问、通过app的方式访问、通过微信小程序的方式访问等等。电商平台则需要每天统计各平台的实时访问数据量、订单数、访问人数等等


          指标,从而能在显示大屏上实时展示相关数据,方便及时了解数据变化,有针对性地调整营销策略。这些高效快捷地统计指标是如何获得的呢?这是我们这次课程及实验所需要理解学习的


          当前有很多电商的大数据平台会将每个商品的订单信息实时写入Kafka中,这些信息包括订单ID、订单生成的渠道(即web方式、app方式等)、订单时间、订单金额、折扣后实际支付金额、支付时间、用户ID、用户姓名、订单地区ID等信息。


          针对业务场景,我们在大数据分析业务需要做的,就是根据当前可以获取到的业务数据,实时统计每种渠道的相关指标,输出存储到数据库中,并进行大屏展示


     2、电商实时业务对应大数据技术组件的原理


        (1)流计算


                概述


         流式计算就像汽车过收费站,每一个车在通过闸口时都要收费。流式计算中每个实时产生的数据都要被实时的处理。


        流计算秉承一个基本理念,即数据的价值随着时间的流逝而降低,如用户点击流。因此,当事件出现时就应该立即进行处理,而不是缓存起来进行离线处理。为了及时处理流数据,就需要一个低延迟、可扩展、高可靠的处理引擎。



                应用场景


                主要框架

       Kafka


        Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeepert办调的分布式日志系统。


       主要应用场景是:日志收集系统和消息系统。


        分布式消息传递基于可靠的消息队列,在客户端应用和消息系统之间异步传递消息。有两种主要的消息传递模式:点对点传递模式、发布-订阅模式。大部分的消息系统选用发布-订阅模式。

       Kafka就是一种发布-订阅模式。


 Spark



                Spark简介

          2009年诞生于美国加州大学伯克利分校AMP实验室。

          Apache Spark是一种基于内存的快速、通用、可扩展的大数据计算引擎。

          Spark 是一站式解决方案,集批处理(Spark Core )、实时流处理(Spark Streaming )、交互式查询(Spark SQL )、图计算(GraphX )与机器学习(MLLib )于一体。 



                 Spark应用场景 

          批处理可用于ETL (抽取、转换、加载)。

          机器学习可用于自动判断淘宝的买家评论是好评还是差评。

          交互式分析可用于查询Hive数据仓库。

          流处理可用于页面点击流分析,推荐系统,舆情分析等实时业务。 



                Spark架构



                Spark特点

               

        SparkStreaming

          Spark Streaming的基本原理是将实时输入数据流以时间片(秒级)为单位进行拆分,然后经Spark引擎以类似批处理的方式处理每个时间片数据。

        Flink







华为云数据可视化DLI


          产品概述


数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态,实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值。


          特点



          应用场景:电商行业




数据可视化


          概述


            广义:指一切能够把抽象、枯燥或难以理解的内容,包括看似毫无意义的数据、信息、知识等以一种容易理解的视觉方式展示出来的技术。

            狭义:利用计算机图形学和图像处理技术,将数据转换为图形或图像在屏幕上显示出来,并进行各种交互处理的理论、方法和技术。


          发展


          工具





        华为云数据可视化DLV


          概述

         数据可视化(Data Lake Visualization,简称DLV)是一站式数据可视化开发平台,适配云上云下多种数据源,提供丰富多样的2D、3D可视化组件,采用拖搜式自由布局。




          特点


          应用场景:某企业安全态势感知


     3、华为云实时流计算Flink及解决方案


        基于实时流计算的可视化解决方案

        解决方案应用场景之智慧城市

          智慧城市是通过对大量实时数据的监控、采集和处理,为复杂问题做出快速响应。智慧城市涉及范围很广,智慧城市建设主要包括政务、交通、企业、民生等方面。




        解决方案应用场景之实时推荐


          根据用户行为数据(包含历史数据和实时数据),通过构建的推荐模型对用户行为秒级调整并生成对应的推荐列表,分钟级更新候选集。

          实时推荐主要包括广告推荐、商品推荐、视频推荐、游戏推荐等。



     动手实验:


         流程介绍



 实验单独学习链接:华为云原生大数据serverless服务DLI_在线课程_华为云开发者学堂_云计算培训-华为云 (huaweicloud.com)

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。