【云小课】EI第46课 MRS基础原理之Hue组件介绍

Hello EI 发表于 2022/06/08 16:28:34 2022/06/08
【摘要】 Hue是一组WEB应用,用于和MRS大数据组件进行交互,能够帮助用户浏览HDFS,进行Hive查询,启动MapReduce任务等。它承载了与所有MRS大数据组件交互的应用。

Hue是一组WEB应用,用于和MRS大数据组件进行交互,能够帮助用户浏览HDFS,进行Hive查询,启动MapReduce任务等。它承载了与所有MRS大数据组件交互的应用。

Hue主要包括了文件浏览器和查询编辑器的功能:

  • 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录。

  • 查询编辑器能够编写简单的SQL,查询存储在Hadoop之上的数据。例如HDFS,HBase,Hive。 用户可以方便地创建、管理、执行SQL,并且能够以Excel的形式下载执行的结果。

通过Hue可以在界面针对组件进行以下操作:

  • HDFS:

    • 查看、创建、管理、重命名、移动、删除文件/目录。

    • 上传、下载文件。

    • 搜索文件、目录、文件所有人、所属用户组;修改文件以及目录的属主和权限。

    • 手动配置HDFS目录存储策略,配置动态存储策略等操作。

  • Hive:

    • 编辑、执行SQL/HQL语句;保存、复制、编辑SQL/HQL模板;解释SQL/HQL语句;保存SQL/HQL语句并进行查询。

    • 数据库展示,数据表展示。

    • 支持多种Hadoop存储。

    • 通过metastore对数据库及表和视图进行增删改查等操作。

      如果使用IE浏览器访问Hue界面来执行HiveSQL,由于浏览器存在的功能问题,将导致执行失败。建议使用兼容的浏览器,例如Google Chrome浏览器。

  • MapReduce:查看集群中正在执行和已经完成的MR任务,包括它们的状态、起始结束时间、运行日志等。

  • Oozie:提供了Oozie作业管理器功能,使用户可以通过界面图形化的方式使用Oozie。

  • ZooKeeper:提供了ZooKeeper浏览器功能,使用户可以通过界面图形化的方式查看ZooKeeper。

Hue结构

Hue是建立在Django Python(开放源代码的Web应用框架)的Web框架上的Web应用程序,采用了MTV(模型M-模板T-视图V)的软件设计模式。

Hue由“Supervisor Process”和“WebServer”构成,“Supervisor Process”是Hue的核心进程,负责应用进程管理。“Supervisor Process”和“WebServer”通过“THRIFT/REST”接口与WebServer上的应用进行交互,如图1所示。

图1 Hue架构示意图

图1中各部分的功能说明如下表所示。

表1 结构图说明

名称

描述

Supervisor Process

Supervisor负责WebServer上APP的进程管理:启动、停止、监控等。

Hue WebServer

通过Django Python的Web框架提供如下功能。

  • 部署APPs。

  • 提供图形化用户界面。

  • 与数据库连接,存储APPs的持久化数据。


如何使用Hue

本示例中,我们在已开启Kerberos认证的MRS 3.x版本的Hue WebUI编辑并执行HiveQL语句。

  1. 登录华为云控制台,在服务列表选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写相关配置参数(以下为示例,可根据实际情况修改,未提及参数保持默认即可)。

    表2 MRS集群配置参数

    配置类型

    参数项

    取值

    软件配置

    区域

    华北-北京四

    集群名称

    MRS_test

    版本类型

    普通版

    集群版本

    MRS 3.1.0

    集群类型

    自定义,并选择Hive、Hue组件。

    元数据

    本地元数据

    硬件配置

    计费模式

    按需计费

    可用区

    可用区1

    虚拟私有云

    vpc-01

    子网

    subnet-01

    弹性公网IP

    购买一个弹性IP并绑定,用于登录FusionInsight Manager。

    企业项目

    default

    高级配置

    Kerberos认证

    开启

    用户名

    root/admin

    密码

    设置密码,例如:Huawei@12345。该密码用于登录集群管理页面及ECS节点。

    确认密码

    再次输入设置用户密码

    通信安全授权

    勾选“确认授权”


  2. 单击“立即购买”,等待MRS集群创建成功。

  3. 集群购买成功后,登录FusionInsight Manager界面。

  4. 由于FusionInsight Manager默认的admin用户不具有组件的最高管理权限,我们首先登录FusionInsight Manager,创建一个人机用户,并分配该用户使用Hive的权限。

    例如创建一个人机用户hueuser,并加入hivehadoop组和Manager_administrator角色,主组为hive

  5. 登录FusionInsight Manager,选择“集群 > 服务 > Hue”。

  6. Hue WebUI右侧,单击链接,打开Hue的WebUI。

  7. 在左侧导航栏单击编辑器,然后选择Hive

  8. Database右侧下拉列表选择一个Hive中的数据库,默认数据库为default

    系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。

  9. 在HiveQL语句编辑区输入HiveQL语句。

    create table hue_table(id int,name string,company string) row format delimited fields terminated by ',' stored as textfile;
  10. 单击 开始执行HiveQL语句。

  11. 在命令输入框内输入show tables;,单击按钮,查看创建的表hue_table。

好了,本期云小课就介绍到这里,快去体验MapReduce(MRS)更多功能吧!猛戳这里

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。