《Spark Streaming实时流式大数据处理实战》 ——2.3.4 UI监控界面

2.3.4  UI监控界面

　　Spark提供了多个监控界面，当我们运行了Spark任务后可以直接在网页对各种信息进行监控查看。在2.2节中，详细阐述了Spark运行状态中的各个概念，下面在监控页面中会看到这些概念对应的情况，如Worker、Master节点，以及Task、Job、Stage等。

　　1．Master基本情况页面

　　当启动Spark集群后，便可以通过localhost:8080（默认端口为8080，可以在配置文件中修改），查看集群的整体情况，如图2.13所示。

图2.13  Spark集群UI基本情况

　　在监控页面中列出了当前集群的一些基本情况。比如在笔者部署的集群中有3个Worker节点，总内存为12GB，当前有一个应用在运行，而下面的表格给出了每个Worker节点的资源占用情况。之后可以看到正在运行的应用情况，以及过往完成的应用情况。

　　2．单个Worker节点页面

　　在上述页面的Workers这一栏单击任意一个节点，就会看到关于该Worker节点的基本情况，如图2.14所示。

图2.14  Worker节点监控页面

　　从图中可以看到列出了该Worker节点的ID号、其对应的Master节点，以及该节点的基本资源情况，即几个内核、内存大小和占用情况。此外，还给出了正在运行的Executor的信息，如占用的资源情况，以及所属用户和应用名称，可以直接查看日志信息等。

　　3．应用（Application）基本情况页面

　　在Master页面单击应用的ID，可以进入应用基本情况页面，如图2.15所示。

图2.15  应用情况基本页面

　　页面中展示了应用的基本情况，如应用名称、所属用户、占用核数、内存数及提交日期等，页面下部的表格中给出了每个Worker节点中运行的Executor进程状态。

　　4．应用（Application）详情页面

　　在应用情况基本页面中单击Application Detail UI按钮，可以进入应用详情页面，可以看到该应用更加详尽的情况，如图2.16至图2.19所示。

　　图2.16  应用详情页-Jobs

图2.17  应用详情页-Stages

图2.18  应用详情页-Executors

图2.19  应用详情页-Streaming

　　可以看到Spark为应用程序提供了非常详尽的统计页面，在2.2节中提到的概念Job和Stage等信息都可以在这里查看到。通过观察应用详情页的各个信息，对进一步优化程序，调整瓶颈有着重要作用，我们会在第7章详细讲解。

　　此外，对应Streaming应用还会有Streaming Statistics页面，如图2.19所示，可以看到流式处理的时间及Delay情况等，对查看流式应用的稳定性及调优有着重要作用，在后续章节中也会详细介绍。