Sparkmagic魔法命令详解

本样例介绍sparkmagic常用魔法命令，这些魔法命令主要用于jupyter notebook对接远端spark集群场景。

前置条件

基于ModelArts专属池对接DLI服务之后，在ModelArts界面创建notebook并选择镜像为spark-2.4.5，启动notebook后选择Sparkmagic(DLI-PySpark-2.4.5)或者Sparkmagic(DLI-Spark-2.4.5)类型的kernel。ModelArts对接DLI的操作文档见： https://support.huaweicloud.com/bestpractice-dli/dli_05_0056.html

魔法命令

1. %%help

在notebook cell中执行%%help可以查看sparkmagic支持的魔法命令，如下：

2. %%info

在notebook cell中执行%%info可以查看当前启动的livy会话信息，包括DLI spark先关的计算资源规格和语言类型等，如下：

3. %%spark

当连接DLI spark集群后，在notebook cell中所有代码默认是在%%spark命令下执行的，即无需在cell第一行添加%%spark，代码均会发送到远端spark集群中执行。

%%spark -o 命令可以将远程spark集群中的spark dataframe拉到notebook本地，并另存为-o所指定变量名的pandas dataframe，可用于后续的可视化和本地数据分析。

4. %%sql

当在cell开头指定%%sql时，可以执行sql相关命令如查询数据表，修改数据表，新建数据表等。

%%sql -o则会将用户在远程spark集群查询的结果拉到notebook本地，并且保存为-o所指定变量名的本地pandas dataframe。

5. %%send_to_spark

在notebook中使用%%send_to_spark魔法命令时可以将本地的一个pandas dataframe发送到DLI远端spark集群中，并且可以修改变量名。如下示例中，是将本地变量pd_df指向的pandas dataframe发送到远端spark集群，即变量名spark_df指向的spark dataframe。