如何在DLI中运行复杂PySpark程序

        数据湖探索（DLI）服务是一站式的流处理、批处理分析的Serverless融合处理分析服务，对于PySpark是原生支持的，那么在DLI中我们如何更好的运行复杂PySpark程序呢？

        对于数据分析来说Python是很自然的选择，而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序我们通常会把程序打成Jar包并依赖其他一些第三方的Jar，同样的Python程序也有依赖一些第三方库，尤其是基于PySpark的融合机器学习相关的大数据分析程序。传统上通常是直接基于pip把Python库安装到执行机器上，对于DLI这样的Serverless化服务用户无需也感知不到底层的计算资源，那如何来保证用户可以完美运行他的程序呢？

        DLI服务在其计算资源中已经内置了一些常用的机器学习的算法库（具体可以参考”数据湖探索 DLI > 用户指南> 数据管理> 程序包管理> 内置依赖包”），这些常用算法库满足了大部分用户的使用场景。对于用户的PySpark程序依赖了内置算法库未提供的程序库该如何呢？其实PySpark本身就已经考虑到这一点了，那就是基于PyFiles来指定依赖，在DLI页面中可以直接选取存放在OBS上的Python第三方程序库（支持zip、egg等）。

        对于依赖的这个Python第三方库的压缩包有一定的结构要求，例如我们的PySpark程序依赖了模块moduleA（import moduleA），那么其压缩包要求满足如下结构：

        即在压缩包内有一层以模块名命名的文件夹，然后才是对应类的Python文件，通常我们下载下来的Python库可能不满足这么一个要求，因此需要重新压缩。同时对压缩包的名称没有要求，所以建议可以把多个模块的包都压缩到一个压缩包里。至此，我们已经可以完整的运行起来一个大型、复杂的PySpark程序了。