【Windows高效开发-WSL】MRS-Spark内核通用环境

---

• 注：连接WSL环境推荐使用Mobaxterm工具，方便直接打开IDEA可视化界面

1. 系统准备

1.1 WIN+R输入winver查看系统版本

• 确保版本是build2004，build 19041更高

1.2 Win10配置

• 打开开发者模式

• 打开Windows功能WSL,包括虚拟机、容器、Hyper-V等

• 重启计算机后生效

2. Ubuntu安装

2.1 下载Ubuntu

• 完成后设定WSL版本

wsl --set-default-version 2

• 启动Ubuntu，并设置用户名和密码

• 设定root密码

Sudo passwd root

• 回到windows terminal输入wsl -l -v 查看显示2 则成功

2.2 常见问题

2.2.1 无法设定WSL2，WslRegisterDistribution failed with error： 0x800701bc

• 到https://aka.ms/wsl2kernel下载linux内核更新包即可

2.2.2 未安装所需的特性，无法启动操作

• 启用Hyper-V

• Win+R运行输入services.msc打开服务，找到Hyper-V主机计算服务，右键启动

• 假如无法启动，报1053 Error：

  • 打开windows安全中心-应用和浏览器控制-程序设置

  • 找到vmcompute.exe,编辑

    

  • 关闭CFG

    

  • 输入sc start vmcompute重启vmcompute.exe

  • 完成后再次启动Hyper-V主机计算服务即可

  • 建议使用MobaXterm打开Ubuntu方便复制粘贴等操作

3. 配置网络

3.1 更换软件源

可到清华源官网查找对应版本最新的源https://mirrors.tuna.tsinghua.edu.cn/help/ubuntu/

• 备份默认源地址文件sources.list

sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup

• 替换软件源‘

sudo vi /etc/apt/sources.list

• 写入

deb http://cmc-cd-mirror.rnd.huawei.com/ubuntu/ bionic main multiverse restricted universe
deb http://cmc-cd-mirror.rnd.huawei.com/ubuntu/ bionic-backports main multiverse restricted universe
deb http://cmc-cd-mirror.rnd.huawei.com/ubuntu/ bionic-proposed main multiverse restricted universe
deb http://cmc-cd-mirror.rnd.huawei.com/ubuntu/ bionic-security main multiverse restricted universe
deb http://cmc-cd-mirror.rnd.huawei.com/ubuntu/ bionic-updates main multiverse restricted universe
deb-src http://cmc-cd-mirror.rnd.huawei.com/ubuntu/ bionic main multiverse restricted universe
deb-src http://cmc-cd-mirror.rnd.huawei.com/ubuntu/ bionic-backports main multiverse restricted universe
deb-src http://cmc-cd-mirror.rnd.huawei.com/ubuntu/ bionic-proposed main multiverse restricted universe
deb-src http://cmc-cd-mirror.rnd.huawei.com/ubuntu/ bionic-security main multiverse restricted universe
deb-src http://cmc-cd-mirror.rnd.huawei.com/ubuntu/ bionic-updates main multiverse restricted universe

• 更新索引生效

sudo apt-get update

3.2 配置Cntlm代理打通网络

注：由于各自的网络环境不同，可根据自己的实际情况选择，这里提供一个工具作为参考

• https://sourceforge.net/projects/cntlm/ 下载最新Cntlm并安装

• 到安装路径下，使用命令cntlm.exe -H获取PassNT和PassLM

• 修改cntlm.ini,填入PassNT和PassLM

Username	xxxxxxx
Domain		xxxxxxxxxx
Proxy		xxxxxxxxxxx
NoProxy		localhost, 127.0.0.*, 10.*, 192.168.*
Gateway 	yes
Listen		3128
Auth        NTLM
PassNT      xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
PassLM      xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

• 修改cntlm安装目录下的权限，设置为完全控制

• 设置wsl2系统内环境变量并source刷新 vi /etc/profile

# 获取宿主机IP
export windows_host=`cat /etc/resolv.conf|grep nameserver|awk '{print $2}'`
# 配置代理
export ALL_PROXY=$windows_host:3128
export HTTP_PROXY=$ALL_PROXY
export http_proxy=$ALL_PROXY
export HTTPS_PROXY=$ALL_PROXY
export https_proxy=$ALL_PROXY

• 修改注册表让ctnlm兼容win10
• 首先下载srvany.exe，这个程序是微软的工具包中的，在网上的版本用着不放心，找到了一个官方下载链接https://www.microsoft.com/en-us/download/details.aspx?id=17657,下载下来是一个叫rktools.exe安装程序，使用7zip打开，解压其中的rktools.msi，再用7zip打开，解压其中的srvany.exe，将其复制到Cntlm安装目录
• 使用regedit打开注册表，找到HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\cntlm

ImagePath修改为srvany.exe路径：
ImagePath：C:\Program Files (x86)\Cntlm\srvany.exe
在Parameters下新增3个字符串值，分别是：
Application："C:\Program Files (x86)\Cntlm\cntlm.exe"
AppDirectory："C:\Program Files (x86)\Cntlm"
AppParameters：-f -c "C:\Program Files(x86)\Cntlm\cntlm.ini"

• 管理员权限启动Cntlm

• 完成后到WSL2中curl www.google.com 验证成功

• 常见问题：Unsupported proxy configured: 172.28.224.1://3128
  配置代理后可能出现这种ip错误，修改/etc/profile配置，加上http://

  export ALL_PROXY=$windows_host:3128
  export HTTP_PROXY=http://$ALL_PROXY
  export http_proxy=http://$ALL_PROXY
  export HTTPS_PROXY=http://$ALL_PROXY
  export https_proxy=http://$ALL_PROXY
  

4. 图形化界面

图形化界面可根据自己喜好配置，非必须项

• 安装VcXsrv,到官网https://sourceforge.net/projects/vcxsrv/files/latest/download下载

• 双击安装后出现XLaunch快捷方式
• 启动后选择显示方式，下一步到Extra settings添加 -ac参数

• Save configuration保存配置，以免重复设置

• 完成后，弹出黑屏窗口，暂时不用管
• 打开Ubuntu, sudo apt update 更新包
• 安装xfce4 sudo apt install xfce4,若提示缺失依赖，手动安装即可
• 打开配置nano ~/.bashrc
• 末尾添加export DISPLAY=IP地址:0
• 编辑好后 Ctrl + X —> Y —> 回车，退出并保存
• 重载source ~/.bashrc
• 启动startxfce4查看窗口已有图形化显示

5. 安装IDEA

• 解压下载的IDEA安装包

tar -zxvf ideaIU-2021.2.1.tar.gz

• 进入bin目录sh idea.sh即可打开可视化界面

6. 配置Git

• 更新至最新版本

sudo apt-get install git

• 配置用户信息

git config --global user.name "your_name"
git config --global user.email <your_email>

• 生成并配置密钥/公钥

ssh-keygen -t rsa -b 4096 -C "your_email"

• 将公钥添加至代码仓配置

• 接下来即可将代码git clone至WSL2中

7. 安装JDK

• 卸载WSL自带的jdk，没有则跳过

whereis java

• 删除找到的路径以及/usr/bin/java

• 安装huaweiJDK

• 解压

tar -zvxf jdk-8u302-linux-x64.tar.gz

• 设置环境变量

vi /etc/profile

• 末尾写入以下内容

export JAVA_HOME=/home/lyc/jdk1.8.0_302/bin
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
alias java=/home/lyc/jdk1.8.0_302/bin/java

• 重载 source /etc/profile

• 查看安装成功java -version

8. 安装scala

• 解压

tar -zvxf scala-2.12.10.tgz

• 将文件夹放到/usr/local/scala
• 添加环境变量

vi /etc/profile

export SCALA_HOME=/usr/local/scala/scala-2.12.10
export PATH=$PATH:$SCALA_HOME/bin
alias scala=/usr/local/scala/scala-2.12.10/bin/scala

• 重载 source /etc/profile

• 查看安装成功scala -version