LeRobot边缘侧部署操控机械臂夹云宝

一、制作镜像

1. 首先下载Ubuntu 20.04 LTS官方镜像，这里我们选择Desktop image进行下载，下载地址为：

https://releases.ubuntu.com/focal/

2. 下载Linux镜像的烧录软件balenaEtcher，选择适合自己的操作系统，下载地址为：

https://etcher.balena.io/

3. 启动balenaEtcher，选择我们前面下载好的ubuntu-20.04.6-desktop-amd64.iso镜像，插入U盘作为系统启动盘进行烧录：

二、配置环境

1. 安装系统后建议安装GPU驱动，在命令行中依次运行：sudo apt update、ubuntu-drivers devices，他推荐的（recommended）驱动是：nvidia-driver-570。

== /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 ==
modalias : pci:v000010DEd00001CBBsv000017AAsd0000225Fbc03sc00i00
vendor   : NVIDIA Corporation
model    : GP107GLM [Quadro P1000 Mobile]
driver   : nvidia-driver-535 - distro non-free
driver   : nvidia-driver-390 - distro non-free
driver   : nvidia-driver-570 - distro non-free recommended
driver   : nvidia-driver-450-server - distro non-free
driver   : nvidia-driver-535-server - distro non-free
driver   : nvidia-driver-470 - distro non-free
driver   : nvidia-driver-418-server - distro non-free
driver   : nvidia-driver-470-server - distro non-free
driver   : nvidia-driver-570-server - distro non-free
driver   : xserver-xorg-video-nouveau - distro free builtin

2. 在命令行中输入sudo apt install nvidia-driver-570进行安装，安装成功之后重启系统输入nvidia-smi查看当前驱动支持的最高CUDA版本。

hou@hou-ThinkPad-P52:~$ nvidia-smi
Thu Oct 30 11:41:48 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 570.133.07             Driver Version: 570.133.07     CUDA Version: 12.8     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  Quadro P1000                   Off |   00000000:01:00.0 Off |                  N/A |
| N/A   43C    P8            N/A  / 5001W |       7MiB /   4096MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
                                                                                         
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A            1159      G   /usr/lib/xorg/Xorg                        4MiB |
+-----------------------------------------------------------------------------------------+

3. 下载安装Miniconda，在命令行中依次运行如下命令：

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

bash ~/Miniconda3-latest-Linux-x86_64.sh

4. 安装成功之后打开一个新的终端安装Pytorch 2.6.0，CUDA的版本要>=12.6。

conda clean -i
conda create -n lerobot python=3.10.12 -y
conda activate lerobot
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126
python -c "import torch; print(torch.cuda.is_available())"

5. 下载修改后的lerobot代码，支持恩培老师的机械臂🦾。

git clone https://github.com/enpeizhao/lerobot_single_student
cd lerobot_single_student
pip install -e . -i https://mirrors.huaweicloud.com/repository/pypi/simple
pip install 'lerobot[feetech]'
sudo apt install ffmpeg

6. 安装PCAN-Linux驱动，下载地址为：

https://peak-system.com.cn/driver/

• 下载之后解压进入安装包目录cd peak-linux-driver-8.20.0，依次运行如下命令：

sudo apt install libpopt-dev
make clean all
sudo make install

• 安装成功之后我们可以加载模块并查看pcan版本信息：

sudo modprobe pcan
pcaninfo

• 成功打印版本即代表安装成功😌

PCAN driver version: 8.20.0
PCAN-Basic version: 4.10.0.4

三、ACT 边缘部署

1. 我们遥操机械臂采集了100组动作视频用于ACT模型的训练：

python -m lerobot.record \
    --robot.ip_address="localhost" \
    --robot.port=12345 \
    --robot.type=enpei_follower \
    --robot.id=enpei_follower \
    --robot.cameras="{ handeye: {type: opencv, index_or_path: 4, width: 320, height: 240, fps: 30}, fixed: {type: opencv, index_or_path: 2, width: 320, height: 240, fps: 30}}" \
    --teleop.type=enpei_leader \
    --teleop.port=/dev/ttyACM0 \
    --teleop.id=enpei_leader \
    --display_data=true \
    --enpei_use_radian=true\
    --dataset.repo_id=hou/demo_move_toy \
    --dataset.push_to_hub=false \
    --dataset.num_episodes=100\
    --dataset.episode_time_s=15 \
    --dataset.reset_time_s=5 \
    --dataset.single_task="Put the toy to the white block" \
    --dataset.root=/home/hou/workspace/lerobot_single_student/demo_move_toy \
    --resume=false

2. 云服务器的环境配置与本地被配置基本一致，总共训练200000个steps：

python ./src/lerobot/scripts/train.py \
  --dataset.repo_id=hou/demo_move_toy_degrees \
  --dataset.root=./demo_move_toy_degrees\
  --policy.type=act \
  --output_dir=outputs/train/demo_move_toy_degrees_act \
  --job_name=demo_move_toy_degrees \
  --policy.device=cuda \
  --policy.push_to_hub=false \
  --wandb.enable=false\
  --batch_size=32 \
  --num_workers=8 \
  --steps=200000

3. 我们在Jetson Orin Nano上实现了ACT模型的GPU实时推理，Jetpack的版本>=6.0，最终推理效果如下😜：

python -m lerobot.test_policy \
    --robot.ip_address="localhost" \
    --robot.port=12345 \
    --robot.type=enpei_follower \
    --robot.id=enpei_follower \
    --robot.cameras="{ handeye: {type: opencv, index_or_path: 0, width: 320, height: 240, fps: 30}, fixed: {type: opencv, index_or_path: 2, width: 320, height: 240, fps: 30}}" \
    --policy.path=last/pretrained_model\
    --fps=30 \
    --time_s=120 \
    --single_task="Put the toy to the white box" \
    --enpei_use_radian=false \
    --display_data=true

四、小结

本文详细介绍了在Ubuntu 20.04 LTS系统上安装配置LeRobot环境的完整流程，包括系统镜像制作、GPU驱动安装、Miniconda与PyTorch环境搭建、LeRobot代码部署及PCAN驱动配置等关键步骤。通过实际案例演示了从数据采集、ACT模型训练到板侧推理的全流程应用，为开展VAL具身智能学习与开发提供了完整的实践指导。