利用ai 高效学习通常半个月能学会plc 加机器视觉以下是运动控制这么份大家主要是先会采集数据标记数据就好至于训练和使用这些都 可交给ai 来完成以下主要是搭环境我是任何技术的入门必做详细操作可以bibi 上查对应视频LingBot-VLA灵波 VLA完整使用 微调训练教程LingBot-VLA 是蚂蚁灵波开源 VLA 具身模型视觉 - 语言 - 动作基座 4B只需要 150 条真机示教数据就能微调适配新机械臂SO100 / 乐聚 / 自研臂分环境安装→权重下载→推理使用→数据集制作→后训练微调→真机部署五大步骤。硬件底线单卡≥24G 显存3090/4090/A6000推荐 4090 (24G) 起步系统优先 Ubuntu22.04/24.04Windows 可用 WSL2。为了录这个课我先买了一张显卡后面我们还会续更新一、新建 Conda 环境 安装依赖固定 Python3.12别用 3.8/3.10会依赖冲突打开 Anaconda Prompt / 终端逐条执行bash# 1.创建专属环境 conda create -n lingbotvla python3.12 -y conda activate lingbotvla # 2.拉取源码 git clone https://github.com/Robbyant/lingbot-vla.git cd lingbot-vla # 3.一键安装全依赖含torch2.8、CUDA12.8、flash-attn、lerobot bash install.sh坑点install.sh编译flash-attn2.8.3很慢编译失败就手动装预编译包pip install flash-attn --no-build-isolation二、下载模型权重国内优先魔搭 ModelScope避开 HF 翻墙需要两个权重LingBot-VLA-4B 基座 Qwen2.5-VL-3B-Instruct视觉语言底座1、安装下载工具bashpip install modelscope huggingface_hub -i https://pypi.tuna.tsinghua.edu.cn/simple2、魔搭一键下载推荐bash# 1下载LingBot-VLA-4B主模型 modelscope download --model Robbyant/LingBot-VLA-4B --local-dir ./lingbot-vla-4b # 2下载Qwen2.5-VL基座 modelscope download --model Qwen/Qwen2.5-VL-3B-Instruct --local-dir ./Qwen2.5-VL-3B-Instruct下载完成目录结构plaintextlingbot-vla/ ├─ lingbot-vla-4b/ # VLA主权重 ├─ Qwen2.5-VL-3B-Instruct/ # 多模态底座三、快速使用本地推理仿真 / 单步测试不用机器人硬件方式 1命令行单指令测试输入文字指令 图片输出机器人动作bashpython infer_single.py \ --model_path ./lingbot-vla-4b \ --tokenizer_path ./Qwen2.5-VL-3B-Instruct \ --image_path ./test.jpg \ --prompt 把红色方块夹到盒子里输出关节动作序列6/7/14 维机械臂关节值方式 2RoboTwin 仿真部署无实体机械臂软件仿真运行bash# 启动仿真服务端 bash run_server.sh # 新开终端启动仿真客户端自动加载VLA控制虚拟机械臂 bash run_robotwin_client.sh打开可视化界面输入自然语言拿起水杯放到桌面右侧虚拟机械臂自动执行。方式 3真机硬件部署SO100 / 乐聚机械臂采用WebSocket C/S 架构服务端bash run_server.sh跑 VLA 大模型GPU 端机械臂客户端在机械臂控制器运行驱动脚本自动采集摄像头画面 发送指令接收模型动作控制电机。四、训练核心后训练微调不用从零预训练只用少量自有示教数据LingBot-VLA不做全参数预训练官方只开放后训练 (Post-training 微调)150 条演示数据即可适配新任务 / 新机械臂。步骤 1采集 制作数据集必须 LeRobot 数据集格式两种采集方案真机示教采集推荐手动拖动机械臂复现任务如夹取、堆叠相机录画面 同步记录关节数据工具自动打包为 LeRobot 数据集仿真采集RoboTwin 仿真内录制轨迹生成数据集。数据集目录示例./data/my_task_data/内含 episode 录像 关节 json步骤 2配置机器人 yaml适配自己机械臂关节维度复制模板修改bashcp configs/robot_configs/robotwin.yaml configs/robot_configs/my_arm.yaml修改 yaml关节数量、观测维度、动作归一化范围关键训练前必须算数据均值方差。步骤 3数据集统计归一化必做模型读取数据前提bashpython tools/compute_norm_stats.py \ --dataset_path ./data/my_task_data \ --robot_cfg configs/robot_configs/my_arm.yaml生成norm_stats.json放到数据集目录。步骤 4启动微调训练单卡 / 多卡 FSDP 分布式单卡 4090 训练命令最常用bashexport PYTORCH_CUDA_ALLOC_CONFexpandable_segments:True bash train.sh tasks/vla/train_lingbotvla.py ./configs/vla/finetune_single.yaml \ --model.model_path ./lingbot-vla-4b \ --model.tokenizer_path ./Qwen2.5-VL-3B-Instruct \ --data.train_path ./data/my_task_data \ --data.robot_config configs/robot_configs/my_arm.yaml \ --train.output_dir ./output/my_finetune_model \ --train.micro_batch_size 2多卡分布式2/4/8 卡 A6000FSDP 自动分片bashtorchrun --nproc_per_node4 tasks/vla/train_lingbotvla.py ...同上参数出现Doing Post Training即正式开始微调训练完权重保存在output/my_finetune_model。步骤 5离线评估 导出微调后模型bash# 离线测试数据集成功率 python eval_vla.py --ckpt ./output/my_finetune_model --eval_data ./data/my_task_data # 导出可用推理权重 python export_ckpt.py --input_ckpt ./output/my_finetune_model --save_dir ./my_final_vla五、常用避坑总结,版本锁死Python3.12、CUDA12.8、Pytorch2.8不要混用你之前 labelImg 的 py3.8 环境显存不足调小micro_batch_size1开启--train.gradient_checkpointing true动作跑偏90% 原因是yaml 关节配置错误 / 没做 norm 归一化重新跑 compute_norm_stats国内下载慢全程用 ModelScope 替代 HuggingFace 下载权重。