前言传统UI自动化依赖DOM元素定位需编写复杂代码且维护成本高非技术人员难以上手。Midscene作为AI驱动的自动化框架支持自然语言编写脚本结合视觉识别与DOM分析精准定位元素大幅降低自动化门槛。本文将从框架原理、环境搭建、Web/安卓自动化实战、脚本优化等维度带你完整掌握Midscene的核心用法适合测试人员、开发人员快速落地自动化需求。一、Midscene核心认知AI驱动的自动化革新1.1 框架定位与核心优势Midscene是一款基于多模态大模型的UI自动化工具核心解决传统自动化“定位难、编写繁、维护贵”的痛点优势显著低门槛支持YAML自然语言脚本非技术人员也能快速编写高精度结合视觉识别截图分析与DOM结构元素定位准确率远超传统方式多场景覆盖Web、安卓APP自动化支持复杂业务流程模拟强工具链自带可视化报告、缓存优化、Chrome插件等功能调试效率高灵活扩展支持TS脚本编写应对复杂自动化场景。1.2 自动化原理两种核心实现方案Midscene采用“图像理解坐标定位”的核心逻辑区别于传统DOM元素定位用户通过YAML/TS脚本用自然语言描述操作如“点击登录按钮”框架自动截取页面截图结合DOM结构发送给多模态大模型大模型分析截图识别目标元素坐标规划操作步骤通过Playwright/Puppeteer等底层框架执行点击、输入等操作完成自动化流程。1.3 主流模型对比与选型推荐Midscene支持多种多模态大模型不同模型适配场景不同推荐优先级如下模型名称核心优势适用场景成本表现火山引擎UI-TARS优先推荐专为UI自动化设计开源可私有化部署速度快探索性场景、长期自动化项目开源免费云部署成本低阿里云Qwen-2.5-VL视觉定位精准token消耗省支持高分辨率常规Web/APP自动化成本敏感场景云部署费用比GPT-4o低80%火山引擎Doubao-1.5-thinking-vision-pro断言能力强视觉定位稳定需严格结果验证的自动化场景按调用量计费性价比中等GPT-4o通用性强复杂场景处理能力突出特殊复杂业务流程无开源模型可用成本高token消耗大选型建议优先使用UI-TARS开源免费自动化适配常规场景可选Qwen-2.5-VL复杂场景可尝试GPT-4o。二、环境搭建从0到1配置运行环境2.1 基础依赖安装通用无论Web还是安卓自动化需先安装以下基础工具Node.js版本16官网下载https://nodejs.org/zh-cn/安装后验证node -v输出版本号即可配置国内镜像加速依赖安装npm config set registry https://registry.npmmirror.com。Midscene CLI工具全局安装命令行工具npmi-gmidscene/cliChrome浏览器版本90需安装Midscene插件可选桥接模式用插件安装地址https://chromewebstore.google.com/detail/midscene/gbldofcpkknbggpkmbdaefngejllnief本地CRX文件安装Chrome→扩展程序→管理扩展程序→拖拽CRX文件至页面。2.2 Web自动化环境配置额外依赖Web自动化无需额外依赖CLI工具已集成Playwright/Puppeteer安装后即可使用。2.3 安卓自动化环境配置额外依赖安卓自动化需配置ADB环境与手机连接步骤如下安装JDK需JDK 11配置JAVA_HOME环境变量安装ADB下载Android SDK Platform-Tools解压后配置环境变量新增系统变量ANDROID_HOME值为SDK解压目录系统变量Path中添加%ANDROID_HOME%\platform-tools、%ANDROID_HOME%\tools验证ADB配置adb version输出版本号即可。手机配置连续点击手机“版本号”7次开启开发者选项进入开发者选项开启“USB调试”“USB调试安全设置”数据线连接手机与电脑选择“传输文件”模式手机授权USB调试验证连接adb devices显示设备ID与device状态。三、安卓自动化实战APP自动化流程3.1 核心配置与脚本结构安卓自动化脚本分为android和tasks两部分需指定APP包名和设备信息android:# deviceId: 3e883fac # 可选多设备时指定设备ID通过adb devices获取launch:com.sankuai.meituan# 启动APP的包名必填tasks:-name:美团外卖下单flow:-aiTap:外卖# 点击外卖入口deepThink:true-aiInput:牛肉面locate:页面顶部的搜索框提示文字搜索美食、商家deepThink:true-aiTap:搜索按钮locate:搜索框右侧的放大镜图标deepThink:true-aiTap:第一个商家# 点击搜索结果第一个商家deepThink:true-aiTap:推荐列表第一个美食deepThink:true-aiTap:加入购物车deepThink:true-aiTap:去结算deepThink:true-aiAssert:页面显示提交订单# 断言进入结算页errorMessage:下单流程失败未进入结算页面3.2 APP包名获取方法若不知道APP包名可通过以下命令获取adb shell am monitor执行命令后打开目标APP终端会输出APP的包名如com.sankuai.meituan。3.3 运行与调试命令安卓自动化运行命令与Web一致支持--headed参数显示手机操作投屏midscene ./meituan.yaml--headed注意若提示找不到ANDROID_HOME在.env文件中添加配置ANDROID_HOME你的SDK解压目录如D:\apps\android_sdk四、脚本编写技巧提升自动化成功率4.1 定位描述优化核心元素定位失败是自动化常见问题优化locate描述可大幅提升成功率❌ 错误示例locate: 登录按钮描述模糊✅ 正确示例locate: 页面右上角的蓝色登录按钮带有登录文字位于验证码输入框右侧补充位置、颜色、关联元素。核心原则描述需包含“位置视觉特征关联元素”让AI精准识别目标。4.2 操作指令选择策略确定操作步骤时优先用即时操作aiTap/aiInput比自动规划ai指令更快更稳定复杂流程如“发一条微博”可使用ai指令让AI自主规划步骤一个指令只做一件事避免复杂长指令如拆分“输入账号→输入密码→点击登录”为3个步骤。4.3 断言与错误处理关键步骤后必须加aiAssert验证操作结果如登录后断言目标页面文字配置errorMessage断言失败时快速定位问题重要任务可开启continueOnError: true避免单个步骤失败导致整个脚本终止。4.4 性能优化技巧开启缓存.env中添加MIDSCENE_CACHE1减少重复模型调用合理设置sleep避免过长等待页面加载用waitForNetworkIdle替代固定sleep禁用不必要的DOM传输使用UI-TARS/Qwen-2.5-VL等模型无需发送DOM树节省token。五、常见问题与避坑指南5.1 元素定位失败原因描述模糊、页面未加载完成、元素被遮挡解决优化locate描述补充视觉特征、延长sleep时间、开启deepThink: true、检查页面是否有弹窗遮挡。5.2 大模型调用失败原因API密钥错误、OPENAI_BASE_URL配置错误、模型实例未启动解决核对.env文件参数、检查模型服务状态、测试网络连通性是否能访问模型接口。5.3 安卓自动化设备连接失败原因ADB环境配置错误、USB调试未开启、数据线仅充电解决重新配置ANDROID_HOME环境变量、确认开发者选项已开启、更换数据传输线。5.4 验证码处理问题Midscene不支持复杂验证码自动识别如滑动验证码、图形验证码解决方案测试环境使用固定验证码如本文中的“8888”对接验证码识别接口需额外开发手动输入验证码桥接模式下脚本暂停时手动操作。六、Midscene限制与适用场景6.1 框架限制交互类型有限仅支持点击、输入、键盘、滚动操作不支持拖拽、文件上传对话框等复杂场景依赖代码拖拽、动态元素等场景需结合TS脚本扩展模型调用耗时实时调试体验不如传统自动化工具。6.2 适用与不适用场景✅ 适用场景Web/APP常规业务流程自动化、非技术人员编写脚本、探索性测试、短期自动化项目❌ 不适用场景需高频执行的性能测试、复杂交互拖拽/手势场景、无网络环境需模型调用。总结Midscene通过AI自然语言的创新模式彻底降低了UI自动化的技术门槛让非技术人员也能快速落地自动化测试。核心优势在于“无需编写复杂定位代码、视觉定位精准、多场景适配”适合大多数Web和安卓APP的自动化需求。从实践来看优先选择UI-TARS模型、优化元素定位描述、合理设置断言能大幅提升自动化成功率。随着多模态大模型的发展Midscene的能力还会持续增强是未来低代码自动化的重要方向。