Midscene.js

github.com

基于视觉的 GUI Agent 与 E2E 测试框架，用自然语言描述步骤，自动操作并验证 Web、移动端和桌面应用界面。

开源有 API多模态网页

GitHub ★ 15,236被推荐 2 次

访问网站 ↗

适合做什么

适合前端/测试工程师用自然语言编写端到端测试，也适合开发者构建浏览器、手机、桌面自动化 Agent。

标签与属性

价格

开源

特性

有 API 多模态

平台

网页

同类推荐

浏览器 / 电脑 / 手机操控

scrcpy

★ 153,053

开源安卓投屏与控制工具，免 root、低延迟，可在电脑上用键鼠操控手机。很多 AI 手机智能体用它作为看屏幕和发送操作的通道。

开源免登录可自部署命令行Linux

github.com1 处推荐

浏览器 / 电脑 / 手机操控

Crawlee

★ 26,073

Node.js 网页抓取与浏览器自动化库，可构建可靠爬虫，为 AI/LLM/RAG 提取数据。

开源可自部署命令行LinuxMac

github.com1 处推荐

浏览器 / 电脑 / 手机操控

Crawlee for Python

★ 9,596

Apify 出品的 Python 网页抓取与浏览器自动化库，内置代理轮换与反爬伪装，可为 AI/RAG 采集数据。

开源可自部署LinuxMacWindows

github.com1 处推荐

浏览器 / 电脑 / 手机操控

uiautomator2

★ 8,435

Python 控制安卓界面的自动化库，通过 HTTP 暴露 UiAutomator 能力，是许多 AI 手机智能体的底层。

开源有 API可自部署AndroidLinux

github.com1 处推荐

浏览器 / 电脑 / 手机操控

Mobile-Agent

★ 9,326

阿里通义实验室推出的手机GUI智能体家族，含GUI-Owl模型，支持桌面/手机/浏览器自动化。

开源多模态可自部署通义千问Android

github.com1 处推荐

浏览器 / 电脑 / 手机操控

UI-TARS

★ 11,630

字节跳动开源的原生 GUI 智能体模型，可自动操作手机和电脑界面完成任务。

开源多模态可自部署通义千问Android

github.com1 处推荐