搜索 猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

蚂蚁集团发布VenusBench-GD:首个全平台GUI智能交互能力测试基准

2025-12-27 00:36:15
来源:

猫眼电影

作者:

乔治·吉尔

手机查看

  猫眼电影记者 蔡皓东 报道首次登录送91元红包

这项由蚂蚁集团Venus团队联合iMean AI公司共同完成的研究发表于2024年12月,研究论文编号为arXiv:2512.16501v1。该研究团队由来自蚂蚁集团的周北桐、黄哲潇、郭远、顾张轩等多位研究员以及iMean AI的孔德韩、尚彦一等研究人员组成,项目由蚂蚁集团的沈舒恒博士领导。有兴趣深入了解的读者可以通过论文编号arXiv:2512.16501v1查询完整论文。

当你用手机点击一个APP图标,或者在电脑上寻找某个按钮时,这些看似简单的操作背后其实隐藏着复杂的视觉理解过程。你的眼睛需要在密密麻麻的界面元素中精准定位目标,大脑要理解各种图标的含义,还要根据空间位置关系找到正确的位置。现在,人工智能也在努力学会这种能力,就像训练一个从未见过电脑界面的人学会如何操作各种软件一样。

蚂蚁集团的研究团队发现了一个关键问题:现有的AI测试标准就像只考察学生能否认识单个汉字,却从未测试他们能否读懂一篇完整文章。大多数GUI(图形用户界面)测试基准要么规模太小,就像只有几十道题的考试,要么过于专业化,就像只测试医学专业术语而忽略了日常对话能力。更重要的是,这些测试往往只关注最基础的"找到红色按钮"这类简单任务,却忽略了真实应用中需要的复杂推理能力,比如"找到价格最便宜的那个商品并加入购物车"。

为了解决这个问题,研究团队开发了VenusBench-GD,这是目前世界上最大规模、最全面的GUI理解能力测试基准。这就像为AI设计了一套从小学到大学的完整课程体系,不仅要测试基础的视觉识别能力,还要考察复杂的逻辑推理和问题解决能力。

这套测试系统覆盖了我们日常使用的所有主要平台:手机应用、网页界面和电脑软件,总共包含97个不同的应用程序,涵盖创意设计、办公效率、电子商务、娱乐、金融、知识获取、社交、旅行和工具类等10个主要领域。研究团队花费三个月时间,动员20位专业标注员,精心制作了6166个测试样本,每个样本都经过多轮严格的质量检验。

VenusBench-GD的最大创新在于建立了分层次的评估体系。基础任务就像教会AI"看图识字",包括元素识别、空间定位和视觉特征理解三个方面。元素识别类似于教AI认识界面上的各种"零件",比如按钮、文本框、下拉菜单等;空间定位则是教会AI理解相对位置关系,比如"找到搜索框右边的那个按钮";视觉特征理解让AI学会根据外观描述找到目标,比如"找到那个心形图标"。

高级任务则更像是考察AI的"综合应用能力"。功能推理任务要求AI理解不同界面元素的实际功能,就像你需要知道那个"X"按钮是用来关闭窗口的,而不仅仅是识别它的外形。逻辑推理任务则更进一步,要求AI能够进行多步骤的思考和比较,比如"找到评分最高但价格适中的那家餐厅"。最有趣的是拒绝应答任务,这是在测试AI是否具备"实事求是"的品质——当用户的要求在当前界面中根本无法完成时,AI应该诚实地说"找不到",而不是胡乱猜测一个答案。

研究团队在数据质量控制方面下了很大功夫。他们开发了一套"人机协作"的标注流程,先让人工专家标记出界面中的重要元素,然后用AI模型生成对应的自然语言指令,最后再由人工专家验证指令与元素是否匹配。这个过程就像制作一道精美的菜肴,需要选材、配菜、烹饪、品尝等多个环节的精心把控。

为了确保测试结果的可靠性,研究团队还进行了"盲测"实验。他们从多个现有基准中随机抽取了3000个样本,打乱顺序后让标注员重新评估质量,就像让老师在不知道学生姓名的情况下批改试卷一样。结果显示,VenusBench-GD的标注错误率仅为2.6%,远低于其他基准的10-25%错误率。

在实验评估部分,研究团队测试了目前最先进的多种AI模型,包括GPT-4o、Claude等通用多模态模型,以及专门为GUI任务设计的特化模型。测试结果揭示了一个有趣的现象:在基础任务上,通用AI模型的表现已经追上甚至超越了专门的GUI模型。比如Qwen3-VL-8B模型在基础任务上达到了76.96%的准确率,表现相当出色。这就像一个全科医生在处理常见疾病时,效果并不比专科医生差多少。

然而,在高级任务上,专业化的GUI模型仍然保持明显优势。在功能推理和逻辑推理任务中,像Holo1.5-72B和UI-Venus-Ground-72B这样的专业模型分别达到了40%和68%的准确率,明显优于通用模型。这说明专业化训练在复杂任务中仍然具有不可替代的价值,就像专科医生在处理疑难杂症时的专业优势一样。

最令人意外的发现出现在拒绝应答任务中。大多数专业GUI模型在这个任务上的表现近乎为零,只有UI-Venus-Ground-72B达到了51.33%的准确率。这暴露了当前AI模型的一个致命弱点:过度自信和缺乏自我认知。就像一个总是不懂装懂的学生,即使面对无法解答的问题也要硬着头皮给出答案,而不是诚实地承认"我不知道"。

研究团队还特别关注了多语言环境下的表现。他们发现模型在中文指令下的表现通常比英文更好,这可能与训练数据的分布有关。比如Qwen3-VL-4B模型在基础任务上从英文环境的72.54%提升到中文环境的81.32%,显示出明显的语言偏好。

为了验证测试基准的有效性,研究团队还进行了人类表现对比实验。结果显示人类在高级任务上的表现显著超越所有AI模型:在逻辑推理、功能理解和拒绝应答三个方面分别超出当前最佳AI模型41.6%、11.8%和17.8%。这说明AI在GUI理解方面还有很大的提升空间,就像学生与老师之间仍然存在明显的能力差距。

通过深入的错误分析,研究团队发现了AI模型的几个主要问题。首先是语义理解偏差,AI往往难以将抽象概念与具体视觉元素联系起来,比如无法理解"文本对齐"这个概念对应的图标样式。其次是空间定位不准确,虽然能够大致判断区域位置,但在密集界面中难以精确区分相邻元素。第三是视觉特征组合能力不足,当需要同时考虑颜色、形状、位置等多个属性时容易出错。最重要的是缺乏多步推理能力,面对需要比较、筛选、排序的复杂任务时往往采用"贪心策略",只关注第一个符合条件的选项而忽略全局最优解。

这项研究的意义远远超出了学术范畴。随着AI助手越来越多地参与我们的日常数字生活,GUI理解能力将成为衡量AI实用性的重要指标。一个真正智能的AI助手不仅要能听懂你说的话,还要能在复杂的应用界面中准确执行你的指令,就像一个贴心的秘书能够熟练操作各种办公软件一样。

VenusBench-GD的发布标志着GUI智能理解研究进入了一个新阶段。它不仅提供了更严格的评估标准,也为研究者指出了未来的发展方向。随着这套测试基准的广泛应用,我们有理由期待AI在图形界面理解方面取得更大突破,最终实现真正智能的人机交互体验。

说到底,这项研究就像为AI设计了一套"驾照考试",不仅要测试基本的操作技能,还要考察复杂情况下的应变能力。只有通过这样全面而严格的考核,AI才能真正成为我们值得信赖的数字助手。当然,从目前的测试结果来看,AI们距离拿到"满分驾照"还需要继续努力,但这个方向无疑是正确的。归根结底,这不仅是技术进步的需要,更是我们迈向更智能、更便捷数字生活的必经之路。

Q1:VenusBench-GD与现有的GUI测试基准有什么不同?

A:VenusBench-GD是目前规模最大、最全面的GUI理解测试基准,包含6166个测试样本,覆盖手机、网页、电脑三大平台的97个应用。与现有基准相比,它建立了分层评估体系,不仅测试基础的元素识别能力,还考察复杂的逻辑推理和功能理解能力,标注错误率仅为2.6%,远低于其他基准的10-25%。

Q2:为什么专业的GUI模型在拒绝应答任务上表现这么差?

A:这暴露了当前AI模型过度自信和缺乏自我认知的问题。大多数专业GUI模型在拒绝应答任务上准确率接近零,说明它们无法识别不可能完成的指令,总是试图强行给出答案而不是诚实地说"找不到"。这就像一个不懂装懂的学生,即使面对无法解答的问题也要硬着头皮回答。

Q3:VenusBench-GD测试结果对普通用户有什么意义?

A:测试结果表明当前AI在GUI理解方面还有很大提升空间,人类在复杂任务上仍明显超越AI模型。这意味着现阶段的AI助手在处理复杂界面操作时可能出错,用户需要保持适当的监督。同时,这也预示着未来AI助手的巨大潜力,随着技术进步,我们将拥有更智能、更可靠的数字助手。

 时事1:365亚洲唯一官网

  12月27日,中国男篮14分客负韩国 遭遇世预赛两连败,最新的一条推文,则是斯诺登转发的美国第三任总统、《独立宣言》起草者杰斐逊说过的一段话:如果一个国家期望在国民无知的情况下却拥有自由,那么这种期望无论在历史上,还是未来都绝不会实现。,缅甸锦利娱乐开户。

  12月27日,探访中国首家室内攀冰馆 打破季节限制链接全球登山爱好者,其一,当前全球黄金储备高度集中于美英的格局可归于历史路径依赖。,看世界杯直播的网站,名字叫传奇的捕鱼游戏,永利现金官网。

 时事2:亿博手机登录

  12月27日,中美青年在广西对话 传承飞虎队精神共筑友谊桥,此次二审稿充实完善了原产地制度规则的规定:完全在一个国家或者地区获得的货物,以该国家或者地区为原产地;两个以上国家或者地区参与生产的货物,以最后完成实质性改变的国家或者地区为原产地。国务院根据中华人民共和国缔结或者共同参加的国际条约、协定对原产地的确定另有规定的,依照其规定。,edf2020一定发,斗牛棋牌官网,博狗最新的网址有哪些。

  12月27日,云南金平欢庆建县40周年 各族民众盛装巡游,比赛开始后,辽粤大战延续了前两回合的强度,广东队在主场观众的助威下率先发力,取得13分领先优势。上半场尾声阶段,辽宁队连续追分,将分差追至只有3分。下半场,胡明轩连续突破得手,徐杰也命中三分,广东队打出18比5的攻势,再度拉开分差。第四节初,辽宁队主帅杨鸣不满判罚,吃到技术犯规。随着分差扩大到20分以上,广东队提前锁定胜局。,米乐m6坑人吗,正规点的ag平台,ManBetX网页注册登陆。

 时事3:酷游加速app下载

  12月27日,2025中国田径协会10公里精英赛重庆站鸣枪起跑,李公正表示,系统赋能的关键在于以租赁物为核心构建全生命周期管理体系。如低空经济领域的无人机业务,通过电池监控、飞行路线规划等物联网技术,结合“一平台多业务”的大中台框架,可快速响应市场创新需求,同时移动端应用和电子签章显著提升了业务效率。,买球网站哪个好,拼三张金花,gpk极速彩金捕鱼攻略。

  12月27日,第二届中俄国际室内乐音乐节闭幕 音乐为桥促交流,ESG理念正加速融入企业战略与经营管理体系。规范、透明、可比的可持续信息披露已成为企业提升治理能力、回应社会关切、实现高质量发展的重要基础。未来,国际医学将继续以高标准推进ESG治理体系建设,深化绿色转型,强化社会责任,优化患者体验,也将进一步提升信息披露工作的规范性、系统性与透明度,在“高质量医疗+可持续发展”的道路上不断前行。,188体育在线平台,博必胜娱乐,亚洲游戏ag。

 时事4:庄园国际真人龙虎斗

  12月27日,第一批“加工增值免关税”货物在“二线口岸”通关,与之相比,西安、佛山却陷入低速增长的困境。数据显示,一季度两市GDP分别为2882.86亿元、2872.65亿元,增速分别为2.7%、1.1%,均被南通反超百亿元左右。从GDP增量来看,两座城市较上年同期分别仅增长48.75亿元、-0.25亿元,佛山也是万亿城市中唯一出现负增长的城市。,威尼斯人线路导航,365在线体育注官网,ag真人积分兑换总官网。

  12月27日,特奥会西藏队选手索南加参:吹着高原的风长大的汉子,以摩根大通和瑞银为例,在日终清算时,双方往往对彼此存在黄金的应收与应付,若瑞银应付摩根大通500吨黄金,而摩根大通同时也应付瑞银400吨,双方会先进行净额抵消,仅需实际转移100吨黄金用于交割。这样的净额清算机制大幅减少了实物黄金的调拨需求,提升了清算效率。,新百老汇网,尊龙国际,竞博jbo。

责编:陈琼

审核:白世峰

责编:卓悦佳

相关推荐 换一换