【#豆包手机尚不能AI操作微信# 】#豆包手机推GUI合作协议# 9月14日,豆包手机助手消费者版本正式发布。其中,“操作手机”功能以Beta版形式开放,豆包同步推出屏幕自动化操作声明协议(SAEP),允许第三方应用声明是否接受AI助手在应用内进行屏幕自动化操作,并启动为期30天的规则公示。
根据豆包方面介绍,第三方应用可通过该协议明确允许或拒绝相关操作。对于明确拒绝的应用,豆包手机助手将不进行自动化操作。
第三方应用的操作边界,是豆包手机助手此前落地过程中遇到的实际问题。2025年12月,技术预览版推出后,部分应用曾出现登录受限、AI操作无法继续的情况。据新黄河此前报道,2025年12月10日,豆包手机助手产品经理表示,淘宝、天猫、大麦、闲鱼等应用正陆续解除设备登录限制,但豆包团队也下掉了对相关App的操作手机能力。解除登录限制,并不等于恢复AI代操作。
不同应用当时的表现并不相同。2025年12月10日,新黄河大鱼财经记者实测发现,豆包手机助手仍可调用京东App,在后台完成检索和比价。
此次推出的SAEP协议,将应用可设置的限制细化到具体页面和业务环节。新黄河记者梳理官网接入文档发现,开发者可以禁止登录页面的截图和模拟输入,也可以允许助手辅助编辑内容,但限制其完成最终发送或发布。签到、抽奖、秒杀、积分及奖励领取,也被列入可限制的操作范围。
按照协议设计,最终能否执行一项操作,需要结合助手身份、系统安全基线、应用声明及用户授权共同判断。应用声明允许,不代表可以跳过业务鉴权;对被拒绝的操作,助手应停止执行,不得换用其他通道绕过。需要用户确认或接管时,确认只覆盖界面展示的具体步骤。
协议还设计了操作日志查询机制,第三方应用可以查看与自身相关的操作记录,追溯助手的操作目标、决策和执行结果。不过,文档同时说明,意图级限制是否具备完整的系统强制执行能力,取决于目标版本。
目前,官网列出的“操作手机”支持范围为系统及中兴应用、字节系应用,以及部分已接入的第三方应用。
豆包方面有关人士向新黄河大鱼财经记者表示,图形界面智能体仍是一项快速发展的前沿能力,希望与合作伙伴共同构建开放、规范的手机AI应用生态。
除应用操作外,此次消费者版本还介绍了系统交互、本地信息检索和录音等功能。豆包手机助手以豆包App为基础,与手机厂商在系统层面合作。官方视频显示,用户可通过语音或专属AI键唤醒助手;AI键支持指纹鉴权,完成本人验证后,无需二次解锁即可调用相关功能。用户也可围绕当前屏幕内容提问,或将屏幕信息作为执行任务的输入。
本地信息检索则以用户主动授权为前提,覆盖电话、相册、短信、便签等数据。用户可以手动保存当前屏幕内容,供后续查找。录音功能接入飞书妙记,支持转录、实时翻译、区分说话人和自动总结,并可检索过往录音中的具体内容。
任务执行也包含服务接口调用。官网显示,“豆包智能服务”Beta版已接入曹操出行、地图等服务,其中曹操出行首批支持北京、杭州。用户提出打车需求后,助手可确认地址、选择车型并发起下单。
在隐私与安全方面,豆包方面表示,数据收集遵循“最小必要”与“用户自主控制”原则,数据处理采用端云结合方案,并对助手可操作的范围进行分层、分级管理。
据官方介绍,首个豆包手机助手消费者版本将搭载于努比亚NaviX Ultra手机,目前已开启预约,将于9月16日正式发售。(记者:张盼港)
