有些工作自己做起来很简单,教AI反而费功夫。作者实测豆包工作升级,让它跟着人类学干活:整理招标公告、把PDF排版进Word,AI从「每次重新教」进化到「沉淀成规则」,甚至开始理解格式偏好。
最近用AI干活,我发现一个挺有意思的问题。
有些工作,自己做起来很简单,但想要教会AI,反而要费不少功夫。
比如整理一批行业资料,需要打开网站、筛选信息、提取数据,最后汇总成Excel。整个流程可能已经重复过几十遍,自己闭着眼睛都知道下一步该点哪里。
但换成AI,就得把每个操作步骤、筛选条件、注意事项重新解释一遍。遇到一些特殊情况,还得反复补充提示词。
更麻烦的是,下次换一批资料,可能又要重新教一次。
这两天,豆包工作的ComputerUse迎来了一次新升级,新增了两个功能:录制技能和Mac锁屏工作。
其中最让我感兴趣的是,录制电脑操作,自动生成个人技能。
简单来说,就是你在电脑上演示一遍自己熟悉的工作流程,豆包就能把整个操作过程记录下来,整理成一套可以反复调用的技能。
除此之外,豆包还新增了Mac锁屏工作能力。完成授权后,即使电脑锁屏,豆包也能继续操作电脑,用户还可以通过手机远程下发任务。
当然,这些听起来很美好,实际用起来怎么样,还得测试。尤其是录制技能这个功能,豆包究竟能不能真正学会一套工作流程,换个任务之后还能不能灵活执行?
带着这些问题,硅基君找了几个日常工作场景,准备好好折腾一下。
01录制技能,整理招标信息
过去,我们想让AI帮自己完成一套复杂的工作,往往得写很长的提示词,把操作步骤、判断条件、特殊要求一条条交代清楚。
但问题是,很多工作流程,我们自己明明很熟悉,真要用文字完整描述出来,却并不容易。
比如整理政府采购招标公告。
需要打开中国政府采购网,输入关键词,选择公告类型和时间范围,再逐条查看项目名称、采购单位、预算金额、投标截止时间,最后把这些信息汇总到Excel里。
看起来都是些简单操作,但如果让AI照着你的习惯去做,光是解释筛选条件、数据口径和表格格式,就可能要写一大段指令。
豆包这次给出了一个更直接的办法:你在电脑上做一遍,它负责把这套操作学下来。
具体来说,打开豆包的技能库,选择新建录制技能,授权后就可以开始演示。豆包会记录电脑上的操作和画面,结束后自动整理成一套可复用的技能。
这次最大的升级,是录制范围从此前的浏览器页面扩展到了全局电脑操作。理论上,涉及浏览器、Excel、桌面软件的连续工作流程,也可以通过操作演示来教给它。
为了验证效果,我选择了政府采购公告整理这个场景。在完成操作录制后,豆包给我生成了一份技能摘要,名字叫作「ccgp-tender-summary」。
它把整个任务概括为:从中国政府采购网搜索招标公告,提取关键信息,并自动汇总为Excel表格。需要提取的字段包括项目名称、采购单位、预算金额、公告发布日期、投标截止时间和公告链接。
豆包工作自动生成的“招标公告整理”技能摘要
更重要的是,它还区分了哪些规则需要固定,哪些输入可以在下次任务中改变。比如搜索关键词可以更换,时间范围可以调整,公告类型、地区也可以重新选择。
这意味着,下次执行类似任务时,我不用再重复解释整个工作流程,只要告诉豆包这次想查什么就行。
为了验证这一点,我新建了一个工作任务,选中刚刚生成的技能,然后输入了一条指令:帮我搜索近一个月的打印机政府采购招标信息,并汇总成表格。
接下来,豆包开始自己干活。
它先读取已经保存的技能,确认需要执行的流程,然后打开中国政府采购网,在搜索框输入「打印机」,选择「公开招标」,把时间范围设为近一个月。
完成筛选后,页面返回了30条相关公告。
随后,豆包开始进一步抓取公告信息,尝试从详情页提取预算金额、投标截止时间等字段。
这里还出现了一个挺有意思的小插曲。豆包最初尝试用规则批量提取详情页的信息,但很快发现效果不理想,部分字段存在偏差。
于是,它没有一直沿着原来的方法往下跑,而是重新检查网页的文本结构,调整提取规则,并尝试从搜索结果摘要中补充缺失的字段。
最终,它合并了两部分数据,再通过脚本生成Excel文件。
从操作界面上看,这个过程基本不需要我再逐步指挥。整个任务用时6分32秒,最终整理出了30条政府采购招标公告。
生成的Excel里,项目名称、采购单位、预算金额、发布日期、投标截止时间以及原始公告链接,都分别整理到了对应列中。
我打开表格看了一下,整体结构比较规整,30条记录也都生成了。
30条招标公告被汇总为结构化Excel表格
除了记录鼠标和键盘操作,豆包现在还支持用户一边演示,一边通过语音告诉它自己的工作规则。
因为很多工作经验,单纯观察操作是很难理解的。
比如整理招标公告时,我可能习惯把预算金额统一换算成万元,只统计公开招标公告,遇到未披露金额的项目就保留空值,不要自行推算。
这些规则,仅仅看我点击了哪里,AI未必能够准确理解。但在录制过程中,我可以一边操作,一边直接告诉它:
「注意,这里金额的单位要统一。如果原公告写的是元,需要换算成万元。」
「如果项目没有公布预算,就标注未披露,不要随便填零。」
「公开招标和中标结果是两类公告,不要混在一起。」
这样一来,操作演示提供的是具体步骤,语音讲解则补充了操作背后的判断依据。
甚至,如果录制过程中不小心点错了按钮,也可以通过语音及时说明,告诉豆包刚才属于误操作,正确的步骤应该怎么做。
02让AI学会我的文档排版习惯
这个需求,相信不少打工人都有体会。
PDF转Word现在很方便,但转换后经常还要重新调整字体、标题、段落和页码。尤其是一些几十页的政策文件,整理起来还是挺费时间的。
所以这次,我想试试能不能把自己的排版习惯直接教给豆包,以后遇到类似文件,就让它自动处理。
具体操作很简单。
打开豆包工作,选择「录制操作生成技能」,授权后,就可以在电脑上演示操作了。
我先找来一份《电动汽车充电设施服务能力“三年倍增”行动方案(2025—2027年)》PDF,打开WPS,开始操作。
接着处理标题。比如大标题加粗、居中,章节标题和小标题分别设置对应的格式。正文则统一使用楷体、小四号字,首行缩进两个字符,1.5倍行距,最后插入页码。
整个过程和平时自己操作没什么区别。演示完成后,我点击结束录制,豆包开始整理刚刚记录的操作。
我看了下,还挺详细。它把整个流程拆成了七步,包括提取PDF内容、生成Word草稿、清理多余换行、识别标题层级、应用排版规范、插入页码,以及最后核对原文。
甚至连字体、字号、行距、标题层级这些细节,也全部整理成了一张规则表。
豆包沉淀出7步流程与格式规范
原本需要反复向AI解释的工作流程,就这样被保存成了一套可以重复使用的个人技能。
不过,生成技能只是第一步,关键还得看能不能复用。
接下来,我重新找来一份《“人工智能+制造”专项行动实施意见》PDF。这份文件更复杂,里面包含多个章节和附件。
我新建任务,调用刚刚生成的技能,只输入一句话:「帮我把这个PDF转成我需要的Word格式。」
这次,没有重新解释任何排版要求。
豆包接到任务后,先读取PDF内容,识别文档结构,再按照之前保存的规则生成Word。
有意思的是,它这次没有机械重复我在WPS里的鼠标操作,而是调用Python文档处理工具,直接完成排版。
这说明,录制下来的操作已经被它整理成了可以在新任务中调用的规则,执行时也能够调整具体方法。
最终,豆包生成了一份23页的Word文档。
根据执行结果,它一共处理了190个段落,识别出9个章节、21个小标题和2个附件,还自动设置了标题层级、字体、行距和页码。
我把生成的Word和原始PDF放在一起对照。整体来看,标题、正文和附件的层级比较清楚,排版也基本符合之前演示的要求。
最终生成的Word文档排版效果对照
但这次测试至少验证了一件事:豆包可以把这些原本存在于个人习惯中的操作流程,有机会直接变成AI可以反复调用的技能。
03从能干活到会干活,豆包工作又进了一步
除了录制技能,豆包工作这次还有一个挺实用的升级:Mac锁屏状态下,也能继续操作电脑。
简单来说,完成相应授权后,即使你离开电脑,豆包仍然可以通过观察屏幕、模拟鼠标和键盘,继续执行任务。
而且,还支持通过手机远程下发指令。比如人在外面,突然想起有份资料需要整理,就可以直接通过手机让家里的Mac开始干活。
这里需要注意,锁屏工作不等于合盖休眠后也能执行。Mac仍需保持开机、联网、客户端运行和唤醒状态;长时间合盖且电量低于30%时,这项能力不支持。
此外,此前发布的Mac版ComputerUse的操作能力,也迎来了一次升级。
过去,AI操作电脑主要依靠截图识别界面,再判断鼠标应该点击哪里。每完成一步,都要重新截图、分析,整个过程比较耗时。
现在,豆包可以直接读取macOS的界面信息(AXtree),知道每个按钮、输入框叫什么、在哪里,可以直接定位操作,不用再对着截图猜坐标。
对于已经确定的操作步骤,豆包还可以连续执行,不用每点击一次就停下来重新思考。每完成一步,系统也会反馈界面发生了哪些变化(AXdiff),方便AI及时发现操作是否成功。
简单来说,就是看得更清楚、点得更准确,中间的停顿也更少,操作电脑的速度和准确性都有了提升。
回过头看,豆包工作最近几轮升级,其实有一条很清晰的主线。
多Agent并行让豆包可以同时调用多个子Agent,分头完成资料搜索、数据分析等任务,再由主Agent统一汇总。
ComputerUse则进一步让它拥有了操作电脑的能力,可以看懂屏幕,通过鼠标和键盘完成跨软件操作,比如整理桌面、填写邮件、处理文件。
现在,随着录制技能和锁屏工作的加入,豆包的能力又向前走了一步。
从会思考、能操作,到学习人的工作方法,再到持续执行任务,豆包工作正在逐渐掌握一套更加完整的工作能力。
用户可以先把熟悉的工作流程教给AI,再让它反复执行。即使暂时离开电脑,一些耗时的任务也能继续推进。
对于经常需要整理资料、制作报表、处理文档的普通人来说,这种变化还是挺有价值的。
毕竟,工作中有太多事情需要反复操作,却不需要每次都从头思考。随着AI逐渐学会这些工作习惯,我们也有机会把更多时间留给真正需要自己判断和创造的事情。
文/阿奇、元元