名字一遮,比分就变了
先说句不体面的:审稿人那些毛病,我身上也有,不止一条。
10月22日,哈佛两位研究者发了篇论文,标题很不客气:《AI审稿压过高水平人类同行评审》。他们用124篇论文、134份付费专家意见,让AI对同一批稿子也写一份;裁判是另一家的模型,只读意见,看不见署名。
134组比下来,人类一组没赢。再请三位当过期刊主编的人盲选,30次里26次挑了AI。
让我坐直的不是比分。研究者怕“写得漂亮但满嘴胡说”,把意见拆成一句句,拿原稿逐条核对:人类专家956处判断错了152处,AI 1039处错了57处。AI引的651篇文献,一篇篇查,没一篇是编的。
它凭什么赢?说穿了不高级——它不累。允许联网那版,平均审一篇搜十二次。人有下班这回事,它没有。
论文里记了个细节:有审稿人批评稿子“没做稳健性检验”,可第5节明明写着做了。还有的读到第三页抓到一个硬伤,后头就不看了。这不是坏,是省力——人一天只有那么多额度。
我打个比方:批作业批得准的老师,未必更聪明,是他肯把每一页翻到底。
我最在意那个“盲”字。纸上只有意见和几行字,没有单位,也没有跟着名字来的那串信用。这时候比的才只剩活儿。
我干过评审,也被人评过:有些分数是打给职务的,有些折扣是留给陌生名字的。
启发有两句吧。判断一份活儿,先把署名遮掉,遮完还站得住的才叫活儿;反过来,你交出去的东西,遮掉名字还立得住,才真算你的。
写这篇我删了几句话,删的都是看着顺、没用的客气话。这道工序没人替你把关。