曾获LeCun转发推荐、狂揽1,000万下载的百度开源神作,又杀回来了!
时隔4个月,百度今天正式开源新一代文档解析模型——文心Unlimited OCR 2。
它的体量依然轻巧,总参数3B,每次推理实际激活仅500M(5亿)。
但就是这个5亿激活的轻量级模型,直接拿下了两大权威基准的全线第一:
- 百页级长文档基准MarathonDocBench(103–300页),拿到77.06分,位列第一;
- 多页跨页基准MPDocBench,拿下84.59分,位居榜首。
整套全部啃完,掐表一看,1小时30分,平均翻一页只要1.5秒左右。整整3623页,翻了3000多次页,它一次也没「断片」。
要知道,上一代模型的极限还卡在40多页;短短120天,百度直接把页数上限给干没了!
同时单序列KV显存更是直接砍掉96.2%,一张普通游戏显卡就能跑满全场。
顺着这个最朴素的直觉,百度团队掏出了第二代杀手锏——稀疏参考滑动窗口注意力(SR-SWA)。
随着文档一路拉长到300页,通用旗舰准确率跳水、延迟陡峭冲顶;唯有文心Unlimited OCR 2准确率稳如水平线,解码延迟贴地飞行。
早在第一代模型开源时,一位名叫Snarcy的开发者就在HuggingFace评论区看穿了这个命名巧思,随手把台词改写成了OCR版本。
今天,无论是几百页的招股书、上千页的工程标书,还是五千页的传世长卷,都不再需要切碎后喂给机器——这句展望,终于照进了现实。
编辑:摩西 桃子