DC娱乐网

【AI答问】问:目前对AI大模型的图书投喂已经到了什么地步?百分之多少的图书已经

【AI答问】问:目前对AI大模型的图书投喂已经到了什么地步?百分之多少的图书已经被投喂?

答:这是一个非常核心的数字秘密。要回答“投喂到了什么地步”,我们需要明确一个事实:全球没有任何一家 AI 巨头会公布其最新模型吞噬图书的精确绝对数量,因为这直接关系到商业机密和决定生死存亡的法律诉讼。

但是,通过技术专家的估算、已经泄露的诉讼材料、以及 2025/2026 年各大机构(如哈佛大学、斯坦福大学)披露的开源数据集,我们可以推算出目前大模型对图书的投喂进度。

如果把整个人类历史至今出版的所有纸质图书看作一个整体,目前被大模型投喂的比例大约在 5% 到 10% 之间。

这个数字看似不高,但背后的结构非常惊人,可以划分为三个不同的“知识矿层”:

1. 第一矿层:公共领域(Public Domain)古籍文献 —— 投喂率:接近 90%这是大模型最安全、吞噬最彻底的资产。

现状: 所有出版超过 70-95 年(视各国法律而定)、版权保护期已过的图书、古籍和历史文献,基本已被各大巨头“全盘端走”。

最新标志性事件: 哈佛大学法学院创新实验室在 2025 年联合微软与 OpenAI,正式推出了 “哈佛大学图书馆公共领域语料库”(Harvard Library Public Domain Corpus)。该项目一口气释放了近 100 万册 珍贵绝版图书(包含 2420 亿个 Token 词元,跨越 250 多种语言,最早可追溯至 15 世纪)。

地步: 西方启蒙运动时期的著作、中国二十四史及历代文集等人类共同的文化遗产,早已被大模型彻底消化,构成了 AI 底层的基本逻辑和世界观。

2. 第二矿层:数字化版权图书(1970年至今的当代出版物) —— 投喂率:估算约 30% ~ 50%这是目前版权诉讼最惨烈的战场,也是大模型“智商”的最核心来源。

早期的“影子图书馆”狂欢(2022-2024年):在法律监管尚未完善的早期,硅谷巨头和开源社区几乎是“野蛮掠夺”。业内著名的 Books3 数据集 包含了约 18.3 万册 当代出版的图书;而泄露的法庭文件显示,Meta 在训练 Llama 系列时,曾利用 BT 种子下载了超过 80 TB 的盗版/电子书资源。

如今的“合规买断”割据(2025-2026年):随着版权诉讼海啸的到来,OpenAI、谷歌、微软被迫走向正版化。如前文所述,他们正在用数亿美元的巨资,与约翰威立(Wiley)、泰勒-弗朗西斯(Taylor & Francis)、哈珀柯林斯(HarperCollins)等大众与学术出版巨头签署排他或非排他协议。

地步: 全球近几十年出版的、拥有电子版(E-book)或已被数字化的精英图书、畅销书和核心学术期刊,大约有三分之一到一半,已经被大模型巨头通过“灰色抓取”或“高价购买”的方式实质性吸收。

3. 第三矿层:未数字化的纯纸质绝版图书与私有档案 —— 投喂率:低于 1%这是人类文明至今未被 AI 染指的“处女地”,也是为什么总投喂率只有 5%~10% 的原因。

庞大的基数: 根据 Google Books 团队多年前的系统性统计,人类自活字印刷术发明以来,大约出版了 1.3 亿到 1.5 亿部 独特的图书(不计发行量,仅计书名种类)。而目前全球被完全数字化的图书总数,估算也仅在 3000 万到 4000 万册左右。

AI 的鸿沟: 还有超过 1 亿部的图书,静静地躺在全球各大国家图书馆、地方档案馆、高校私人特藏室里。它们只有唯一的物理实体(纸质、竹简、羊皮纸),没有变成任何数字信号。大模型再聪明,也无法隔空去读一堆物理纸张。

地步: 这一块目前的投喂进度几乎为零。

总结:AI 吞噬图书的三个阶段目前,大模型对图书的投喂正在从“第一阶段”跨向“第二阶段”:

阶段 1(已完成): 浮在表面的互联网公开文本和无版权古籍已被吃光。

阶段 2(激战中 - 2026年现状): 巨头们正在用资本(签合同)和算法(强化学习),疯狂争夺和精炼那几千万册已数字化的当代版权图书和学术期刊。

阶段 3(未来十年): 随着数据红利的耗尽,谁能发动国家力量或超级资本,将物理世界里那上亿册尚未数字化的绝版纸质图书、档案、地方志进行大规模的 OCR 扫描和算法清洗,谁就能为 AGI 的下一次智力跃迁提供源源不断的“燃料”。