这项由美国威斯康星大学麦迪逊分校主导的研究发表于2026年7月，收录于ICML 2026年权重空间对称性研讨会（WSS: from Foundations to Practical Applications），论文编号为arXiv:2607.01686v1。
一家公司花了数年时间、耗费巨额资金，用精心搭配的各类数据训练出一个强大的AI模型，然后把这个模型免费发布给全世界使用。听起来很慷慨，对吧？但有一件事他们没告诉你：这道"菜"到底是怎么做出来的——用了多少网页文字、多少数学题、多少代码，各自占了多大比例。这份"食谱"，是他们最核心的秘密之一。
研究团队把这个问题反过来想：既然食谱不公开，能不能通过品尝菜的味道，反推出食材的比例？他们开发了一套叫做WARP（Weight-space Analysis for Recovering Training data Portfolios，权重空间训练数据组合还原分析）的方法，只需要拿到已经发布的AI模型权重，就能估算出它是用什么比例的数据训练出来的。实验结果相当亮眼：在BERT和GPT-2两个经典模型上，WARP估算的误差最低只有0.046和0.104，比传统方法准确得多。
一、为什么数据食谱这么重要，却这么难搞清楚
先来说说为什么这件事值得一篇正式的学术论文。
训练一个大型语言模型，就像在经营一家顶级餐厅。食材的种类和比例，直接决定最终的口味。如果你的模型大量喂了代码数据，它就会更擅长写程序；如果大量喂了新闻文章，它在理解时事方面就会更出色。近年来，越来越多的研究表明，数据配比的设计不仅影响模型的知识广度，更影响训练效率——一个精心设计的配比方案，可以用更少的计算资源训练出更强的模型。
然而问题是，这些配比方案几乎从不公开。大多数前沿AI模型在发布时，只告诉你"它在大量多样化的数据上训练过"，具体是哪些来源、各占多少，通常一个字也不透露。这造成了一种信息不对称：研究者和开发者可以免费使用这些模型，但对于产生这些模型的"食谱"完全两眼一抹黑。
这个信息缺口会带来不少麻烦。当你拿一个已发布的模型继续在自己的数据上微调时，如果不知道原始训练分布，你就无法判断自己的微调是在补充模型的能力，还是在破坏它原本的平衡。更广泛地说，数据食谱的不透明也阻碍了数据污染审计（即检查某些测试题是否已经出现在训练数据中）以及对不同模型表现差异的深入解读。
现有的解决思路，主要集中在一种叫做"成员推断攻击"（Membership Inference）的技术上。这种方法的逻辑是：给模型一道题，看它的表现，猜测这道题是否出现在训练数据里——有点像考完试之后，通过学生答题的流畅度来判断他是否提前见过这道题。这种方法在样本层面有一定效果，但它解决不了全局配比的问题。就算你知道每一道题是否出现过，想从中拼凑出"数学题占多少比例、语文题占多少比例"，结果依然非常粗糙，因为判断结果完全取决于你拿来测试的那批题目的分布。
WARP的思路从根本上就不同。它不是去猜每道题有没有出现过，而是从整体上分析模型的"形状"——更准确地说，是分析模型参数在权重空间中的几何结构——来估算数据配比。
二、权重空间里隐藏的"训练轨迹"
要理解WARP的工作原理，先要理解一个核心的直觉：一个模型训练完之后，它的参数（也就是那数以亿计的数字，每一个都对应着模型学到的某种规律）不只是储存了知识，还保留了它是"如何被塑造"的痕迹。
把这个过程比作一块陶土雕塑。基础模型（base model）就是刚从窑里出来的一块原始陶土，而经过微调的模型（fine-tuned model）就是工匠捏完之后的成品。成品的形状，是由工匠用了哪些工具、施加了什么力、按照什么顺序操作决定的——而这些操作，在某种程度上，正对应着用了什么数据、用了多少。
问题在于，当你拿到这两块陶土的时候，你只有最初的原材料和最终的成品，中间的制作过程你没有亲眼看到。大多数AI公司不会把模型训练过程中的中间状态（叫做"检查点"，checkpoint）也一并发布。
WARP的第一个关键洞察是：虽然真实的制作过程丢失了，但你可以自己"模拟"一条从原材料到成品的路径，并从这条模拟路径上读取信息。
具体来说，研究团队使用了一种叫做"模型合并"（model merging）的技术。模型合并的核心操作非常直观——就是把两个模型的参数按比例混合在一起。举个例子，如果你把原始模型和微调模型各取50%混合，你就得到了一个位于两者"正中间"的模型。研究团队把这种混合比例从接近0%一路变化到接近100%，每隔一段就取一个混合点，这样就生成了一系列"伪检查点"（pseudo-checkpoints）——它们扮演着真实训练中间状态的角色。
论文中测试了三种混合方式。最简单的是线性插值（LERP），就是按比例直接加权平均；球面插值（SLERP）则沿着一条弧线而非直线进行插值；TIES是一种更精细的合并方法，会处理不同模型参数之间可能存在的"冲突"。
这十五个（实验中取T=15）沿着模拟路径均匀分布的伪检查点，构成了WARP分析的基础材料。
三、用"共鸣"来测量数据的存在感
有了这条模拟轨迹，接下来的问题是：怎么从这条轨迹里提取数据配比的信息？
这里用到了一个叫做"Mimic Score"（模仿评分）的概念，最初由威斯康星大学的同一个研究团队在早期工作中提出。这个评分的直觉可以这样理解：
每一个伪检查点，都对应着模型演化轨迹上的某个位置。从这个位置出发，有一个明确的"方向"——指向最终的微调模型。现在，对于一批来自某个特定数据领域（比如"体育新闻"）的样本，我们计算它们对当前这个检查点的"影响方向"——也就是如果你用这些样本继续训练模型，模型的参数会朝哪个方向移动。
如果这个"影响方向"和"指向最终模型的方向"高度一致，说明什么？说明这批样本和真实训练数据的效果非常相似，这个领域的数据很可能在真实训练中占了较大比重。反过来，如果影响方向和最终方向大相径庭，这个领域的数据在原始训练中的存在感就比较弱。
这种"共鸣度"的测量，就是Mimic Score的本质。在数学上，它是将样本的负梯度向量（即该样本推动模型更新的方向，取负号是因为训练时要降低损失）投影到当前位置指向最终模型的方向向量上，得到一个标量分数。分数越高，共鸣越强。
研究团队在每一个伪检查点上，对来自每个领域的所有样本分别计算这个分数，然后在每个领域内做平均。这样一来，就得到了一个矩阵：行代表不同的数据领域（比如体育、科技、娱乐、政治），列代表不同的伪检查点位置（模拟的训练早期、中期、晚期……）。这个矩阵就是研究团队所说的"几何足迹"（geometric footprint）——它记录了每个领域在整个模拟训练轨迹上的存在痕迹，就像一首歌在音频频谱图上留下的波纹一样。
四、从"足迹"到"配比"：两种读取方式
有了这个几何足迹矩阵，最后一步是把它翻译成具体的数据配比估算。研究团队设计了两种不同的翻译方式，适用于不同的实际场景。
第一种叫做无监督读出（Unsupervised Readout），完全不需要额外的训练数据，算法简单粗暴：把每个领域在所有伪检查点上的平均Mimic Score算出来，然后用一个叫做softmax的函数把这些数字归一化成概率分布——分数越高的领域，估算的比例就越大。这里有一个温度参数τ控制分布的"锐利程度"，τ越小，分布越集中在高分领域，τ越大，分布越均匀。这种方法最大的优点是开箱即用，不需要任何额外准备；缺点是它把所有伪检查点的信息一视同仁地平均了，可能会丢失"模型在训练早期和晚期对不同领域的响应差异"这类有价值的细节。
第二种叫做监督投影（Supervised Projection），引入了一个小型的神经网络（具体是一个两层的MLP，多层感知机）作为"翻译器"。这个翻译器的输入是完整的几何足迹矩阵（K×T的矩阵，保留了所有时间步的信息），输出是预测的数据配比。训练这个翻译器的方式非常聪明：先从同一个数据来源里人工生成一批"已知配比"的合成训练集，每次随机采样一个配比，按这个配比组合数据，用基础模型在上面做一个短暂的微调，计算出对应的几何足迹，然后把"足迹→配比"作为一对监督信号喂给翻译器学习。由于每次微调只需要跑很短的时间（毕竟不需要训练出一个真正好用的模型，只是为了产生训练信号），合成数据对的生成效率很高。
有了这个翻译器，对于任意一个未知配比的微调模型，只要计算它的几何足迹，送进翻译器，就能得到预测配比。论文中使用了五折交叉验证：在40个已知配比的实验模型中，每次用32个训练翻译器，用剩余8个评估效果，循环五次取平均，确保评估的可靠性。
五、实验怎么做的，结果有多好
研究团队搭建了一个非常扎实的受控实验环境。他们选取了四个文本分类数据集：SNLI（自然语言推理，3个类别）、AGNews（新闻话题分类，4个类别）、Yelp（评论情感分析，5个类别）和Yahoo（话题分类，10个类别）。每个数据集里的不同"类别"被当作不同的"数据领域"来处理。
对于每个数据集，他们随机抽取40种不同的数据配比（比如"30%新闻、25%科技、20%体育、25%世界"），按照每种配比组合5000条训练样本，分别在BERT-BASE和GPT-2-Small两个模型上做微调，每个配比对应一个微调后的参考模型。这样，每个（数据集×模型架构）组合下都有40个已知真实配比的参考模型，为评估提供了可靠的地基。
探测数据集（用于计算Mimic Score的那批数据）从同一来源独立采样，共2500条样本，每个领域均等分配，与训练数据完全不重叠。伪检查点取T=15个均匀分布的插值步骤。
评估指标使用MAE（平均绝对误差），即预测配比与真实配比之间差的绝对值的平均，越低越好。作为参照，论文同时报告了MSE（均方误差）。
对比的基准方法有三个。随机猜测就是从概率单纯形上随机采样一个配比，代表完全没有信息时的表现；质心猜测是对所有领域都给出相同的均等配比（如三领域就各猜1/3），代表不看模型、只猜"最保险答案"时的表现；样本级成员推断则是通过比较每个样本在基础模型和微调模型之间的损失差异来估算成员资格，再聚合成领域配比，代表现有主流方法的水平。
结果非常清晰。在BERT上，WARP的最佳变体（TIES合并+监督MLP）达到了0.046的平均MAE，而最强基准（样本级成员推断）是0.063——误差降低了约27%。在GPT-2-Small上，最佳变体（LERP合并+监督MLP）达到0.104，而最强基准是0.141——误差降低了约26%。随机猜测和质心猜测的MAE分别在0.154到0.204之间，与WARP的差距更是悬殊。
一个出乎意料的发现值得特别注意：使用模型合并生成的伪检查点，效果居然不比使用真实训练检查点差，甚至在多个设置下略优。研究团队对此的解释是"平滑度差距"——真实的训练轨迹充满噪声：随机的小批量数据、学习率的预热阶段、课程学习的调度等等，都会让每个检查点的梯度方向来回抖动；而线性插值或TIES生成的伪检查点，从基础模型到微调模型是一条干净的单调路径，让几何足迹矩阵更加整洁，反而更容易被MLP翻译器学习。
六、换不同的"火候"也照样准——不同训练阶段的鲁棒性
现实世界中，没人能保证一个已发布的模型刚好训练到了最优状态。有的模型早早停止了训练（为了节省算力），有的刚好训练到收敛，还有的被过度训练（过了收敛点还在继续跑，在当前大模型的后训练实践中尤为常见）。如果WARP只在某一种训练状态下有效，实用价值就大打折扣。
为此，研究团队专门针对GPT-2-Small在AG News数据集上的三种不同训练阶段做了测试：9轮训练（模拟提前停止）、12轮训练（接近收敛）、18轮训练（明显过度训练）。使用TIES合并和两种读出方式（无监督softmax和监督MLP）。
三种情况下，WARP的表现都稳定地优于所有基准方法，监督MLP始终是最准确的。具体数字也很说明问题：在9轮短跑情况下，监督MLP的MAE是0.130；12轮收敛情况下是0.147；18轮过训练情况下是0.124。这三个数字都远低于质心猜测的0.179和随机猜测的0.239。基准方法（成员推断）的MAE则固定在0.200，对不同检查点的敏感度更低，但也更不准确。
这个稳定性结果说明，WARP读取的是模型权重中相对稳定的"结构性信息"，而不是容易随训练进度变化的浅层统计特征。
七、这项研究还有哪些局限，未来可以往哪里走
研究团队对WARP的局限性保持着清醒的认识，并在论文末尾坦诚地列出了几个有待解决的问题。
关于可解释性：监督MLP虽然效果好，但它本质上是个"黑盒"——你把足迹矩阵放进去，配比估算出来，但你不知道它是在依赖哪些时间步的信息、每个领域的信号是在轨迹的早期还是晚期更强。研究团队建议未来可以用更简单的线性模型替换MLP，直接读取系数作为"每个时间步的重要性权重"，配合稀疏性约束，有望让这个映射过程更透明。
关于无监督读出的改进：当前的无监督softmax把所有伪检查点平等对待，这显然不是最优策略——不同时间步对不同领域的区分度是不一样的。一个更优雅的替代方案是把这个过程建模成一种"图模型推断"，每个时间步贡献一张"嘈杂的投票"，用弱监督技术自动学习每个步骤的可靠度，从而在不需要任何标注数据的情况下，自适应地下调噪声步骤的权重。
关于扩展到大规模语言模型：WARP目前在BERT和GPT-2这两个"小模型"上得到了验证，离真正的前沿大模型（GPT-4、Llama、Qwen等）还有相当距离。现代大模型的训练往往经历多个不同目标的阶段——预训练、继续训练、监督微调、偏好优化——这些阶段之间的目标差异很大，简单的线性插值是否还能捕捉到有用的几何结构，是一个开放性问题。此外，当数据领域的数量从十个扩展到几十个甚至上百个时，足迹矩阵的复杂度会急剧增加，如何高效提取和表示这些信息也需要新的方法。
归根结底，WARP证明了一件之前很多人没想到的事：一个模型的参数，不只是它"知道什么"的容器，也是它"从哪里学来的"的记录本。你不需要亲眼看着它被训练，只需要仔细测量它现在的"形状"，再对比它出发时的"形状"，就能从中读出相当精确的训练配比信息。这种从结果倒推过程的思路，在AI透明度和可解释性研究中开辟了一个新的方向。
当大量强大的AI模型被发布出来、数据食谱却依然密不透露时，这种"通过品尝味道反推食材"的能力，或许会成为研究者和监管者手中一件越来越重要的工具。有兴趣深入了解技术细节的读者，可以通过arXiv编号2607.01686查阅完整论文。
Q&A
Q1：WARP方法需要访问AI模型的训练数据吗？
A：不需要。WARP只需要两样东西：发布出来的基础模型权重和微调后的模型权重。此外还需要一小批来自相关领域的"探测样本"（约2500条），用于计算梯度对齐分数，但这些样本和真实训练数据完全无关，只需覆盖感兴趣的领域即可。
Q2：Mimic Score是什么，为什么能反映数据配比？
A：Mimic Score衡量的是：一批样本的"训练影响方向"与"模型实际演化方向"之间的一致程度。如果某个领域的样本能把模型推向与真实训练相同的方向，说明该领域的数据在原始训练中很可能占了较大比重。分数越高，该领域在训练数据中的存在感越强，由此可以估算各领域的配比。
Q3：WARP的估算误差有多大，实际可用吗？
A：在受控实验中，WARP在BERT模型上的平均绝对误差最低达到0.046，在GPT-2-Small上最低达到0.104，均显著优于传统成员推断方法。以10个领域为例，0.104的误差意味着每个领域平均估算偏差约10个百分点，可以提供相当可靠的粗粒度配比信息，在数据审计和模型分析场景中具有实用价值。