前OpenAI研究员Diogo Almeida发博客指出，OpenAI 2020年提出Scaling Law的原始论文因代码bug，错误地建议“优先堆参数”。
这个bug可能误导了全球AI行业数年，导致大量模型“体量过大、训练不足”，浪费了海量算力。DeepMind研究员Sander Dieleman也公开认可了这一观点。
马斯克“每月训练一个新模型”的计划，与Scaling Law的bug揭示的教训不谋而合，“好数据+快迭代”远比“单纯的大参数”更有效，完美呼应了那篇博文对“参数至上”路线的质疑。
这给中国厂商一个新思路，高质量的数据与适当的参数。
