关于蒸馏问题,我觉得有个网友说的好:
原教旨主义:hinton蒸馏,把别人训练好的logits拿过来用合成主义:用别人已经训练好的模型合成高质量语料主观主义:感觉风格像蒸馏(rlhf全责)超时空主义:就没有可能蒸馏还没放出的模型吗?请输入文本:我不懂技术我还不懂中国人吗?===========================尤其是最后一句
关于蒸馏问题,我觉得有个网友说的好:
原教旨主义:hinton蒸馏,把别人训练好的logits拿过来用合成主义:用别人已经训练好的模型合成高质量语料主观主义:感觉风格像蒸馏(rlhf全责)超时空主义:就没有可能蒸馏还没放出的模型吗?请输入文本:我不懂技术我还不懂中国人吗?===========================尤其是最后一句