今天来学lora的一种改进版——adalora，这里的思想和之前说的adagrad比较类似。 论文中的公式比较复杂，感觉直接看源代码更容易理解，使用的话直接调用peft库就可以。