本文分类:news发布日期:2026/3/7 20:25:48
打赏

相关文章

为何 LoRA 初始化 B=0 而 A 为高斯分布初始化?

回答:首先肯定不能A和B全部都为0的,全部都为0的话,梯度是没有的;所以,需要一部分为0初始化,一部分正常初始化,这样的目的是可以保证模型初始化的时候和原模型一样的输出;如果A不为0且…

手机版浏览

扫一扫体验

微信公众账号

微信扫一扫加关注

返回
顶部