要点:

1. UNet的中山作long skip connection上的scaling操作可以稳定模型训练。

2. Scaling系数的大学等提设置影响模型性能，可以通过学习或固定的出Sg操方式实现。

3. 对扩散模型任务在训练过程中特征和参数的扩散可视化有助于理解模型稳定性。

CSS站长资源（ChinaZ.com）3月1日 消息:扩散模型中，模型模型UNet的稳定long skip connection上的scaling操作被证实能够稳定模型训练。在一些流行的训练扩散模型中，如Imagen和Score-based generative model中，中山作已经观察到设置scaling系数可以有效加速模型的大学等提训练过程。

但是出Sg操，过去这种操作缺乏具体的扩散分析，只是模型模型经验性地认为能够起到加速作用。现有研究发现，稳定合理设置scaling系数可以缓解特征不稳定，训练进而提高模型对输入扰动的中山作鲁棒性。

项目地址:https://github.com/sail-sg/ScaleLong

这项研究也揭示了scaling系数对梯度量级的控制以及对输入扰动的稳定性的影响。通过对扩散模型任务中特征和参数的可视化，研究人员发现了模型训练过程中的不稳定现象，这一发现促使他们在long skip connection上进行Scaling来进行统一地缓解。

通过引入可学习的模块，如Learnable Scaling （LS） Method，可以自适应地调整scaling系数，进一步稳定模型的训练。

此外，研究人员提出了一种无需额外参数的Constant Scaling （CS） Method，简化了模型实现过程。虽然LS在稳定训练上表现更好，但CS仍然是一种值得尝试的策略。这些方法的实现非常简洁，只需几行代码即可实现。最近的一些后续工作也进一步验证了skip connection上scaling的重要性，为这一领域的发展提供了新的思路和方向。

(责任编辑：自媒体)