Learning Rate Warmup
Verificato
Aggiornato il 14/08/2026
Significato di «Learning Rate Warmup»
Fase iniziale del training in cui il learning rate parte da un valore basso e cresce gradualmente fino a quello nominale nelle prime iterazioni, riducendo l'instabilità dovuta a gradienti grandi e imprecisi tipica dell'addestramento dei Transformer.
Fonti: Crescita graduale del learning rate a inizio training. Fonti: Vaswani et al., 'Attention Is All You Need' (2017); Goyal et al., 'Accurate, Large Minibatch SGD' (arXiv:1706.02677, 2017). Verifica web 2026-08-03. · Verificato il 2026-08-03
Domande frequenti su Learning Rate Warmup
Cosa significa «Learning Rate Warmup»?
Fase iniziale del training in cui il learning rate parte da un valore basso e cresce gradualmente fino a quello nominale nelle prime iterazioni, riducendo l'instabilità dovuta a gradienti grandi e imprecisi tipica dell'addestramento dei Transformer.
A quale glossario appartiene «Learning Rate Warmup»?
«Learning Rate Warmup» fa parte del glossario Deep Learning, nella categoria Intelligenza Artificiale di Glossario Italiano.