Warmup del learning rate
Verificato
Aggiornato il 10/09/2026
Significato di «Warmup del learning rate»
Tecnica di scheduling in cui il tasso di apprendimento parte da un valore molto basso e cresce gradualmente nelle prime iterazioni, prima di seguire il decadimento previsto. Evita aggiornamenti destabilizzanti quando i pesi sono ancora casuali e i gradienti rumorosi; e prassi comune nei Transformer.
Fonti: Vaswani et al. 2017, Attention Is All You Need; Goyal et al. 2017, Accurate Large Minibatch SGD · Verificato il 2026-09-10
Domande frequenti su Warmup del learning rate
Cosa significa «Warmup del learning rate»?
Tecnica di scheduling in cui il tasso di apprendimento parte da un valore molto basso e cresce gradualmente nelle prime iterazioni, prima di seguire il decadimento previsto. Evita aggiornamenti destabilizzanti quando i pesi sono ancora casuali e i gradienti rumorosi; e prassi comune nei Transformer.
A quale glossario appartiene «Warmup del learning rate»?
«Warmup del learning rate» fa parte del glossario NLP e LLM, nella categoria Intelligenza Artificiale di Glossario Italiano.