Weight Decay
Verificato
Aggiornato il 10/09/2026
Significato di «Weight Decay»
Tecnica di regolarizzazione che aggiunge alla funzione di perdita una penalità proporzionale alla norma dei pesi, tipicamente L2, spingendoli verso valori piccoli a ogni aggiornamento. Riduce l'overfitting limitando la complessità del modello; nella discesa del gradiente stocastica classica equivale alla regolarizzazione L2 sui parametri.
Fonti: Krogh & Hertz, A Simple Weight Decay Can Improve Generalization (1991); Loshchilov & Hutter, Decoupled Weight Decay Regularization (AdamW, 2019) · Verificato il 2026-09-10
Domande frequenti su Weight Decay
Cosa significa «Weight Decay»?
Tecnica di regolarizzazione che aggiunge alla funzione di perdita una penalità proporzionale alla norma dei pesi, tipicamente L2, spingendoli verso valori piccoli a ogni aggiornamento. Riduce l'overfitting limitando la complessità del modello; nella discesa del gradiente stocastica classica equivale alla regolarizzazione L2 sui parametri.
A quale glossario appartiene «Weight Decay»?
«Weight Decay» fa parte del glossario Machine Learning, nella categoria Intelligenza Artificiale di Glossario Italiano.