Gradient Accumulation
Verificato
Aggiornato il 10/09/2026
Significato di «Gradient Accumulation»
Tecnica di addestramento che accumula i gradienti di più mini-batch consecutivi senza aggiornare i pesi, eseguendo poi un unico passo di ottimizzazione dopo un numero prefissato di batch. Simula un batch effettivo più grande usando poca memoria GPU, utile per modelli o immagini di grandi dimensioni.
Fonti: Documentazione PyTorch (autograd); Hugging Face Transformers training docs · Verificato il 2026-09-10
Domande frequenti su Gradient Accumulation
Cosa significa «Gradient Accumulation»?
Tecnica di addestramento che accumula i gradienti di più mini-batch consecutivi senza aggiornare i pesi, eseguendo poi un unico passo di ottimizzazione dopo un numero prefissato di batch. Simula un batch effettivo più grande usando poca memoria GPU, utile per modelli o immagini di grandi dimensioni.
A quale glossario appartiene «Gradient Accumulation»?
«Gradient Accumulation» fa parte del glossario Deep Learning, nella categoria Intelligenza Artificiale di Glossario Italiano.