Gradient accumulation
Verificato
Aggiornato il 14/08/2026
Significato di «Gradient accumulation»
Gradient accumulation: tecnica di addestramento che somma i gradienti calcolati su più mini-batch consecutivi prima di aggiornare i pesi, simulando un batch di dimensione maggiore senza superare i limiti di memoria della GPU.
Fonti: Hugging Face, Transformers Trainer e Performance docs (gradient accumulation); PyTorch, documentazione ufficiale. Verifica web 2026-08-03. · Verificato il 2026-08-03
Domande frequenti su Gradient accumulation
Cosa significa «Gradient accumulation»?
Gradient accumulation: tecnica di addestramento che somma i gradienti calcolati su più mini-batch consecutivi prima di aggiornare i pesi, simulando un batch di dimensione maggiore senza superare i limiti di memoria della GPU.
A quale glossario appartiene «Gradient accumulation»?
«Gradient accumulation» fa parte del glossario NLP e LLM, nella categoria Intelligenza Artificiale di Glossario Italiano.