Causal masking
Verificato
Aggiornato il 10/09/2026
Significato di «Causal masking»
Vincolo applicato al meccanismo di attenzione nei modelli generativi (decoder Transformer) che impedisce a ogni token di considerare quelli successivi, mascherando le posizioni future prima della softmax. Garantisce l'autoregressività: la previsione di un token dipende solo dai token precedenti, coerentemente con la generazione da sinistra a destra.
Fonti: Vaswani et al., Attention Is All You Need (2017); Hugging Face, docs on causal/attention masking · Verificato il 2026-09-10
Domande frequenti su Causal masking
Cosa significa «Causal masking»?
Vincolo applicato al meccanismo di attenzione nei modelli generativi (decoder Transformer) che impedisce a ogni token di considerare quelli successivi, mascherando le posizioni future prima della softmax. Garantisce l'autoregressività: la previsione di un token dipende solo dai token precedenti, coerentemente con la generazione da sinistra a destra.
A quale glossario appartiene «Causal masking»?
«Causal masking» fa parte del glossario NLP e LLM, nella categoria Intelligenza Artificiale di Glossario Italiano.