Self-attention
Verificato
Aggiornato il 10/09/2026
Significato di «Self-attention»
Meccanismo, cuore dei Transformer (Vaswani et al., 2017), in cui ogni token calcola pesi di attenzione verso tutti gli altri token della sequenza tramite vettori query, key e value. Così ogni rappresentazione integra il contesto rilevante, catturando in parallelo dipendenze a lungo raggio senza ricorrenza.
Fonti: Vaswani et al. 2017 'Attention Is All You Need' (arXiv:1706.03762); Wikipedia EN 'Attention (ML)' · Verificato il 2026-09-10
Domande frequenti su Self-attention
Cosa significa «Self-attention»?
Meccanismo, cuore dei Transformer (Vaswani et al., 2017), in cui ogni token calcola pesi di attenzione verso tutti gli altri token della sequenza tramite vettori query, key e value. Così ogni rappresentazione integra il contesto rilevante, catturando in parallelo dipendenze a lungo raggio senza ricorrenza.
A quale glossario appartiene «Self-attention»?
«Self-attention» fa parte del glossario NLP e LLM, nella categoria Intelligenza Artificiale di Glossario Italiano.