Attention weights
Verificato
Aggiornato il 10/09/2026
Significato di «Attention weights»
Coefficienti calcolati dal meccanismo di attenzione che quantificano quanto ogni token influenza la rappresentazione di un altro. Derivano dal prodotto scalare tra query e key, riscalato e normalizzato con softmax così da sommare a uno, e pesano i vettori value. Sono il cuore dei Transformer.
Fonti: Vaswani et al. 2017, Attention Is All You Need; Wikipedia EN, Attention (machine learning) · Verificato il 2026-09-10
Domande frequenti su Attention weights
Cosa significa «Attention weights»?
Coefficienti calcolati dal meccanismo di attenzione che quantificano quanto ogni token influenza la rappresentazione di un altro. Derivano dal prodotto scalare tra query e key, riscalato e normalizzato con softmax così da sommare a uno, e pesano i vettori value. Sono il cuore dei Transformer.
A quale glossario appartiene «Attention weights»?
«Attention weights» fa parte del glossario NLP e LLM, nella categoria Intelligenza Artificiale di Glossario Italiano.