Grouped-query attention
Verificato
Aggiornato il 14/08/2026
Significato di «Grouped-query attention»
Grouped-query attention (GQA): variante dell'attenzione multi-testa in cui gruppi di teste di query condividono le stesse teste di chiave e valore; riduce la dimensione della cache KV e la banda di memoria in inferenza, con qualità vicina all'attenzione multi-testa completa.
Fonti: Ainslie et al. 2023, GQA: Training Generalized Multi-Query Transformer Models (arXiv:2305.13245); Hugging Face, attention/Llama docs. Verifica web 2026-08-03. · Verificato il 2026-08-03
Domande frequenti su Grouped-query attention
Cosa significa «Grouped-query attention»?
Grouped-query attention (GQA): variante dell'attenzione multi-testa in cui gruppi di teste di query condividono le stesse teste di chiave e valore; riduce la dimensione della cache KV e la banda di memoria in inferenza, con qualità vicina all'attenzione multi-testa completa.
A quale glossario appartiene «Grouped-query attention»?
«Grouped-query attention» fa parte del glossario NLP e LLM, nella categoria Intelligenza Artificiale di Glossario Italiano.