GELU
Verificato
Aggiornato il 10/09/2026
Significato di «GELU»
Funzione di attivazione GELU (Gaussian Error Linear Unit). Non linearità liscia proposta da Hendrycks e Gimpel (2016) e diffusa nei Transformer come BERT e GPT: moltiplica ogni input per la probabilità data dalla CDF gaussiana, pesandolo in base al valore anziché limitarsi al segno come fa la ReLU.
Fonti: Hendrycks, Gimpel, Gaussian Error Linear Units (2016, arXiv:1606.08415); PyTorch docs, torch.nn.GELU · Verificato il 2026-09-10
Domande frequenti su GELU
Cosa significa «GELU»?
Funzione di attivazione GELU (Gaussian Error Linear Unit). Non linearità liscia proposta da Hendrycks e Gimpel (2016) e diffusa nei Transformer come BERT e GPT: moltiplica ogni input per la probabilità data dalla CDF gaussiana, pesandolo in base al valore anziché limitarsi al segno come fa la ReLU.
A quale glossario appartiene «GELU»?
«GELU» fa parte del glossario Deep Learning, nella categoria Intelligenza Artificiale di Glossario Italiano.