Glossario Deep Learning

Checkpoint delle attivazioni. Tecnica che salva solo alcune attivazioni e ricalcola le altre per risparmiare memoria.

Ottimizzatore AdamW. Variante di Adam che separa correttamente il weight decay dall'aggiornamento del gradiente.

Perdita avversaria. Termine che misura quanto bene il generatore inganna il discriminatore in una GAN.

CNN pionieristica. Rete convoluzionale profonda che ha vinto ImageNet 2012 rilanciando il deep learning moderno.

Pesi di attenzione. Coefficienti che indicano quanto ogni elemento dell'input contribuisce a una data uscita.

Modello autoregressivo. Modello che genera una sequenza un elemento alla volta condizionandosi sui precedenti.

Pooling medio. Operazione che riduce la dimensione spaziale calcolando la media dei valori in ogni regione.

Retropropagazione nel tempo. Algoritmo che addestra le RNN srotolandole lungo la sequenza per calcolare i gradienti.

Inferenza in batch. Elaborazione di più input contemporaneamente per sfruttare meglio l'hardware durante la predizione.

Ricerca a fascio. Strategia di decodifica che mantiene le sequenze candidate più probabili a ogni passo di generazione.

Campo recettivo. Regione dell'input che influenza il valore di una singola unità in un layer profondo.

Rete a capsule. Architettura che rappresenta entità tramite gruppi di neuroni codificando proprietà come la posa.

Oblio catastrofico. Fenomeno per cui una rete perde le competenze precedenti apprendendo un nuovo compito.

Mascheramento causale. Tecnica che impedisce a ogni posizione di guardare ai token futuri durante la generazione.

Stato di cella. Memoria a lungo termine di una LSTM che scorre attraverso i passi temporali con poche modifiche.

Perdita di centro. Funzione che avvicina ogni rappresentazione al centro appreso della propria classe.

Guida senza classificatore. Tecnica che orienta la generazione di un modello di diffusione verso un condizionamento desiderato.

GAN condizionale. Variante che genera dati condizionati da un'etichetta o da informazioni aggiuntive.

Vettore di contesto. Riassunto pesato dell'input prodotto dall'attenzione e usato per generare l'output.

Autoencoder contrattivo. Variante che penalizza la sensibilità della codifica alle piccole variazioni dell'input.

Apprendimento contrastivo. Metodo auto-supervisionato che apprende avvicinando viste simili e separando quelle diverse.

Perdita contrastiva. Funzione che avvicina rappresentazioni di esempi simili e allontana quelle di esempi diversi.

Ricottura a coseno. Schedulazione che riduce il learning rate seguendo una curva a coseno fino a un minimo.

Attenzione incrociata. Meccanismo in cui le query provengono da una sequenza e chiavi e valori da un'altra.

Ritaglio e incollaggio. Tecnica che sostituisce una regione di un'immagine con quella di un'altra mescolando le etichette.

GAN ciclica. Modello che traduce immagini tra due domini senza coppie di esempi allineati.

GAN convoluzionale profonda. Variante di GAN che usa layer convoluzionali per generare immagini realistiche.

Modello di diffusione probabilistica. Modello generativo che impara a invertire un processo graduale di aggiunta di rumore.

Rete a credenza profonda. Modello generativo formato da più strati di unità latenti addestrati uno alla volta.

Convoluzione deformabile. Convoluzione che apprende offset spaziali per adattare la forma del campionamento all'oggetto.

Autoencoder che rimuove rumore. Modello addestrato a ricostruire dati puliti partendo da input corrotti.

Rete densamente connessa. Architettura in cui ogni layer riceve in input le feature map di tutti i layer precedenti.

Convoluzione separabile in profondità. Convoluzione scomposta in fasi spaziale e per canale per ridurre il calcolo.

Perdita di Dice. Funzione usata in segmentazione che ottimizza la sovrapposizione tra predizione e maschera reale.

Convoluzione dilatata. Convoluzione con kernel spaziato che amplia il campo recettivo mantenendo la risoluzione.

Dilatazione del kernel. Spaziatura introdotta tra gli elementi del kernel per ampliare il campo recettivo senza più parametri.

Discriminatore di una GAN. Rete che impara a distinguere i dati reali da quelli generati artificialmente.

Comportamento per cui l'errore di test, all'aumentare della capacità del modello, prima scende, poi risale intorno al punto di interpolazione e infine scende di nuovo nel regime sovra-parametrizzato. Contraddice la classica curva a U del compromesso bias-varianza.

Eliminazione di percorso. Regolarizzazione che disattiva casualmente rami residui durante l'addestramento.

Instradamento dinamico. Algoritmo che, nelle capsule network, decide quali capsule di basso livello attivano quelle superiori.

Rete scalata in modo bilanciato. CNN che scala in modo uniforme profondità, larghezza e risoluzione tramite un coefficiente unico.

Unità lineare esponenziale. Funzione di attivazione che usa una curva esponenziale per i valori negativi accelerando la convergenza.

Layer di embedding. Strato che trasforma indici discreti in vettori densi appresi durante il training.

Spazio degli embedding. Spazio vettoriale in cui gli elementi sono rappresentati così che la vicinanza rifletta la similarità.

Architettura encoder-decoder. Struttura in cui un encoder comprime l'input e un decoder genera l'output a partire da esso.

Modello basato sull'energia. Modello che assegna a ogni configurazione un'energia e preferisce quelle a energia minore.

Media mobile esponenziale dei pesi. Tecnica che mantiene una media smorzata dei parametri per stabilizzare l'inferenza.

Mappa delle caratteristiche. Output di un layer convoluzionale che evidenzia la presenza di determinate caratteristiche.

Corrispondenza di caratteristiche. Tecnica che addestra il generatore a riprodurre statistiche intermedie dei dati reali.

Rete feedforward. Componente del Transformer composta da due trasformazioni lineari con una non linearità intermedia.

Messa a punto. Fase in cui un modello pre-addestrato viene riaddestrato su un compito specifico con nuovi dati.

Attenzione efficiente in memoria. Implementazione dell'attenzione ottimizzata per ridurre accessi alla memoria e accelerare il calcolo.

Perdita focale. Funzione che riduce il peso degli esempi facili per concentrare il training su quelli difficili.

Diffusione in avanti. Processo che aggiunge progressivamente rumore ai dati fino a renderli puro rumore.

Meccanismo a gate. Componente che regola con valori tra zero e uno quanta informazione far passare nella rete.

Funzione di attivazione GELU. Non linearità liscia usata nei Transformer che pesa gli input in modo probabilistico.

Generatore di una GAN. Rete che produce dati sintetici cercando di ingannare il discriminatore.

Pooling medio globale. Operazione che riduce ogni feature map a un singolo valore mediando tutti i suoi elementi.

Unità lineare con gate. Componente che modula il flusso di informazione moltiplicando un segnale per un gate appreso.

Rete Inception originale. Architettura CNN profonda costruita impilando moduli Inception per ridurre i parametri.

Accumulo del gradiente. Tecnica che somma i gradienti di più mini-batch per simulare batch più grandi con poca memoria.

Checkpoint del gradiente. Tecnica che ricalcola alcune attivazioni in backward per risparmiare memoria durante il training.

Taglio del gradiente. Tecnica che limita la norma del gradiente per evitare aggiornamenti instabili durante il training.

Penalità sul gradiente. Termine che vincola la norma del gradiente del discriminatore per stabilizzare le GAN.

Rete di attenzione su grafi. GNN che pesa i contributi dei nodi vicini tramite un meccanismo di attenzione.

Convoluzione su grafo. Operazione che aggiorna ogni nodo combinando le caratteristiche dei suoi vicini.

Rete neurale su grafi. Modello che apprende rappresentazioni propagando informazioni tra i nodi connessi di un grafo.

Decodifica avida. Strategia che sceglie a ogni passo il token più probabile senza considerare alternative future.

Fenomeno in cui una rete neurale, dopo aver a lungo memorizzato i dati di training con scarsa generalizzazione, compie improvvisamente una transizione verso una soluzione che generalizza bene molto oltre il punto di overfitting. Ha stimolato lo studio delle dinamiche di apprendimento e della regolarizzazione.

Normalizzazione a gruppi. Tecnica che normalizza le attivazioni dividendo i canali in gruppi, indipendente dalla dimensione del batch.

Unità ricorrente con gate. Variante semplificata della LSTM con meno gate ma prestazioni spesso comparabili.

Stato nascosto. Rappresentazione interna che una rete mantiene e aggiorna mentre elabora una sequenza.

Rete autostradale. Architettura profonda con gate che regolano quanta informazione attraversa o salta ogni layer.

Modulo Inception. Blocco che applica convoluzioni di dimensioni diverse in parallelo e ne concatena gli output.

Normalizzazione per istanza. Tecnica che normalizza ogni canale di ogni esempio separatamente, utile nel trasferimento di stile.

Nucleo convoluzionale. Piccola matrice di pesi che scorre sull'input per estrarre caratteristiche locali.

Perdita di divergenza KL. Termine che misura quanto la distribuzione latente si discosta da quella attesa nei VAE.

Perdita di distillazione. Termine che addestra un modello piccolo a imitare le uscite morbide di uno più grande.

Cache di chiavi e valori. Memoria che conserva chiavi e valori già calcolati per velocizzare la generazione autoregressiva.

Levigatura delle etichette. Tecnica che ammorbidisce i target one-hot per ridurre l'eccessiva sicurezza del modello.

Ottimizzatore LAMB. Metodo pensato per il training con batch molto grandi adattando il learning rate per layer.

Diffusione nello spazio latente. Modello che esegue la diffusione su rappresentazioni compresse anziché sui pixel grezzi.

Normalizzazione per layer. Tecnica che normalizza le attivazioni di un singolo esempio lungo le feature.

ReLU con perdita. Variante di ReLU che lascia passare una piccola pendenza per i valori negativi evitando neuroni morti.

Riscaldamento del learning rate. Fase iniziale in cui il tasso di apprendimento cresce gradualmente per stabilizzare il training.

CNN storica. Prima architettura convoluzionale di successo, progettata per riconoscere cifre scritte a mano.

Logit. Valori grezzi prodotti dall'ultimo layer prima della trasformazione in probabilità.

Ottimizzatore Lookahead. Metodo che combina pesi veloci e lenti per stabilizzare la traiettoria di ottimizzazione.

Ipotesi secondo cui una rete densa inizializzata casualmente contiene una sottorete sparsa che, addestrata isolatamente dalla stessa inizializzazione, raggiunge prestazioni paragonabili alla rete completa. Fornisce una base teorica al pruning e alla ricerca di architetture efficienti.

Memoria a lungo termine. Variante di RNN con gate che permettono di ricordare informazioni su lunghe sequenze.

Autoencoder mascherato. Modello che ricostruisce porzioni nascoste dell'input per apprendere rappresentazioni robuste.

Pooling massimo. Operazione che riduce la dimensione spaziale selezionando il valore massimo in ogni regione.

Unità maxout. Layer che restituisce il massimo tra più trasformazioni lineari, capace di approssimare varie attivazioni.

Meccanismo di attenzione. Tecnica che pesa diverse parti dell'input in base alla loro rilevanza per il compito.

Passaggio di messaggi. Schema in cui i nodi di un grafo si scambiano e aggregano informazioni per aggiornare i propri stati.

Funzione di attivazione Mish. Non linearità liscia e non monotona che può migliorare accuratezza e stabilità del training.

Addestramento a precisione mista. Tecnica che usa numeri a 16 bit per velocizzare il training riducendo la memoria.

Mescolamento di esempi. Tecnica che crea esempi di training combinando linearmente coppie di input e relative etichette.

Rete leggera per mobile. CNN efficiente che usa convoluzioni separabili in profondità per ridurre calcolo e parametri.

Collasso dei modi. Problema in cui il generatore di una GAN produce output poco vari ignorando parte della distribuzione.

Attenzione a teste multiple. Più meccanismi di attenzione paralleli che catturano relazioni diverse nello stesso input.

Ottimizzatore Nadam. Variante di Adam che incorpora il momento di Nesterov per aggiornamenti più reattivi.

Equazione differenziale neurale. Modello che definisce la trasformazione degli stati come soluzione di un'equazione continua.

Relazioni empiriche che descrivono come la perdita di un modello diminuisca in modo prevedibile, spesso secondo leggi di potenza, al crescere di parametri, dati e calcolo. Guidano la pianificazione degli addestramenti indicando come allocare al meglio le risorse.

Embedding di nodo. Rappresentazione vettoriale di un nodo che ne cattura ruolo e contesto nel grafo.

Schedulazione del rumore. Funzione che definisce quanto rumore viene aggiunto a ogni passo del processo di diffusione.

Flusso normalizzante. Modello generativo che trasforma una distribuzione semplice in una complessa con funzioni invertibili.

Politica a un ciclo. Strategia che fa crescere e poi calare il learning rate in un unico ciclo per training rapido.

Riempimento dei bordi. Aggiunta di valori ai margini dell'input per controllare la dimensione dell'output convoluzionale.

ReLU parametrica. Variante di ReLU in cui la pendenza per i valori negativi viene appresa durante il training.

Perdita percettiva. Funzione di costo che confronta caratteristiche estratte da una rete invece dei pixel grezzi.

Convoluzione puntuale. Convoluzione 1x1 che combina i canali senza considerare la dimensione spaziale.

Codifica posizionale. Informazione aggiunta agli embedding per indicare la posizione di ogni elemento nella sequenza.

Query chiave valore. Tre proiezioni dell'input usate per calcolare i pesi di attenzione nei Transformer.

Rete neurale ricorrente. Modello che elabora sequenze mantenendo uno stato interno aggiornato a ogni passo temporale.

Trucco di riparametrizzazione. Tecnica che rende derivabile il campionamento nei VAE separando rumore e parametri.

Blocco residuale. Modulo che somma l'input all'output di alcuni layer, facilitando il flusso del gradiente.

Rete residuale profonda. Architettura CNN che usa connessioni residue per addestrare reti molto profonde senza degradare le prestazioni.

Macchina di Boltzmann ristretta. Rete generativa a due strati che apprende una distribuzione di probabilità sui dati.

Diffusione inversa. Processo appreso che rimuove gradualmente il rumore per generare un dato realistico.

RNN bidirezionale. Rete ricorrente che elabora la sequenza in entrambe le direzioni per usare contesto passato e futuro.

Codifica posizionale rotatoria. Tecnica che codifica la posizione ruotando gli embedding nello spazio dei vettori.

Attenzione a prodotto scalato. Calcolo dell'attenzione tramite prodotti scalari tra query e chiavi, normalizzati per stabilità.

Auto-attenzione. Meccanismo in cui ogni elemento di una sequenza valuta la propria relazione con tutti gli altri elementi.

Pre-addestramento auto-supervisionato. Fase in cui il modello apprende da dati non etichettati creando compiti pretesto.

Modello da sequenza a sequenza. Architettura che trasforma una sequenza di input in una sequenza di output di lunghezza variabile.

Riempimento di sequenza. Aggiunta di token fittizi per uniformare la lunghezza delle sequenze in un batch.

Metodo di ottimizzazione che cerca minimi della funzione di perdita non solo bassi ma anche piatti, minimizzando la perdita in un intorno dei pesi anziché nel singolo punto. I minimi piatti tendono a correlarsi con una migliore generalizzazione del modello.

Rete siamese. Architettura con due rami a pesi condivisi che confronta coppie di input per misurarne la similarità.

Connessione di salto. Collegamento che bypassa uno o più layer portando l'input direttamente più avanti nella rete.

Etichette morbide. Probabilità continue prodotte da un modello insegnante usate per addestrare un modello più piccolo.

Attenzione sparsa. Variante che calcola l'attenzione solo su un sottoinsieme di posizioni per ridurre il costo.

Autoencoder sparso. Variante che vincola poche unità latenti a essere attive per apprendere rappresentazioni compatte.

Normalizzazione spettrale. Tecnica che limita il valore singolare massimo dei pesi per stabilizzare l'addestramento delle GAN.

Modulo squeeze-and-excitation. Componente che ripesa i canali di una feature map in base alla loro importanza globale.

Rete compatta. CNN che raggiunge accuratezza simile a reti più grandi con molti meno parametri grazie ai moduli fire.

Profondità stocastica. Tecnica che salta casualmente interi blocchi durante il training per regolarizzare reti profonde.

Passo della convoluzione. Quantità di spostamento del kernel a ogni applicazione, che controlla la riduzione spaziale.

GAN basata sullo stile. Architettura che controlla separatamente i tratti dell'immagine generata tramite uno spazio di stile.

Funzione di attivazione Swish. Non linearità liscia e auto-gated che spesso migliora le prestazioni rispetto a ReLU.

Forzatura dell'insegnante. Tecnica di training che alimenta al decoder l'output corretto invece della sua previsione precedente.

Scalatura della temperatura. Parametro che ammorbidisce o accentua le probabilità in uscita da un modello.

Convoluzione trasposta. Operazione che aumenta la dimensione spaziale, usata per ricostruire o generare immagini.

Perdita a tripletta. Funzione che ordina ancora, esempio positivo e negativo per apprendere embedding discriminativi.

Rete a tripletta. Architettura che elabora ancora, positivo e negativo per apprendere uno spazio di embedding.

Rete a U per segmentazione. Architettura encoder-decoder con skip connection usata per segmentare immagini pixel per pixel.

Spina dorsale U-Net per diffusione. Rete a U usata nei modelli di diffusione per stimare il rumore da rimuovere a ogni passo.

Rete convoluzionale profonda. Architettura caratterizzata da molti layer convoluzionali piccoli 3x3 impilati in sequenza.

GAN di Wasserstein. Variante che usa la distanza di Wasserstein per stabilizzare l'addestramento.

Media dei pesi. Tecnica che combina i parametri di diverse fasi del training per ottenere un modello più robusto.

Normalizzazione dei pesi. Tecnica che riparametrizza i pesi separandone direzione e modulo per accelerare il training.

Quantizzazione dei pesi. Riduzione della precisione numerica dei pesi per diminuire memoria e accelerare l'inferenza.

Condivisione dei pesi. Riuso degli stessi parametri in più parti della rete per ridurre il numero di pesi.

Condivisione dei pesi di embedding. Tecnica che usa la stessa matrice per embedding di input e proiezione di output.

Rete a convoluzioni estreme. Architettura che sostituisce i moduli Inception con convoluzioni separabili in profondità.