Glossario Deep Learning

Tecnica di risparmio memoria che nel forward conserva solo un sottoinsieme delle attivazioni e ricalcola le altre durante il backward invece di memorizzarle. Scambia calcolo aggiuntivo con minor uso di memoria, permettendo reti più profonde o batch più grandi.

Variante dell'ottimizzatore Adam che disaccoppia il weight decay dall'aggiornamento basato sul gradiente, applicando la penalizzazione dei pesi separatamente anziché sommandola al gradiente come nella regolarizzazione L2. Migliora regolarizzazione e generalizzazione.

In una GAN, termine di perdita che misura quanto il generatore riesce a ingannare il discriminatore: il generatore la minimizza e il discriminatore la massimizza, in un gioco che spinge le uscite generate verso la distribuzione dei dati reali.

Rete neurale convoluzionale profonda di Krizhevsky, Sutskever e Hinton che vinse la ImageNet ILSVRC 2012 abbattendo l'errore di classificazione. Diffuse su larga scala l'uso di ReLU, dropout e addestramento su GPU, rilanciando il deep learning moderno.

Coefficienti, di norma normalizzati con una softmax così da sommare a uno, che indicano quanto ciascun elemento dell'input contribuisce a una data uscita. Definiscono la media pesata dei valori nel meccanismo di attenzione, evidenziando le parti più rilevanti.

Modello che genera una sequenza un elemento alla volta, stimando la probabilità di ciascun elemento condizionatamente a quelli già prodotti. La probabilità congiunta è fattorizzata come prodotto di condizionali; è alla base di modelli come GPT e PixelRNN.

Operazione di sottocampionamento che riduce la dimensione spaziale di una feature map sostituendo ogni regione locale con la media dei suoi valori. Diminuisce risoluzione e costo e conferisce una certa invarianza a piccole traslazioni.

Algoritmo che addestra le reti ricorrenti srotolandole lungo la sequenza temporale in una rete profonda equivalente e applicando la retropropagazione per calcolare i gradienti attraverso i passi. Può soffrire di gradienti che svaniscono o esplodono.

Elaborazione simultanea di più input raggruppati in un batch durante la predizione, per sfruttare il parallelismo dell'hardware (GPU/TPU) e aumentare il throughput. Si contrappone all'inferenza online su singolo esempio, ottimizzata per la latenza.

Strategia di decodifica che a ogni passo mantiene le k sequenze parziali più probabili (la 'beam'), espandendole e ripotandole. Bilancia qualità e costo tra la ricerca greedy e quella esaustiva nella generazione di sequenze.

Regione dell'input che influenza il valore di una singola unità in un dato layer: nelle CNN cresce con la profondità e con parametri come dimensione del kernel, stride e dilatazione. Determina quanta parte del segnale ciascun neurone 'vede'.

Architettura proposta da Sabour, Frosst e Hinton in cui gruppi di neuroni, le capsule, rappresentano entità codificandone in un vettore proprietà come posa e orientamento. Usa il routing per accordo tra capsule per preservare le relazioni spaziali.

Fenomeno per cui una rete addestrata in sequenza su nuovi compiti sovrascrive i pesi e perde bruscamente le competenze apprese in precedenza. È una sfida centrale del continual learning, mitigata con metodi come EWC o il replay dei dati.

Tecnica usata nei Transformer autoregressivi che, tramite una maschera, impedisce a ciascuna posizione di attendere ai token futuri, ammettendo l'attenzione solo alle posizioni precedenti e a sé stessa. Garantisce che la predizione dipenda solo dal passato.

Nelle reti LSTM, canale di memoria a lungo termine che attraversa i passi temporali con interazioni prevalentemente lineari, regolato dai gate di dimenticanza, ingresso e uscita. Il flusso quasi diretto attenua il problema del gradiente che svanisce.

Funzione di perdita, di norma combinata con la cross-entropy, che avvicina ciascuna rappresentazione al centro appreso della propria classe, riducendo la varianza intra-classe. Introdotta per il riconoscimento facciale per feature più discriminanti.

Tecnica per i modelli di diffusione condizionati che, senza un classificatore esterno, combina le predizioni condizionata e non condizionata dello stesso modello per amplificare l'aderenza al condizionamento, migliorando la fedeltà a scapito della diversità.

Variante di GAN in cui generatore e discriminatore ricevono un'informazione ausiliaria, come un'etichetta di classe, così da controllare quale tipo di dato viene generato. Consente la generazione condizionata anziché il campionamento casuale.

Nei modelli encoder-decoder con attenzione, vettore ottenuto come media pesata delle rappresentazioni dell'input, con pesi forniti dal meccanismo di attenzione. Riassume l'informazione rilevante dell'ingresso usata dal decoder per generare l'uscita corrente.

Autoencoder che aggiunge alla perdita di ricostruzione una penalizzazione sulla norma di Frobenius della matrice jacobiana della codifica rispetto all'input, rendendo la rappresentazione robusta e poco sensibile a piccole variazioni dei dati.

Approccio di apprendimento delle rappresentazioni, spesso auto-supervisionato, che avvicina nello spazio latente le rappresentazioni di viste correlate dello stesso dato (positivi) e allontana quelle di dati diversi (negativi). Alla base di SimCLR e MoCo.

Funzione di perdita per apprendimento metrico che, date coppie di esempi, minimizza la distanza tra rappresentazioni di coppie simili e forza quelle di coppie diverse oltre un margine prefissato, apprendendo embedding con struttura di similarità.

Schedulazione del learning rate che lo fa decrescere seguendo una funzione coseno da un valore iniziale a un minimo, talvolta con riavvii periodici (warm restarts). La discesa graduale spesso migliora la convergenza rispetto a un tasso costante.

Meccanismo di attenzione in cui le query provengono da una sequenza e chiavi e valori da un'altra, consentendo a un modulo (es. il decoder) di attingere informazioni da una fonte diversa (es. l'encoder). È il ponte tra encoder e decoder nei Transformer.

Tecnica di data augmentation che ritaglia una regione rettangolare da un'immagine e la incolla su un'altra, mescolando in proporzione all'area le rispettive etichette. Migliora robustezza e capacità di localizzazione rispetto al semplice ritaglio o a Mixup.

GAN per la traduzione immagine-immagine tra due domini senza coppie allineate di esempi. Usa due generatori e due discriminatori vincolati da una perdita di consistenza ciclica, che impone che ritradurre un'immagine al dominio d'origine la riporti a sé.

Architettura di GAN che impiega reti completamente convoluzionali con linee guida come convoluzioni strided/transposed, batch normalization e attivazioni ReLU/LeakyReLU, stabilizzando l'addestramento e generando immagini realistiche. Modello di riferimento.

Modello generativo (Denoising Diffusion Probabilistic Model) che definisce un processo diretto di graduale aggiunta di rumore gaussiano ai dati e addestra una rete a invertirlo passo per passo, generando campioni a partire da rumore puro.

Modello generativo profondo formato da più strati di variabili latenti, costruito impilando Restricted Boltzmann Machine e addestrato con un pre-training strato per strato non supervisionato. Fu chiave nella rinascita del deep learning intorno al 2006.

Convoluzione che apprende offset spaziali da sommare alle posizioni di campionamento della griglia del kernel, adattandone dinamicamente la forma alla geometria degli oggetti. Migliora la modellazione di trasformazioni e deformazioni nelle CNN.

Autoencoder addestrato a ricostruire un dato pulito a partire da una sua versione corrotta con rumore, così da apprendere rappresentazioni robuste che catturano la struttura sottostante dei dati anziché limitarsi a copiare l'input.

Rete convoluzionale in cui, all'interno di ogni blocco denso, ciascun layer riceve in ingresso le feature map concatenate di tutti i layer precedenti. Questa connettività favorisce il riuso delle feature, migliora il flusso del gradiente e riduce i parametri.

Convoluzione scomposta in due fasi: una depthwise che filtra separatamente ciascun canale e una pointwise 1x1 che ne combina le uscite. Riduce fortemente calcolo e parametri rispetto alla convoluzione standard, alla base di reti efficienti come MobileNet.

Funzione di perdita usata soprattutto in segmentazione, derivata dal coefficiente di Dice, che ottimizza direttamente la sovrapposizione tra la maschera predetta e quella reale. È robusta allo sbilanciamento tra classi di primo piano e sfondo.

Convoluzione (detta anche a trous) i cui elementi del kernel sono spaziati secondo un fattore di dilatazione, così da ampliare il campo recettivo senza aumentare i parametri né ridurre la risoluzione. Molto usata nella segmentazione semantica.

Iperparametro delle convoluzioni che introduce una spaziatura tra gli elementi del kernel: un valore maggiore di uno allarga il campo recettivo effettivo senza aggiungere parametri né costo, campionando l'input in modo più rado.

In una GAN, rete addestrata a distinguere i campioni reali provenienti dai dati da quelli sintetici prodotti dal generatore, emettendo la probabilità che un input sia reale. Il suo segnale guida, in modo avversario, il miglioramento del generatore.

Comportamento per cui l'errore di test, all'aumentare della capacità del modello, prima scende, poi risale intorno al punto di interpolazione e infine scende di nuovo nel regime sovra-parametrizzato. Contraddice la classica curva a U del compromesso bias-varianza.

Regolarizzazione per architetture con connessioni residue che durante l'addestramento azzera casualmente interi rami residui (percorsi) con una data probabilità, forzando la rete a non dipendere da singoli percorsi. Correlata alla stochastic depth.

Instradamento dinamico. Algoritmo introdotto da Sabour, Frosst e Hinton (2017) per le capsule network: ogni capsula di basso livello predice, tramite matrici di trasformazione, i parametri delle capsule superiori, e un accordo iterativo (routing-by-agreement) rafforza i collegamenti tra le predizioni concordi.

Famiglia di reti convoluzionali proposta da Tan e Le nel 2019 che introduce il compound scaling: anziché ingrandire una sola dimensione, scala in modo bilanciato profondita, larghezza e risoluzione dell'input con un unico coefficiente, ottenendo alta accuratezza su ImageNet con pochi parametri.

Unità lineare esponenziale. Funzione di attivazione che usa una curva esponenziale per i valori negativi, avvicinando la media delle attivazioni a zero e accelerando la convergenza.

Layer di embedding. Strato che mappa indici discreti, come token o parole, in vettori densi a dimensione fissa contenuti in una matrice appresa durante il training. Colloca simboli simili vicini nello spazio vettoriale e fornisce l'input numerico ai modelli di linguaggio e di raccomandazione.

Spazio vettoriale continuo, di solito a poche centinaia di dimensioni, in cui la rete rappresenta elementi discreti come parole, nodi o immagini. Gli embedding sono appresi così che la vicinanza geometrica, misurata con distanza coseno, rifletta la similarità semantica. E la base di ricerca e raccomandazione.

Architettura encoder-decoder. Struttura in cui un encoder comprime la sequenza di input in una rappresentazione interna e un decoder la usa per generare l'output passo dopo passo. È alla base di traduzione automatica, riassunto e Transformer, spesso arricchita da un meccanismo di attenzione fra le due parti.

Modello che associa a ogni configurazione delle variabili una funzione di energia scalare e definisce una distribuzione in cui le configurazioni a energia minore hanno probabilità maggiore. L'apprendimento abbassa l'energia dei dati osservati e la alza altrove; esempi sono le macchine di Boltzmann e i campi di Markov.

Media mobile esponenziale dei pesi. Tecnica che mantiene una copia dei parametri aggiornata come media smorzata di quelli di training, dando più peso ai valori recenti. Il modello EMA, più stabile, viene usato in valutazione e inferenza e migliora la generalizzazione, come nei modelli di diffusione.

Output prodotto da un singolo filtro (canale) di un layer convoluzionale: una griglia bidimensionale i cui valori, ottenuti facendo scorrere il kernel sull'input, indicano quanto e dove una caratteristica e presente. Nei livelli iniziali coglie bordi e texture, in quelli profondi concetti astratti.

Corrispondenza di caratteristiche. Tecnica per GAN che addestra il generatore a far coincidere le statistiche di attivazione di un layer intermedio del discriminatore con quelle dei dati reali.

Rete feedforward. Rete in cui l'informazione fluisce in una sola direzione, dall'input all'output, senza cicli. Nel Transformer indica il sottolayer applicato a ogni posizione: due trasformazioni lineari con una non linearità intermedia, tipicamente ReLU o GELU, che espande e poi ricomprime la dimensione.

Fase del transfer learning in cui un modello già pre-addestrato su grandi dati viene ulteriormente addestrato su un compito o dominio specifico, aggiornandone i pesi con un dataset più piccolo e learning rate ridotto. Si possono congelare i primi layer e adattare solo i finali; e più efficiente che addestrare da zero.

Attenzione efficiente in memoria. Implementazione esatta dell'attenzione proposta da Dao et al. (2022), consapevole degli accessi in memoria (IO-aware): con tiling e softmax online elabora i blocchi nella SRAM veloce senza materializzare l'intera matrice, riducendo gli accessi alla HBM e velocizzando il training.

Funzione di perdita introdotta da Lin et al. nel 2017 con RetinaNet per la rilevazione densa di oggetti. Aggiunge alla cross-entropy un fattore modulante che riduce il peso degli esempi facili, concentrando l'addestramento su quelli difficili. Il parametro gamma ne regola l'effetto e contrasta lo sbilanciamento.

Diffusione in avanti. Processo che, nei modelli di diffusione, aggiunge in modo graduale rumore gaussiano ai dati lungo molti passi finché non diventano rumore puro. È una catena di Markov a varianza fissata; il modello impara poi a invertirla nel processo inverso per generare nuovi campioni partendo dal rumore.

Componente appreso, tipicamente basato su una sigmoide che restituisce valori tra zero e uno, che regola quanta informazione lasciar passare, trattenere o dimenticare in una rete. E il cuore delle ricorrenti con gate come LSTM e GRU, dove porte di input, oblio e uscita controllano lo stato interno della cella.

Funzione di attivazione GELU (Gaussian Error Linear Unit). Non linearità liscia proposta da Hendrycks e Gimpel (2016) e diffusa nei Transformer come BERT e GPT: moltiplica ogni input per la probabilità data dalla CDF gaussiana, pesandolo in base al valore anziché limitarsi al segno come fa la ReLU.

Rete di una GAN che trasforma un vettore di rumore casuale, campionato da una distribuzione latente, in dati sintetici. Viene addestrata in modo avversario contro un discriminatore: cerca di produrre campioni così realistici da farli classificare come veri, avvicinando la distribuzione generata a quella reale.

Pooling medio globale. Operazione che riduce ogni feature map a un singolo valore calcolando la media di tutti i suoi elementi. Sostituisce i layer fully connected finali nelle CNN, abbattendo il numero di parametri e il rischio di overfitting, e produce un vettore compatto usato per la classificazione.

Gated Linear Unit, meccanismo di gating introdotto da Dauphin et al. per il language modeling con reti convoluzionali. Calcola due proiezioni lineari dell'input e le moltiplica elemento per elemento, dopo aver passato la seconda in una sigmoide che funge da gate. Varianti come SwiGLU sono usate nei Transformer moderni.

Rete Inception originale. CNN profonda di Szegedy et al. (2014), vincitrice della ILSVRC 2014 con 22 layer: impila moduli Inception che affiancano convoluzioni 1x1, 3x3 e 5x5, sfruttando le 1x1 per ridurre la dimensionalità. Ottiene alta accuratezza usando molti meno parametri di reti equivalenti.

Tecnica di addestramento che accumula i gradienti di più mini-batch consecutivi senza aggiornare i pesi, eseguendo poi un unico passo di ottimizzazione dopo un numero prefissato di batch. Simula un batch effettivo più grande usando poca memoria GPU, utile per modelli o immagini di grandi dimensioni.

Checkpoint del gradiente. Tecnica di risparmio di memoria che durante il forward conserva solo alcune attivazioni e ricalcola le altre nel passo di backpropagation, invece di memorizzarle tutte. Aumenta il costo di calcolo in cambio di meno memoria, permettendo di addestrare reti più grandi o batch maggiori.

Tecnica che limita l'ampiezza dei gradienti durante il backpropagation per evitare aggiornamenti instabili e l'esplosione del gradiente, tipica delle reti ricorrenti profonde. Nella forma più comune il clipping per norma riscala l'intero vettore dei gradienti quando supera una soglia, preservandone la direzione.

Penalità sul gradiente. Termine di regolarizzazione introdotto da Gulrajani et al. (2017) nel WGAN-GP: vincola verso uno la norma del gradiente del discriminatore su punti interpolati fra dati reali e generati. Impone il vincolo di Lipschitz e stabilizza le GAN, sostituendo il weight clipping.

GNN proposta da Velickovic et al. nel 2018 che introduce l'attenzione sui grafi: per ogni nodo calcola coefficienti di attenzione appresi verso i vicini, normalizzati con softmax, e aggiorna la rappresentazione del nodo come loro media pesata. Così assegna importanza diversa a ciascun vicino senza conoscere il grafo.

Convoluzione su grafo. Operazione delle Graph Neural Network che aggiorna la rappresentazione di ogni nodo aggregando le caratteristiche dei nodi vicini e le proprie, seguita da una trasformazione appresa. Estende l'idea di convoluzione a dati irregolari come reti sociali, molecole e grafi di conoscenza.

Famiglia di modelli che apprende rappresentazioni di dati strutturati a grafo lavorando su nodi, archi e attributi. Tramite il message passing ogni nodo aggrega iterativamente le informazioni dei vicini e aggiorna il proprio stato, catturando contesti sempre più ampi. Serve per classificazione e predizione di archi.

Decodifica avida. Strategia di generazione che a ogni passo sceglie il token con probabilità più alta e condiziona su quello il passo successivo. È semplice e veloce ma miope: non valuta gli effetti futuri e può mancare sequenze globalmente migliori che il beam search o il campionamento trovano.

Fenomeno in cui una rete neurale, dopo aver a lungo memorizzato i dati di training con scarsa generalizzazione, compie improvvisamente una transizione verso una soluzione che generalizza bene, molto oltre il punto di overfitting.

Tecnica di normalizzazione proposta da Wu e He nel 2018 come alternativa alla batch normalization. Suddivide i canali di ogni singolo esempio in gruppi e calcola media e varianza entro ciascun gruppo, senza dipendere dalle statistiche del mini-batch. Per questo resta stabile anche con batch molto piccoli.

Unità ricorrente con gate (Gated Recurrent Unit). Cella ricorrente di Cho et al. (2014), variante semplificata della LSTM con due soli gate, di aggiornamento e di reset, e senza cella di memoria separata. Regola il flusso informativo nelle sequenze mitigando il vanishing gradient, con prestazioni spesso comparabili.

Rappresentazione interna che una rete ricorrente mantiene e aggiorna a ogni passo mentre elabora una sequenza, fungendo da memoria che riassume gli elementi visti finora. A ogni istante viene ricalcolato combinando l'input corrente con lo stato precedente; nelle LSTM affianca lo stato di cella regolato dai gate.

Rete autostradale. Architettura profonda di Srivastava, Greff e Schmidhuber (2015), ispirata alle LSTM: gate appresi, di trasformazione e di riporto, regolano quanta informazione passa per la trasformazione di un layer e quanta lo salta invariata. Permette di addestrare reti con centinaia di layer via SGD.

Blocco introdotto da Szegedy et al. con GoogLeNet nel 2014 che applica in parallelo sullo stesso input convoluzioni di dimensioni diverse, tipicamente 1x1, 3x3 e 5x5, più un ramo di max pooling, concatenandone gli output lungo i canali. Coglie caratteristiche a più scale e usa convoluzioni 1x1 per ridurre i canali.

Normalizzazione per istanza. Tecnica proposta da Ulyanov et al. (2016) che normalizza in modo indipendente ogni canale di ogni singolo esempio, sulle sue dimensioni spaziali. Rimuove il contrasto specifico dell'immagine ed è particolarmente efficace nel trasferimento di stile e nelle reti generative.

Nella convoluzione, piccola matrice di pesi appresi (filtro) che scorre sull'input calcolando prodotti scalari locali per estrarre caratteristiche come bordi, texture o pattern. La sua dimensione definisce il campo recettivo locale, mentre stride e padding regolano passo e bordi; i pesi sono condivisi su tutto l'input.

Perdita di divergenza KL. Termine che misura quanto una distribuzione si discosta da una di riferimento; è asimmetrico e non negativo. Nei VAE regolarizza lo spazio latente avvicinando la distribuzione appresa a una gaussiana a priori; nella distillazione allinea le predizioni dello studente a quelle del docente.

Termine di perdita, formalizzato da Hinton et al. nel 2015, che addestra un modello piccolo (studente) a imitare le uscite morbide di uno grande (insegnante). Si applica una temperatura alla softmax per ammorbidire le probabilità ed esporre le similarità tra classi, minimizzando la divergenza di Kullback-Leibler.

Nei Transformer autoregressivi, memoria che conserva le chiavi e i valori dell'attenzione già calcolati per i token precedenti, così che a ogni nuovo passo la generazione non li ricalcoli, riducendo il costo per token e velocizzando l'inferenza.

Tecnica di regolarizzazione che sostituisce i target one-hot con una distribuzione ammorbidita, assegnando una piccola probabilità anche alle classi errate; riduce l'eccessiva sicurezza del modello e ne migliora calibrazione e generalizzazione.

Ottimizzatore per l'addestramento con batch molto grandi che combina gli aggiornamenti adattivi di Adam con un rapporto di fiducia calcolato per layer, permettendo di scalare il learning rate senza degradare la convergenza.

Modello generativo che esegue il processo di diffusione e denoising non sui pixel ma in uno spazio latente compresso da un autoencoder, riducendo il costo di calcolo e abilitando la sintesi di immagini ad alta risoluzione; è alla base di Stable Diffusion.

Tecnica che normalizza le attivazioni di un singolo esempio calcolando media e varianza su tutte le feature dello strato, indipendentemente dagli altri esempi del batch; stabilizza il training ed è centrale nelle RNN e nei Transformer.

Variante della ReLU che, invece di azzerare i valori negativi, li moltiplica per una piccola pendenza fissa (per esempio 0,01), mantenendo un gradiente non nullo per gli input negativi ed evitando così il problema dei neuroni morti.

Fase iniziale del training in cui il learning rate parte da un valore basso e cresce gradualmente fino a quello nominale nelle prime iterazioni, riducendo l'instabilità dovuta a gradienti grandi e imprecisi tipica dell'addestramento dei Transformer.

Rete neurale convoluzionale pionieristica proposta da LeCun, in particolare LeNet-5, progettata per il riconoscimento di cifre scritte a mano; alterna strati convoluzionali e di pooling ed è considerata capostipite delle CNN moderne.

Valori grezzi e non normalizzati prodotti dall'ultimo strato di una rete prima di essere convertiti in probabilità tramite softmax o funzione sigmoide; possono assumere qualsiasi valore reale, positivo o negativo.

Ottimizzatore che mantiene due insiemi di pesi: pesi veloci aggiornati da un ottimizzatore interno per k passi e pesi lenti spostati verso di essi per interpolazione lineare, riducendo la varianza e stabilizzando la traiettoria di ottimizzazione.

Ipotesi secondo cui una rete densa inizializzata casualmente contiene una sottorete sparsa che, addestrata isolatamente dalla stessa inizializzazione, raggiunge prestazioni paragonabili alla rete completa. Fornisce una base al pruning e alla ricerca di architetture efficienti.

Long Short-Term Memory: variante di rete ricorrente dotata di una cella di memoria e di gate (ingresso, dimenticanza, uscita) che regolano il flusso di informazione, mitigando il problema del gradiente evanescente e permettendo di apprendere dipendenze su lunghe sequenze.

Modello di apprendimento auto-supervisionato che maschera una porzione elevata delle patch di un'immagine e addestra un encoder-decoder a ricostruire i pixel mancanti, apprendendo rappresentazioni robuste e trasferibili a compiti a valle.

Operazione di sottocampionamento che divide la mappa delle feature in regioni e ne conserva solo il valore massimo, riducendo la dimensione spaziale e il numero di parametri e fornendo una certa invarianza a piccole traslazioni.

Unità che calcola più trasformazioni lineari dell'input e ne restituisce il massimo; potendo approssimare funzioni convesse arbitrarie, è in grado di apprendere la propria funzione di attivazione ed è progettata per operare bene con il dropout.

Meccanismo che, per ogni elemento da elaborare, calcola pesi di rilevanza sulle diverse parti dell'input e ne produce una combinazione pesata, permettendo al modello di concentrarsi sulle informazioni più utili; è alla base dei Transformer.

Schema di calcolo delle reti neurali su grafi in cui ogni nodo aggrega i messaggi provenienti dai nodi vicini e aggiorna il proprio stato; ripetuto su più iterazioni, propaga l'informazione lungo la struttura del grafo.

Funzione di attivazione liscia, continua e non monotona definita come x per tanh(softplus(x)); essendo illimitata superiormente evita la saturazione e, preservando piccoli valori negativi, può migliorare accuratezza e stabilità del training rispetto a ReLU.

Tecnica che esegue gran parte dei calcoli in virgola mobile a 16 bit mantenendo una copia dei pesi a 32 bit e uno scaling della loss, così da ridurre l'uso di memoria e accelerare il training sulle GPU moderne senza perdita rilevante di accuratezza.

Tecnica di data augmentation che genera nuovi esempi combinando linearmente coppie di input e le rispettive etichette con lo stesso coefficiente, incoraggiando un comportamento lineare tra gli esempi e migliorando generalizzazione e robustezza.

Famiglia di CNN efficienti pensate per dispositivi mobili ed embedded, che sostituiscono le convoluzioni standard con convoluzioni separabili in profondità per ridurre drasticamente calcolo e numero di parametri con una minima perdita di accuratezza.

Fallimento tipico dell'addestramento delle GAN in cui il generatore produce output poco vari, concentrandosi su pochi modi della distribuzione dei dati e ignorandone altri, anche al variare del rumore in ingresso.

Componente dei Transformer che esegue in parallelo più meccanismi di attenzione (teste) su proiezioni diverse di query, chiavi e valori e ne concatena i risultati, permettendo al modello di cogliere relazioni differenti in sottospazi distinti.

Variante dell'ottimizzatore Adam che incorpora il momento di Nesterov nel calcolo del primo momento, anticipando la direzione del gradiente per ottenere aggiornamenti più reattivi e una convergenza spesso più rapida.

Modello che interpreta la trasformazione degli stati nascosti come soluzione di un'equazione differenziale ordinaria parametrizzata da una rete, calcolata con solutori numerici; generalizza le reti residuali a una profondità continua.

Relazioni empiriche che descrivono come la perdita di un modello diminuisca in modo prevedibile, spesso secondo leggi di potenza, al crescere di parametri, dati e calcolo. Guidano la pianificazione degli addestramenti indicando come allocare al meglio le risorse.

Rappresentazione vettoriale a bassa dimensione di un nodo di un grafo che ne codifica ruolo strutturale e contesto di vicinato, in modo che nodi simili risultino vicini nello spazio; usata per classificazione, clustering e predizione di collegamenti.

Nei modelli di diffusione, funzione che determina la quantità di rumore aggiunta a ciascun passo del processo diretto e rimossa in quello inverso; la sua forma, per esempio lineare o a coseno, incide su qualità e stabilità della generazione.

Modello generativo che costruisce una distribuzione complessa applicando a una distribuzione semplice una sequenza di trasformazioni invertibili e derivabili, consentendo di calcolare esattamente la verosimiglianza tramite la formula del cambio di variabile.

Strategia di scheduling che, in un unico ciclo, fa crescere il learning rate fino a un massimo e poi lo fa calare al di sotto del valore iniziale, spesso variando il momento in senso opposto, per accelerare la convergenza (super-convergenza).

Aggiunta di valori, di solito zeri, ai bordi dell'input di una convoluzione per controllare la dimensione della mappa di output e preservare l'informazione ai margini; con il padding 'same' l'output mantiene la dimensione spaziale dell'input.

Variante della Leaky ReLU in cui la pendenza applicata ai valori negativi non è fissa ma è un parametro appreso durante il training, eventualmente distinto per canale; introdotta insieme all'inizializzazione He per reti profonde.

Funzione di costo che misura la differenza tra due immagini confrontando le feature estratte da una rete pre-addestrata anziché i pixel grezzi, catturando somiglianze percettive di alto livello; usata in super-risoluzione e trasferimento di stile.

Convoluzione con kernel 1x1 che combina linearmente i canali in ciascuna posizione spaziale senza mescolare pixel vicini; è la seconda fase della convoluzione separabile in profondità e serve a modificare il numero di canali.

Informazione aggiunta agli embedding dei token per indicarne la posizione nella sequenza, necessaria perché l'attenzione dei Transformer è di per sé invariante all'ordine; nella formulazione originale usa funzioni seno e coseno a frequenze diverse.

Le tre proiezioni lineari dell'input usate nell'attenzione: la query viene confrontata con le chiavi per calcolare i pesi, che pesano i valori nella somma finale; nell'attenzione scaled dot-product il prodotto query-chiave è scalato e passato a softmax.

Rete neurale per dati sequenziali che elabora un elemento alla volta mantenendo uno stato interno aggiornato a ogni passo e condividendo gli stessi pesi nel tempo; addestrata con backpropagation through time, soffre di gradienti evanescenti su sequenze lunghe.

Tecnica usata nei VAE che riscrive il campionamento da una distribuzione come funzione deterministica dei suoi parametri più un rumore esterno indipendente, rendendo l'operazione derivabile e permettendo di propagare il gradiente attraverso il campione.

Modulo, introdotto con le ResNet, che somma l'input di alcuni strati alla loro uscita tramite una connessione di scorciatoia (skip connection), facilitando il flusso del gradiente e permettendo di addestrare reti molto profonde senza degrado dell'accuratezza.

Architettura convoluzionale profonda che introduce connessioni residue (skip): ogni blocco apprende una funzione residua sommata al proprio ingresso, permettendo di addestrare reti con centinaia di layer senza il degrado dell'accuratezza.

Rete neurale generativa stocastica a due strati (visibile e nascosto) senza connessioni interne a ciascuno strato, che apprende una distribuzione di probabilità sui dati. E stata usata come blocco per il pre-addestramento delle deep belief network.

Processo generativo appreso che, partendo da puro rumore, lo rimuove gradualmente passo dopo passo fino a produrre un dato realistico; inverte il processo diretto di diffusione che aggiunge rumore progressivamente ai dati.

Rete ricorrente composta da due RNN che scorrono la sequenza in direzioni opposte; a ogni istante combina gli stati dei due versi così da sfruttare insieme il contesto passato e quello futuro. Adatta quando l'intera sequenza e disponibile.

Codifica posizionale che rappresenta la posizione ruotando i vettori query e chiave di un angolo proporzionale alla posizione; inserisce così la dipendenza posizionale relativa direttamente nel calcolo dell'attenzione. Introdotta con RoFormer.

Meccanismo di attenzione che calcola i prodotti scalari tra query e chiavi, li divide per la radice della dimensione delle chiavi per stabilizzare i gradienti, applica la softmax e pesa i valori corrispondenti. E il nucleo del Transformer.

Meccanismo in cui ogni elemento di una sequenza calcola pesi di attenzione verso tutti gli altri, se compreso, per costruire una rappresentazione che integra le relazioni con l'intero contesto. E il componente fondante dei Transformer.

Fase in cui il modello apprende da grandi quantita di dati non etichettati risolvendo compiti pretesto costruiti dai dati stessi (parole mascherate, porzioni da predire), producendo rappresentazioni riutilizzabili nei compiti a valle.

Architettura encoder-decoder che trasforma una sequenza di input in una sequenza di output di lunghezza variabile: l'encoder comprime l'input in una rappresentazione e il decoder genera l'output token per token. Usata per la traduzione automatica.

Aggiunta di token di riempimento alle sequenze più corte per uniformarne la lunghezza all'interno di un batch, così da poterle elaborare come un unico tensore; una maschera segnala i token fittizi affinché vengano ignorati dal modello.

Metodo di ottimizzazione che cerca minimi della funzione di perdita non solo bassi ma anche piatti, minimizzando la perdita in un intorno dei pesi anziché nel singolo punto. I minimi piatti tendono a correlarsi con una migliore generalizzazione del modello.

Architettura con due rami identici a pesi condivisi che elaborano due input separati e ne confrontano le rappresentazioni per misurarne la similarità; usata per la verifica di volti e firme e per il matching one-shot.

Collegamento che porta l'attivazione di un layer direttamente a uno più profondo bypassando quelli intermedi; facilita il flusso del gradiente e l'addestramento di reti profonde. E l'elemento chiave di ResNet e delle architetture a U.

Etichette espresse come distribuzioni di probabilità continue sulle classi anziché come singola classe netta; nella distillazione della conoscenza sono prodotte da un modello insegnante e trasferiscono informazione a un modello più piccolo.

Variante dell'attenzione che, invece di collegare ogni posizione a tutte le altre, calcola i pesi solo su un sottoinsieme selezionato di posizioni; riduce così il costo computazionale, tipicamente quadratico, nelle sequenze molto lunghe.

Autoencoder in cui un vincolo di sparsita forza solo poche unità latenti a essere attive per ciascun input; apprende così rappresentazioni compatte e più interpretabili delle caratteristiche presenti nei dati.

Tecnica che divide la matrice dei pesi per il suo massimo valore singolare (norma spettrale), imponendo un vincolo di Lipschitz sui layer; stabilizza l'addestramento delle GAN controllando la regolarita del discriminatore.

Modulo che ricalibra i canali di una feature map: comprime l'informazione spaziale in un descrittore per canale (squeeze) e ne apprende pesi di importanza (excitation) con cui riscalare i canali, enfatizzando quelli più informativi.

Rete convoluzionale compatta che raggiunge un'accuratezza paragonabile ad AlexNet con circa 50 volte meno parametri, grazie ai moduli fire che combinano filtri 1x1 e 3x3 per ridurre il numero di pesi. Pensata per contesti a risorse limitate.

Tecnica di regolarizzazione che durante l'addestramento salta casualmente interi blocchi residui, sostituendoli con l'identità; riduce la profondita effettiva e i tempi di training e migliora la generalizzazione delle reti molto profonde.

Passo con cui il kernel di convoluzione o di pooling si sposta sull'input a ogni applicazione; uno stride maggiore di uno riduce la dimensione spaziale dell'output sottocampionando la mappa delle caratteristiche.

Architettura GAN generativa che inietta lo stile a diverse risoluzioni tramite un vettore latente intermedio, consentendo di controllare separatamente i tratti grossolani e i dettagli fini delle immagini sintetizzate.

Funzione di attivazione liscia e non monotona definita come x moltiplicato per la sigmoide di x (self-gated); nelle reti profonde spesso migliora leggermente le prestazioni rispetto a ReLU. Nota anche come SiLU.

Tecnica di addestramento dei modelli sequenziali in cui, a ogni passo, si fornisce al decoder il token corretto di riferimento invece della sua previsione precedente; accelera la convergenza ma può creare disallineamento in inferenza.

Divisione dei logit per un parametro di temperatura prima della softmax: valori maggiori di 1 rendono la distribuzione più uniforme, minori di 1 più concentrata. Usata per calibrare la confidenza del modello o regolare la generazione.

Operazione che aumenta la dimensione spaziale di una feature map effettuando un upsampling appreso; usata nei decoder e nei generatori per ricostruire o generare immagini a risoluzione maggiore. Detta anche convoluzione frazionaria.

Funzione di perdita che opera su terne ancora-positivo-negativo e spinge l'ancora a essere più vicina al positivo che al negativo di almeno un margine prefissato; apprende embedding in cui la distanza riflette la similarità.

Architettura con tre rami a pesi condivisi che elaborano ancora, esempio positivo ed esempio negativo; addestrata con triplet loss, apprende uno spazio di embedding in cui i campioni simili risultano vicini e i dissimili lontani.

Architettura convoluzionale encoder-decoder a forma di U con connessioni skip che collegano i livelli di contrazione ai corrispondenti di espansione; progettata per la segmentazione di immagini pixel per pixel, in particolare in ambito biomedico.

Rete a U impiegata come spina dorsale nei modelli di diffusione: a ogni passo del processo inverso stima il rumore presente nell'immagine per rimuoverlo gradualmente. Le connessioni skip aiutano a preservarne i dettagli.

Rete convoluzionale profonda caratterizzata da un'architettura uniforme di piccoli filtri 3x3 impilati in sequenza con pooling progressivo; disponibile nelle varianti a 16 e 19 layer, e molto usata come estrattore di caratteristiche.

Variante di GAN che addestra il critico ad approssimare la distanza di Wasserstein tra distribuzione reale e generata; fornisce gradienti più stabili e informativi rispetto alla GAN classica e attenua il collasso dei modi.

Tecnica che media i parametri del modello raccolti in fasi diverse dell'addestramento invece di usare solo i pesi finali; tende a convergere verso soluzioni più piatte e migliora la generalizzazione, come nello Stochastic Weight Averaging.

Riparametrizzazione dei pesi che separa il modulo dalla direzione del vettore, ottimizzandoli in modo indipendente; disaccoppia la scala dal verso e accelera e stabilizza l'addestramento senza dipendere dalle statistiche del batch.

Riduzione della precisione numerica con cui sono rappresentati i pesi (per esempio da 32 bit a 8 bit o meno); diminuisce l'occupazione di memoria e accelera l'inferenza, di solito con una minima perdita di accuratezza.

Riuso degli stessi parametri in punti diversi della rete: nelle CNN lo stesso kernel scorre l'intera immagine, nelle RNN gli stessi pesi si ripetono a ogni passo temporale; riduce il numero di parametri e impone invarianze utili.

Tecnica che condivide un'unica matrice tra l'embedding dei token in ingresso e la proiezione lineare in uscita di un modello linguistico; riduce il numero di parametri e spesso migliora le prestazioni della rete.

Architettura convoluzionale che porta all'estremo l'idea di Inception sostituendone i moduli con convoluzioni separabili in profondita (depthwise separable); a parita di parametri migliora l'accuratezza rispetto a Inception-v3.