Glossario Machine Learning

Esperimento controllato in cui due varianti, ad esempio due modelli, vengono servite a gruppi di utenti scelti a caso per confrontarne l'effetto su una metrica obiettivo. È il metodo standard per misurare l'impatto reale di un cambiamento.

Metrica di classificazione pari al rapporto tra previsioni corrette e numero totale di esempi. È intuitiva ma ingannevole con classi sbilanciate: un modello che predice sempre la classe dominante può ottenere accuratezza elevata pur essendo inutile, perciò si affianca a precision, recall e F1-score.

Strategia di apprendimento in cui il modello, invece di ricevere dati etichettati a caso, seleziona attivamente gli esempi più informativi da sottoporre a un annotatore umano, tipicamente quelli su cui è più incerto. Riduce il costo di etichettatura raggiungendo buone prestazioni con meno dati annotati.

AdaBoost (Adaptive Boosting), introdotto da Freund e Schapire nel 1997, combina in sequenza classificatori deboli, spesso alberi poco profondi. A ogni iterazione aumenta il peso degli esempi classificati male, così il modello successivo si concentra sui casi difficili; la predizione finale e un voto pesato dei modelli.

Variante di Adagrad che sostituisce la somma cumulata dei gradienti con una media mobile su una finestra recente, evitando il collasso del tasso di apprendimento e senza richiedere un tasso globale prefissato.

Variante della discesa del gradiente che adatta il tasso di apprendimento separatamente per ogni parametro in base alla somma dei quadrati dei gradienti passati; è utile con dati sparsi ma il tasso tende a decrescere troppo.

Algoritmo di ottimizzazione a gradiente proposto da Kingma e Ba (2014). Adatta il learning rate per ogni peso stimando le medie mobili esponenziali del primo momento (media) e del secondo momento (varianza non centrata) dei gradienti, con correzione del bias iniziale. Combina i vantaggi di momentum e RMSProp ed è la scelta di default in PyTorch e TensorFlow.

Tecnica di sovracampionamento che genera esempi sintetici della classe minoritaria concentrandosi sulle zone più difficili da apprendere, vicino ai confini di decisione. Affina l'idea di SMOTE adattando la generazione alla densità locale.

Versione del coefficiente di determinazione che penalizza l'aggiunta di variabili non informative a un modello di regressione. A differenza dell'R² grezzo, non cresce automaticamente inserendo predittori inutili, favorendo modelli più parsimoniosi.

Metodo ensemble simile alla foresta casuale che aumenta la casualità scegliendo le soglie di suddivisione in modo casuale anziché ottimale. Riduce ulteriormente la varianza a fronte di un lieve aumento della distorsione.

Modello predittivo che classifica o stima segmentando i dati con test condizionali su singole feature, in nodi che si diramano fino alle foglie, dove si emette la previsione. Algoritmi come CART e C4.5 scelgono gli split massimizzando la purezza (indice di Gini o entropia). Incline all'overfitting se troppo profondo.

In machine learning un algoritmo e la procedura sistematica, definita da una sequenza finita di passi e regole, che a partire dai dati di addestramento ottimizza i parametri di un modello minimizzando una funzione di costo. Esempi noti sono la discesa del gradiente, k-means e gli alberi decisionali.

Algoritmo classico per l'estrazione di itemset frequenti e regole di associazione. Sfrutta la proprietà di anti-monotonia, per cui ogni sottoinsieme di un itemset frequente è a sua volta frequente, per potare lo spazio di ricerca ed evitare conteggi inutili.

Metodo di riduzione dimensionale e separazione delle sorgenti che scompone un segnale multivariato in componenti additive statisticamente indipendenti e non gaussiane. A differenza della PCA cerca l'indipendenza statistica, non la sola decorrelazione.

Estensione non lineare della PCA che applica il trucco del kernel per calcolare le componenti principali in uno spazio delle caratteristiche indotto da un kernel. Permette di catturare strutture non linearmente separabili nei dati originari.

Insieme di metodi che modellano il tempo che intercorre fino al verificarsi di un evento (morte, guasto, abbandono), gestendo la censura, cioè i casi in cui l'evento non è stato osservato entro il periodo di studio.

Classificatore generativo che assume distribuzioni gaussiane per ciascuna classe con matrici di covarianza distinte, producendo frontiere di decisione quadratiche. Generalizza l'analisi discriminante lineare (LDA), che assume invece una covarianza comune.

Modello statistico che spiega la correlazione tra variabili osservate tramite un numero minore di variabili latenti dette fattori, più un termine di rumore specifico per ciascuna variabile. Si usa per riduzione dimensionale e ricerca di strutture latenti.

Individuazione di osservazioni che deviano in modo significativo dal comportamento atteso di un insieme di dati. Si realizza con metodi statistici, di clustering o basati su reti neurali come gli autoencoder e Isolation Forest, e trova impiego nel rilevamento di frodi, intrusioni e guasti.

Forma di apprendimento debolmente supervisionato in cui gli esempi sono raggruppati in insiemi detti bag ed è nota solo l'etichetta del bag: un bag positivo contiene almeno un'istanza positiva, uno negativo solo istanze negative.

Paradigma in cui il modello ricava da solo le etichette dai dati grezzi, definendo compiti pretestuali come prevedere parole mascherate o il token successivo. Permette il pre-addestramento su enormi corpora non annotati ed è alla base di modelli linguistici come BERT e GPT.

Famiglia di metodi, detti anche a memoria o pigri (lazy), che memorizzano gli esempi di addestramento e rimandano la generalizzazione al momento della previsione, confrontando il nuovo caso con quelli più simili. Esempio tipico: il k-NN.

Tecnica di apprendimento di rappresentazioni, spesso auto-supervisionata, che avvicina nello spazio delle feature le coppie di esempi simili (positivi) e allontana quelle dissimili (negativi), di norma tramite viste aumentate dello stesso dato.

Scenario di classificazione binaria in cui l'addestramento dispone solo di esempi positivi etichettati e di un insieme non etichettato che mescola positivi e negativi in proporzione ignota, senza esempi negativi certi.

Insieme di tecniche che apprendono da supervisione imperfetta, tipicamente in tre forme: incompleta (solo una parte dei dati e etichettata), inesatta (etichette a grana grossa) e inaccurata (etichette rumorose o errate).

Sottocampo che apprende a modellare e prevedere preferenze a partire da informazioni relative, tipicamente confronti a coppie tra oggetti o etichette, anziché da valori target assoluti come nella classificazione o nella regressione.

Approccio che apprende dai dati una funzione di distanza o di similarità specifica per il compito, in modo da avvicinare gli esempi simili e allontanare quelli dissimili, utile per k-NN, clustering, recupero di immagini e verifica di identità.

Insieme di tecniche che permettono a un modello di scoprire automaticamente dai dati grezzi le rappresentazioni o feature utili a un compito, sostituendo la progettazione manuale delle feature. Detto anche apprendimento delle caratteristiche.

Metodo non supervisionato che individua relazioni frequenti tra elementi in grandi insiemi di transazioni, esprimendole come regole del tipo se A allora B, valutate con misure quali supporto, confidenza e lift; base della market basket analysis.

Insieme di tecniche di riduzione di dimensionalità non lineare che, assumendo che i dati ad alta dimensione giacciano su una varietà di dimensione inferiore, ne recuperano la struttura geometrica per visualizzarli, denoisarli o comprimerli.

Approccio in cui il modello viene aggiornato via via con nuovi dati, spesso a piccoli lotti o da un flusso, senza riaddestrare da zero; adatto a dati troppo grandi per la memoria e deve limitare l'oblio catastrofico.

Paradigma classico in cui il modello, dai soli dati di addestramento, inferisce una regola generale da applicare a nuovi dati mai visti; si contrappone all'apprendimento trasduttivo, limitato ai casi di test già noti.

Approccio che addestra un unico modello su più compiti correlati contemporaneamente, condividendo una rappresentazione comune, e sfrutta le affinità tra i compiti per migliorare la generalizzazione, specie quando alcuni dispongono di pochi dati.

Framework in cui i dati sono descritti da più insiemi di feature distinti, detti viste, spesso complementari; il modello integra le viste per migliorare la generalizzazione, come negli algoritmi di co-training semi-supervisionati.

Paradigma di machine learning in cui il modello riceve dati privi di etichette e ne individua autonomamente struttura e regolarità. Include il clustering (k-means, DBSCAN), la riduzione dimensionale (PCA) e la stima di densità, usati per esplorare i dati senza conoscere in anticipo la risposta corretta.

Paradigma di machine learning in cui un agente interagisce con un ambiente e impara per tentativi ed errori, ricevendo ricompense o penalità. L'obiettivo è apprendere una politica che massimizzi la ricompensa cumulativa attesa nel tempo; algoritmi tipici sono il Q-learning e i metodi policy gradient.

Paradigma che addestra i modelli combinando una piccola quantità di dati etichettati con una grande massa di dati non etichettati, sfruttando la struttura di questi ultimi per migliorare l'apprendimento. Tecniche tipiche sono il self-training e i metodi basati su consistenza, utili quando l'etichettatura è costosa.

Paradigma di machine learning in cui il modello apprende da esempi già etichettati, cioè coppie input-output con la risposta corretta nota. L'algoritmo minimizza l'errore tra le proprie previsioni e le etichette, per poi generalizzare su dati nuovi. Comprende compiti di classificazione e regressione.

Paradigma in cui il modello ragiona dai casi di addestramento direttamente ai casi di test specifici già noti, senza costruire una regola generale valida per dati futuri, sfruttando anche i dati di test non etichettati già durante l'apprendimento.

Area sotto la curva ROC (Receiver Operating Characteristic), che riassume in un unico valore tra 0 e 1 la capacità di un classificatore binario di separare le classi al variare della soglia decisionale. Equivale alla probabilità che un positivo estratto a caso riceva un punteggio più alto di un negativo: 0,5 indica prestazione casuale, 1 separazione perfetta.

Metodo semi-supervisionato in cui un modello addestrato su pochi dati etichettati genera pseudo-etichette per i dati non etichettati; gli esempi predetti con alta confidenza vengono aggiunti al set di addestramento e il processo si ripete.

Algoritmo che addestra le reti neurali calcolando il gradiente della funzione di perdita rispetto ai pesi: applicando la regola della catena, propaga l'errore dall'uscita verso gli strati interni e ne ricava le derivate, poi la discesa del gradiente aggiorna i pesi. È il cardine dell'apprendimento profondo.

Bootstrap aggregating, tecnica ensemble di Leo Breiman (1996): addestra più modelli su campioni bootstrap estratti con reinserimento dal training set e ne aggrega gli output, con media nella regressione e voto nella classificazione. Riducendo la varianza contrasta l'overfitting; e alla base delle Random Forest.

Media delle accuratezze ottenute su ciascuna classe, cioè di sensibilità e specificità nel caso binario. Corregge la distorsione dell'accuratezza semplice quando le classi hanno frequenze molto diverse.

Modello di riferimento volutamente semplice, come la previsione della classe più frequente, della media o una regressione lineare, usato come termine di paragone per valutare soluzioni più complesse. Se un modello sofisticato non supera la baseline, la sua maggiore complessità non e giustificata.

Tecnica introdotta da Ioffe e Szegedy nel 2015 che normalizza le attivazioni di uno strato su ciascun mini-batch, per poi riscalarle con parametri appresi gamma e beta. Riduce l'internal covariate shift, permette learning rate più alti, accelera la convergenza e ha un effetto regolarizzante.

Numero di esempi di training elaborati insieme prima di ciascun aggiornamento dei pesi. Nella discesa del gradiente a mini-batch bilancia velocità e stabilita: batch grandi danno stime del gradiente più stabili ma richiedono più memoria, mentre batch piccoli introducono rumore che può favorire la generalizzazione.

Metodo per ottimizzare funzioni costose da valutare, usato nella ricerca di iperparametri. Costruisce un modello surrogato probabilistico dell'obiettivo, spesso un processo gaussiano, e sceglie il punto successivo con una funzione di acquisizione che bilancia esplorazione e sfruttamento, riducendo il numero di prove.

Errore sistematico che porta il modello a discostarsi in modo costante dai valori reali, dovuto a ipotesi troppo semplificative (bias di modello, legato all'underfitting) o a distorsioni presenti nei dati di addestramento. Da non confondere con il bias additivo, il parametro costante che ogni neurone somma ai propri ingressi.

Compromesso per cui l'errore di generalizzazione si scompone in bias, l'errore sistematico di un modello troppo semplice che va in underfitting, e varianza, la sensibilità eccessiva ai dati di training che porta a overfitting. Ridurre l'uno tende ad aumentare l'altro: l'ottimo minimizza l'errore totale.

Discretizzazione di una variabile continua in intervalli, o bin, trattati poi come categorie. Riduce l'effetto del rumore e degli outlier e può rendere non lineari le relazioni, al costo di una perdita di informazione fine.

Algoritmo di clustering gerarchico incrementale pensato per grandi dataset: costruisce una struttura ad albero (CF-tree) che riassume i dati in cluster feature, riducendo memoria e tempi di calcolo. È adatto all'elaborazione in streaming.

Tecnica di apprendimento ensemble che costruisce una sequenza di modelli deboli, ciascuno addestrato per correggere gli errori dei precedenti, combinandoli in un predittore forte. Riduce soprattutto il bias e aumenta l'accuratezza. Esempi noti sono AdaBoost e il gradient boosting (XGBoost, LightGBM).

Tecnica statistica che genera nuovi campioni ricampionando con reinserimento dal dataset originale, per stimare l'incertezza di una misura o addestrare modelli diversi. È il fondamento del bagging e permette di valutare la variabilità di una stima senza assumere una distribuzione teorica.

Metrica che valuta l'accuratezza delle probabilità predette calcolando lo scarto quadratico medio fra la probabilità assegnata e l'esito reale. Premia modelli ben calibrati: valori più bassi indicano previsioni probabilistiche più affidabili.

Proprietà per cui le probabilità previste da un modello coincidono con le frequenze reali osservate: tra i casi predetti al 70% circa il 70% dovrebbe risultare positivo. Si valuta con reliability diagram o Expected Calibration Error e si corregge a posteriori con metodi come Platt scaling o isotonic regression, ottenendo stime affidabili e non solo ben ordinate.

Libreria di gradient boosting su alberi decisionali progettata per gestire nativamente le variabili categoriche tramite una codifica ordinata (ordered boosting), riducendo il rischio di sovradattamento e di fuga di informazione dal target.

Strategia di deployment in cui un nuovo modello sfidante viene messo alla prova contro quello attualmente in produzione, sostituendolo solo se dimostra prestazioni migliori. Permette miglioramenti continui riducendo i rischi.

Probabilità a priori di ciascuna classe, cioè la sua frequenza attesa prima di osservare le feature. Entra nei classificatori bayesiani e va considerata quando la distribuzione delle classi in produzione differisce da quella di addestramento.

Compito di apprendimento supervisionato in cui il modello assegna a ogni input una classe da un insieme finito di etichette, apprendendo da esempi già etichettati. Può essere binaria o multiclasse; algoritmi tipici sono regressione logistica, SVM, alberi e reti neurali, valutati con accuratezza, precision, recall e F1.

Compito in cui il modello viene addestrato con esempi di una sola classe (i normali) e deve poi riconoscere se un nuovo dato appartiene a essa o ne è estraneo; usata quando la classe negativa manca o è poco rappresentata.

Compito di classificazione che assegna ogni esempio a una di due classi mutuamente esclusive, per esempio spam o non spam. È il caso più semplice di classificazione è la base di schemi come uno-contro-tutti per problemi con più classi.

Compito di classificazione che assegna ogni esempio a una sola tra tre o più classi mutuamente esclusive; detta anche multinomiale, si distingue dalla multi-etichetta, dove un esempio può ricevere più etichette contemporaneamente.

Clustering soft in cui ogni dato può appartenere a più gruppi con un grado di appartenenza compreso tra 0 e 1, anziché a un solo cluster; l'algoritmo tipico è il fuzzy c-means, utile per dati sovrapposti.

Metodo di clustering non supervisionato che costruisce una gerarchia di gruppi annidati: l'approccio agglomerativo parte dai singoli punti e li fonde iterativamente, quello divisivo procede al contrario. Il risultato si rappresenta con un dendrogramma, che tagliato a un dato livello fornisce i cluster.

Tecnica di clustering che tratta il raggruppamento come partizionamento di un grafo di similarità: calcola gli autovettori della matrice laplaciana, proietta i dati in uno spazio ridotto e vi applica un algoritmo come k-means.

Metodo semi-supervisionato in cui due modelli, addestrati su viste diverse dei dati, si scambiano le predizioni più sicure sui dati non etichettati per istruirsi a vicenda. Funziona bene quando le due viste sono sufficientemente indipendenti.

Indice che misura l'accordo fra due valutatori o fra predizioni e verità, correggendo per l'accordo atteso dal caso. Più informativo dell'accuratezza semplice quando le classi sono sbilanciate, vale 1 in caso di accordo perfetto.

Difficoltà di un sistema di raccomandazione a fare buone previsioni per utenti o item nuovi, privi di storico. Si affronta con informazioni di contenuto, dati demografici o strategie di esplorazione mirata.

Approccio alla raccomandazione che suggerisce item sfruttando le somiglianze fra i comportamenti degli utenti, secondo il principio che chi ha gusti simili gradirà cose simili. Non richiede di conoscere il contenuto degli item.

Cambiamento nel tempo della distribuzione statistica dei dati o della relazione tra input e output che un modello deve prevedere. Rende progressivamente meno accurate le regole apprese, imponendo monitoraggio e ri-addestramento periodico; è comune nei sistemi in streaming e nel rilevamento frodi.

Modello probabilistico discriminativo per l'etichettatura di sequenze che considera le dipendenze fra le etichette vicine. È stato molto usato per compiti come il riconoscimento di entità nominate prima della diffusione delle reti neurali profonde.

Valore numerico, spesso compreso tra 0 e 1, che esprime quanto il modello ritiene affidabile una previsione; nei classificatori deriva tipicamente dalla probabilità in uscita, ad esempio da una softmax. Consente di fissare soglie per accettare, scartare o inviare a revisione umana i casi più incerti.

Variabile che influenza sia la presunta causa sia l'effetto, creando associazioni fuorvianti fra di essi. Ignorare un fattore confondente porta a scambiare per causale una relazione che in realtà è spuria.

Tabella che incrocia le classi reali con quelle predette da un classificatore, riportando veri positivi, veri negativi, falsi positivi e falsi negativi. Da essa si derivano metriche come accuratezza, precision, recall e F1; nei problemi multiclasse diventa una matrice NxN con la diagonale che dà le predizioni corrette.

Metodo di raccomandazione che propone item simili, per attributi e contenuto, a quelli già graditi da un utente. A differenza del filtraggio collaborativo, si basa sulle caratteristiche degli oggetti più che sul comportamento della folla.

Condizione in cui il processo iterativo di ottimizzazione, ad esempio la discesa del gradiente, raggiunge uno stato stabile: la funzione di perdita smette di diminuire in modo significativo e i pesi si assestano attorno a un minimo. Si valuta con soglie sulla variazione della loss o del gradiente tra le iterazioni.

Misura dell’errore complessivo del modello sull’intero set di addestramento. Spesso è la media delle loss calcolate sui singoli esempi ed è la quantità che l’ottimizzazione cerca di minimizzare.

Approccio in cui l'apprendimento tiene conto del costo diverso dei vari tipi di errore, anziché trattarli allo stesso modo. Si usa una matrice dei costi che penalizza di più gli sbagli gravi, come i falsi negativi in ambito medico o antifrode, orientando il modello verso decisioni ottimali.

Criterio per la selezione dei modelli simile all'AIC ma con penalità più severa sulla complessità, pari a k·ln(n); tende a favorire modelli più semplici e si sceglie quello con valore minimo.

Criterio per la selezione dei modelli che bilancia bontà di adattamento e complessità penalizzando il numero di parametri con un termine pari a 2k; a parità di dati si preferisce il modello con AIC minore.

Funzione di perdita usata nella classificazione che misura la distanza tra la distribuzione di probabilità prevista dal modello e quella reale, penalizzando fortemente le previsioni sicure ma errate. Deriva dalla teoria dell'informazione e si abbina tipicamente all'uscita softmax.

Tecnica di validazione che partiziona i dati in k sottoinsiemi (fold): a turno uno funge da test e gli altri da training, mediando poi le prestazioni ottenute. La k-fold riduce la dipendenza da un singolo split e stima meglio la capacità di generalizzazione, risultando utile con dataset piccoli pur essendo più costosa in tempo di calcolo.

Strategia di addestramento che presenta al modello gli esempi in ordine crescente di difficoltà, ispirandosi al modo in cui gli esseri umani apprendono. Può accelerare e stabilizzare la convergenza.

Insieme di fenomeni che degradano gli algoritmi al crescere del numero di variabili: lo spazio si espande esponenzialmente, i dati diventano radi e le distanze tra punti tendono a uniformarsi, rendendo inefficaci i metodi basati sulla vicinanza. Spesso si contrasta riducendo la dimensionalità o selezionando le feature.

Generazione di nuovi esempi trasformando quelli esistenti, ad esempio ruotando o ritagliando immagini. Amplia il dataset e migliora la robustezza e la generalizzazione del modello.

Fase di preparazione in cui si correggono errori, si gestiscono i valori mancanti, si rimuovono duplicati e si risolvono incoerenze e formati non uniformi nei dati grezzi. Precede l'addestramento e ne condiziona fortemente la qualità: dati puliti sono il presupposto di un modello affidabile, secondo il principio garbage in, garbage out.

Cambiamento nel tempo della distribuzione dei dati in ingresso rispetto a quella su cui il modello è stato addestrato. Anche senza che cambi la relazione da apprendere, il drift degrada le prestazioni in produzione e va monitorato per decidere quando riaddestrare.

Fenomeno in cui informazioni del set di test o relative al futuro filtrano nell'addestramento, gonfiando le prestazioni misurate. Nasce ad esempio da variabili che incorporano il valore da prevedere, e produce modelli ottimi in prova ma deludenti sui dati reali.

Raccolta strutturata di dati, tipicamente organizzata in esempi descritti da variabili, usata per addestrare, validare o testare un modello. La sua qualità e rappresentatività condizionano direttamente le prestazioni ottenibili.

Algoritmo di clustering basato sulla densità dei punti: aggrega le regioni ad alta densità e non richiede di fissare in anticipo il numero di gruppi. Trova cluster di forma irregolare ed etichetta come rumore i punti isolati.

Superficie che separa le diverse classi nello spazio delle variabili di ingresso. La sua forma riflette la complessità del modello, da confini lineari a superfici molto articolate.

Ramo del machine learning che impiega reti neurali artificiali con molti strati, capaci di apprendere automaticamente rappresentazioni gerarchiche dei dati. È alla base dei risultati recenti in visione artificiale, linguaggio e riconoscimento vocale.

Insieme di tecniche che riducono il numero di variabili di un dataset conservandone l'informazione utile, per contrastare la maledizione della dimensionalità, accelerare i modelli e facilitare la visualizzazione. Metodi lineari come la PCA usano gli assi di massima varianza; t-SNE e UMAP colgono relazioni non lineari.

Strategia di ricerca degli iperparametri che valuta molte configurazioni con poche risorse, scarta le peggiori e assegna più risorse alle candidate migliori a ogni iterazione; in scikit-learn è HalvingGridSearchCV e HalvingRandomSearchCV.

Metodo di ottimizzazione che minimizza la funzione obiettivo aggiornando una coordinata, o un blocco di coordinate, alla volta e mantenendo fisse le altre; è impiegato per addestrare modelli come Lasso ed Elastic Net.

Variante base della discesa del gradiente che calcola il gradiente della funzione di perdita sull'intero insieme di addestramento a ogni passo; produce aggiornamenti stabili ma costosi sui dataset di grandi dimensioni.

Tecnica di regolarizzazione per reti neurali che, durante l’addestramento, disattiva casualmente una frazione di neuroni a ogni passo. Riduce la co-dipendenza tra unità e l’overfitting, migliorando la generalizzazione.

Tecnica che interrompe l’addestramento quando le prestazioni sui dati di validazione smettono di migliorare. Previene l’overfitting evitando di ottimizzare troppo sui dati di training.

Regressione lineare regolarizzata che combina le penalità di Ridge (L2) e Lasso (L1). Bilancia la riduzione dei pesi e la selezione delle variabili, gestendo bene feature correlate.

Metodo wrapper di selezione delle feature che addestra ripetutamente un modello, elimina a ogni passo le variabili meno importanti secondo i pesi o l'importanza stimata e itera fino al numero desiderato di feature.

Rappresentazione di dati discreti, come parole o categorie, tramite vettori numerici densi in uno spazio a bassa dimensione, in cui elementi simili occupano posizioni vicine. Consente ai modelli di cogliere relazioni semantiche.

Tecnica che combina le previsioni di più modelli per ottenere prestazioni superiori al singolo predittore. Sfruttando la diversità tra i modelli riduce varianza ed errore: esempi noti sono il bagging, come nelle random forest, e il boosting, che addestra i modelli in sequenza correggendo di volta in volta gli errori.

Nell’addestramento, un passaggio completo dell’algoritmo su tutti gli esempi del set di training. L’addestramento richiede in genere più epoche, durante le quali i pesi vengono aggiornati progressivamente per ridurre l’errore.

Metrica che quantifica la miscalibrazione di un classificatore probabilistico: suddivide le probabilità previste in intervalli e media, pesando per numerosità, lo scarto tra probabilità media e frequenza reale dei positivi.

Metrica di regressione che media il valore assoluto degli errori espressi come percentuale del valore reale; è di facile interpretazione ma diventa instabile quando i valori osservati sono prossimi allo zero.

Metrica di regressione che calcola l'errore quadratico medio tra i logaritmi dei valori previsti e osservati; penalizza le sottostime più delle sovrastime ed è adatta a target che crescono in modo esponenziale.

Algoritmo iterativo per stimare i parametri di modelli con variabili latenti, alternando un passo di stima delle variabili nascoste (E) e uno di aggiornamento dei parametri (M). È il metodo classico per addestrare i modelli a miscela gaussiana.

Capacità di spiegare come e perché un modello arriva a una previsione, rendendone comprensibile il comportamento. È fondamentale per fiducia, controllo, debug e conformità normativa.

Fenomeno per cui, durante la backpropagation in reti profonde o ricorrenti, i gradienti crescono in modo esponenziale destabilizzando l’aggiornamento dei pesi. Si contiene con tecniche come il gradient clipping, che ne limita l’ampiezza.

Media armonica di precision e recall, F1 = 2 (P R) / (P + R), che sintetizza in un unico valore tra 0 e 1 il bilanciamento tra le due misure. E preferibile all'accuratezza quando le classi sono sbilanciate, perché penalizza i modelli che trascurano i falsi positivi o i falsi negativi.

Algoritmo di rilevamento di anomalie che misura la deviazione di densità locale di un punto rispetto ai suoi vicini più prossimi. Un valore molto maggiore di 1 indica una densità inferiore a quella dei vicini e segnala un potenziale outlier.

Tecnica di riduzione dimensionale che approssima una matrice non negativa come prodotto di due matrici a elementi non negativi. I vincoli di non negatività producono rappresentazioni additive e facilmente interpretabili, usate per clustering e topic modeling.

Variabile in ingresso, o attributo misurabile, che descrive un esempio e viene usata dal modello per fare previsioni. La scelta e la qualità delle feature incidono spesso più dell’algoritmo sulle prestazioni.

Creazione di nuove variabili combinando due o più feature esistenti, per catturare interazioni che i modelli lineari non colgono da soli. Aumenta l’espressività ma va bilanciata contro la crescita della dimensionalità.

Processo di creazione, selezione e trasformazione delle variabili di input a partire dai dati grezzi per migliorare le prestazioni di un modello. Include normalizzazione, encoding delle variabili categoriche ed estrazione o combinazione di feature; spesso incide sui risultati più della scelta dell'algoritmo.

Trasformazione dei dati grezzi, come testo, immagini o segnali, in un insieme ridotto di variabili (feature) più informative e adatte al modello. Comprime l'informazione utile riducendo la dimensionalità; esempi sono i coefficienti TF-IDF ricavati dal testo o i descrittori estratti dai pixel di un'immagine.

Tecnica che mappa le feature, in particolare categorie ad altissima cardinalità, in un numero fisso di posizioni tramite una funzione di hash. Riduce memoria e dimensionalità a costo di possibili collisioni fra feature diverse.

Misura di quanto ciascuna variabile in ingresso contribuisce alle predizioni di un modello. Può essere stimata in vari modi, ad esempio dalla struttura degli alberi o permutando i valori di una feature e osservando il calo di prestazioni.

Trasformazione che porta le variabili su scale confrontabili, tramite standardizzazione (media zero e varianza unitaria) o normalizzazione nell'intervallo tra 0 e 1. Evita che le caratteristiche con valori grandi dominino l'apprendimento ed è cruciale per algoritmi basati su distanze e discesa del gradiente.

Processo di scelta del sottoinsieme di variabili più informative, scartando quelle irrilevanti o ridondanti. Migliora l'accuratezza, riduce costi computazionali e overfitting e rende i modelli più interpretabili; si attua con metodi filter, wrapper o embedded, a seconda di come valuta l'utilità delle feature.

Sistema centralizzato che raccoglie, versiona e distribuisce le feature calcolate, così che gli stessi valori siano disponibili in addestramento e in produzione. Riduce il rischio di train-serving skew e favorisce il riuso coerente delle feature.

Capacità di apprendere un nuovo compito da pochissimi esempi etichettati, sfruttando conoscenze acquisite in precedenza. Nei grandi modelli linguistici si realizza mostrando alcuni esempi direttamente nel prompt (in-context learning), senza riaddestrare i pesi; i casi estremi sono one-shot e zero-shot.

Fase in cui i dati d'ingresso attraversano la rete neurale strato dopo strato, combinandosi con pesi e bias e passando per le funzioni di attivazione, fino a produrre l'uscita. Precede il calcolo dell'errore tramite la funzione di costo e l'aggiornamento dei pesi mediante la backpropagation.

Tecnica che sostituisce ogni categoria con la sua frequenza di comparsa nel dataset. Utile con variabili ad alta cardinalità, comprime l’informazione in un singolo numero ma può confondere categorie diverse con la stessa frequenza.

Strato di rete neurale in cui ogni neurone è collegato a tutte le unità dello strato precedente, calcolando una somma pesata degli ingressi seguita da bias e funzione di attivazione. Detto anche strato denso, è la forma classica di livello e ricorre spesso negli stadi finali di classificazione.

Funzione applicata all'uscita di un neurone che introduce non linearità, permettendo alla rete di apprendere relazioni complesse tra ingressi e uscite. Senza di essa una rete equivarrebbe a una singola trasformazione lineare; esempi comuni sono ReLU, sigmoide e tangente iperbolica, scelti in base al compito.

Modello probabilistico che descrive i dati come miscela di più distribuzioni gaussiane, ciascuna con propria media e covarianza; i parametri si stimano di norma con l'algoritmo Expectation-Maximization. Serve per il clustering morbido, in cui ogni punto ha una probabilità di appartenere a ciascun gruppo anziché un'assegnazione netta.

Modello probabilistico non parametrico che definisce una distribuzione sulle funzioni, fornendo predizioni accompagnate da una misura di incertezza. È usato per regressione su pochi dati e come modello surrogato nell’ottimizzazione bayesiana.

Capacità di un modello di mantenere buone prestazioni su dati nuovi, non visti in addestramento. È l'obiettivo centrale del machine learning e dipende dall'equilibrio tra bias e varianza: un modello troppo semplice va in underfitting, uno troppo complesso in overfitting, memorizzando il rumore del training set.

Misura del grado di disomogeneità delle classi in un nodo di un albero decisionale: è nulla quando il nodo è puro e cresce col mescolarsi delle classi. Gli algoritmi la minimizzano scegliendo le suddivisioni che rendono i nodi figli più omogenei.

Tecnica d’insieme che costruisce modelli in sequenza, ognuno addestrato a correggere gli errori residui del precedente seguendo il gradiente della funzione di perdita. Produce previsioni molto accurate.

Algoritmo iterativo di ottimizzazione che minimizza una funzione di costo aggiornando i parametri nella direzione opposta al suo gradiente. È il metodo fondamentale per addestrare molti modelli, incluse le reti neurali.

Variante del metodo del momento che calcola il gradiente in un punto anticipato, ottenuto proiettando in avanti i parametri secondo la velocità accumulata; ne migliora la stabilità e la velocità di convergenza.

Metodo di ottimizzazione degli iperparametri che valuta in modo sistematico tutte le combinazioni di una griglia di valori predefinita. È esaustivo e semplice, ma il costo cresce esponenzialmente con il numero di parametri, tanto da risultare spesso meno efficiente della ricerca casuale.

Il valore reale e corretto associato a un esempio, usato come riferimento per addestrare un modello e misurarne le previsioni. Rappresenta la verità di riferimento e la sua qualità determina il limite massimo delle prestazioni ottenibili.

Strato intermedio di una rete neurale, collocato tra ingresso e uscita, i cui valori non sono osservati direttamente. È dove il modello combina le feature e costruisce rappresentazioni via via più astratte; la profondità della rete dipende dal numero di questi strati.

Modello probabilistico per sequenze in cui un processo a stati nascosti, che evolve secondo una catena di Markov, genera osservazioni visibili. È stato a lungo centrale in riconoscimento vocale e analisi di sequenze biologiche e testuali.

Funzione di perdita usata soprattutto dalle Support Vector Machine, che penalizza le predizioni non solo errate ma anche corrette con margine insufficiente. Spinge il modello a separare le classi con il massimo margine possibile, restando a zero solo oltre una certa soglia di confidenza.

Porzione di dati tenuta da parte e mai usata durante l'addestramento, riservata alla valutazione finale del modello. Fornisce una stima imparziale delle prestazioni su dati nuovi, ma con un solo campione è più soggetta a variabilità rispetto alla cross-validation.

Funzione di perdita che si comporta come l'errore quadratico per residui piccoli e come l'errore assoluto per quelli grandi. Combina sensibilità e robustezza, riducendo l'influenza eccessiva degli outlier tipica dello scarto quadratico puro.

Algoritmo di ottimizzazione degli iperparametri che estende il dimezzamento successivo provando diversi compromessi tra numero di configurazioni e risorse assegnate, per allocare in modo efficiente il budget di calcolo.

Parametro di configurazione impostato prima dell'addestramento, come il learning rate, il numero di strati o la forza di regolarizzazione. Non viene appreso dai dati ma scelto dal progettista, di solito tramite ricerca e validazione.

Ricerca della combinazione di iperparametri che massimizza le prestazioni di un modello, valutate su dati di validazione. Si realizza con strategie come grid search, random search o metodi bayesiani, ed è un passaggio cruciale per ottenere risultati competitivi.

Dataset in cui una classe è molto più frequente delle altre. Rende ingannevole l'accuratezza, perché un modello può ottenere punteggi alti prevedendo sempre la classe maggioritaria, e richiede tecniche dedicate come ricampionamento o metriche mirate.

Segnali indiretti sulle preferenze degli utenti, come clic, tempo di permanenza o acquisti, in assenza di valutazioni esplicite. È abbondante ma ambiguo, poiché un'interazione non indica necessariamente gradimento.

Processo di sostituzione dei valori mancanti con stime plausibili, come media, mediana o valori predetti da un modello. Consente di usare algoritmi che non tollerano dati assenti, con il rischio di introdurre distorsioni se fatta male.

Metrica di similarità pari alla dimensione dell'intersezione divisa per quella dell'unione tra insieme di etichette previste e reali; varia da 0 a 1 ed è usata soprattutto nella classificazione multi-etichetta.

Insieme di assunzioni che un modello adotta per generalizzare a dati non visti, andando oltre le sole osservazioni di addestramento. Senza queste ipotesi l'apprendimento sarebbe impossibile; esse determinano quali soluzioni il modello preferisce.

Fase in cui un modello già addestrato produce previsioni su nuovi dati, distinta dalla fase di addestramento. È l'uso pratico del modello in produzione, dove contano soprattutto la latenza e il costo computazionale delle predizioni.

Riduzione dell'entropia ottenuta suddividendo i dati secondo una feature; misura quanto quella variabile aiuta a separare le classi. Gli alberi decisionali scelgono a ogni passo la suddivisione che massimizza il guadagno informativo.

Algoritmo non supervisionato per il rilevamento di anomalie che isola i punti con partizionamenti casuali dello spazio. Gli outlier, essendo pochi e diversi, richiedono meno tagli per essere separati e ricevono così un punteggio di anomalia più alto.

Tecnica di calibrazione non parametrica che apprende una funzione monotona per mappare i punteggi di un modello in probabilità. Più flessibile del Platt scaling, richiede però più dati per non sovradattarsi.

Tecnica di validazione che divide i dati in K parti uguali, usando a turno una parte per la verifica e le restanti per l'addestramento. La stima finale è la media dei K cicli, riducendo la dipendenza da una singola suddivisione dei dati.

Algoritmo di clustering che partiziona i dati in K gruppi, assegnando ogni punto al centroide più vicino e ricalcolando iterativamente i centroidi. Richiede di fissare K in anticipo e converge a un minimo locale, sensibile all'inizializzazione.

Algoritmo di clustering per partizione simile a k-means, ma che usa come centro di ogni cluster un punto reale dei dati (medoide) anziché la media. È più robusto agli outlier e utilizzabile con metriche di distanza arbitrarie.

Algoritmo che classifica o predice un esempio in base ai suoi K vicini più prossimi nello spazio delle feature. Non ha una vera fase di addestramento, ma il costo di predizione e la sensibilità alla scala e alla dimensionalità crescono con i dati.

Espediente che consente ad algoritmi come le SVM di operare in uno spazio di caratteristiche ad alta dimensione senza calcolarne esplicitamente le coordinate, usando solo prodotti scalari tramite una funzione kernel. Rende trattabili separazioni non lineari.

Metodo quasi-Newton a memoria limitata che approssima l'inversa dell'hessiana conservando solo gli ultimi aggiornamenti di parametri e gradiente; è efficiente in memoria ed è un solutore comune per la regressione logistica.

La risposta corretta associata a un esempio nei dati supervisionati, ciò che il modello impara a prevedere. Può essere una classe nella classificazione o un valore numerico nella regressione, e la sua qualità è determinante per l'apprendimento.

Conversione di categorie in numeri interi, una etichetta per valore distinto. È semplice e compatta, ma introduce un ordine numerico inesistente tra le categorie, per cui su variabili nominali si preferisce spesso il one-hot encoding.

Presenza di etichette errate nei dati di addestramento, dovute a errori di annotazione o ambiguità. Degrada le prestazioni e può portare il modello a memorizzare errori; esistono metodi di apprendimento robusti pensati per attenuarne l'effetto.

Algoritmo semi-supervisionato che diffonde le etichette note ai punti vicini lungo un grafo di similarità fra esempi. Sfrutta l'ipotesi che dati simili condividano l'etichetta, propagandola dalle poche istanze annotate a quelle non etichettate.

Regressione lineare con penalità L1 sui coefficienti, che tende ad azzerare i pesi delle variabili meno utili. Esegue così una selezione automatica delle feature, producendo modelli sparsi e più interpretabili rispetto alla regressione ordinaria.

Grafico che mostra come l'errore su training e validation set evolve al crescere dei dati o delle epoche di addestramento. Serve a diagnosticare overfitting (ampio divario fra le due curve) o underfitting (errore alto e vicino su entrambe), guidando la scelta se raccogliere più dati o aumentare la capacità del modello.

Iperparametro che regola l'ampiezza dell'aggiornamento dei pesi a ogni passo della discesa del gradiente. Se troppo alto l'addestramento oscilla o diverge, se troppo basso converge molto lentamente: è uno dei parametri più critici da tarare.

Strategia che fa variare il learning rate durante l'addestramento anziché tenerlo fisso, tipicamente riducendolo nel tempo o con cicli. Aiuta a convergere più rapidamente all'inizio e a rifinire con precisione i pesi nelle fasi finali.

Famiglia di tecniche di apprendimento supervisionato che addestrano un modello a ordinare un insieme di elementi per rilevanza, anziché a classificarli o predirne un valore. È alla base di motori di ricerca e sistemi di raccomandazione, dove conta l'ordine dei risultati.

Caso estremo di cross-validation in cui ogni singolo esempio a turno funge da set di test mentre tutti gli altri addestrano il modello. Offre una stima quasi non distorta dell'errore ma è molto costosa su dataset grandi.

Misura di quanto un modello migliori la selezione di casi positivi rispetto a una scelta casuale, all'interno di un dato sottoinsieme ordinato per punteggio. È molto usata in marketing per valutare campagne e segmentazioni.

Libreria di gradient boosting su alberi decisionali che usa il binning a istogramma delle caratteristiche e la crescita foglia per foglia (leaf-wise). Offre addestramento veloce e basso consumo di memoria su grandi dataset.

Tecnica supervisionata che cerca le combinazioni lineari di variabili che separano al meglio le classi, massimizzando la varianza tra classi rispetto a quella interna. È usata sia per la riduzione della dimensionalità sia come classificatore.

Metodo di apprendimento di varietà (manifold) che riduce la dimensionalità preservando le relazioni lineari locali: ogni punto è ricostruito come combinazione dei propri vicini e si cerca una proiezione a bassa dimensione che ne mantenga i pesi.

Metrica che valuta previsioni probabilistiche penalizzando gli errori tanto più quanto sono espressi con alta confidenza. Coincide con l'entropia incrociata e premia i modelli ben calibrati; è minima quando le probabilità stimate coincidono con quelle reali.

Funzione che quantifica quanto le previsioni di un modello si discostano dai valori reali su un esempio o sull'intero dataset. L'addestramento consiste nel minimizzarla; la sua scelta dipende dal compito, ad esempio l'errore quadratico per la regressione.

Due modi di aggregare una metrica su più classi: la media macro tratta ogni classe con lo stesso peso, la media micro pesa in base al numero di esempi. La scelta cambia il giudizio in presenza di classi sbilanciate.

Distanza fra il confine di decisione e gli esempi più vicini di ciascuna classe. Massimizzare il margine, come fanno le SVM, tende a produrre classificatori con migliore capacità di generalizzazione e maggiore robustezza al rumore.

Tecnica che scompone la matrice utenti-item in fattori latenti a bassa dimensione, rivelando dimensioni nascoste di preferenza. È stata un pilastro dei sistemi di raccomandazione, capace di prevedere valutazioni mancanti.

Coefficiente che riassume in un solo valore la qualità di una classificazione binaria tenendo conto di tutte le celle della matrice di confusione. È particolarmente affidabile con classi sbilanciate, dove l'accuratezza risulta ingannevole.

Media dei valori assoluti degli scarti tra previsioni e valori reali. Esprime l'errore nell'unità di misura della variabile ed è più robusta agli outlier rispetto all'errore quadratico, perché non ne amplifica gli scarti grandi.

Algoritmo di clustering non parametrico che sposta iterativamente ogni punto verso la media dei campioni contenuti in una finestra (bandwidth), convergendo ai modi della densità stimata. Non richiede di specificare a priori il numero di cluster.

Media dei quadrati degli scarti tra previsioni e valori reali. Elevando al quadrato penalizza fortemente gli errori grandi ed è sensibile agli outlier; la sua radice, RMSE, riporta l'errore nell'unità di misura originale della variabile.

Le tre famiglie di selezione delle feature: i metodi filtro le valutano con criteri statistici indipendenti dal modello, i wrapper provano sottoinsiemi addestrando un modello, gli embedded selezionano durante l'addestramento come nel Lasso.

Euristica per scegliere il numero di cluster k: si traccia una metrica di errore (tipicamente l'inerzia) al variare di k e si individua il valore in corrispondenza del quale la curva forma un gomito, oltre cui i miglioramenti diventano marginali.

Metodo di ottimizzazione del secondo ordine che aggiorna i parametri usando l'inversa della matrice hessiana oltre al gradiente; converge in pochi passi ma è costoso perché richiede il calcolo e l'inversione dell'hessiana.

Normalizzazione che riscala i valori di una feature in un intervallo fisso, tipicamente fra 0 e 1. Preserva la forma della distribuzione ma è sensibile agli outlier, che possono comprimere il resto dei dati.

Variante della discesa del gradiente che aggiorna i pesi su piccoli gruppi di esempi anziché su uno solo o sull'intero dataset. Unisce la stabilità del metodo batch alla velocità di quello stocastico ed è lo standard nell'addestramento delle reti.

Metodo di stima dei parametri di un modello di regressione lineare che minimizza la somma dei quadrati dei residui, ossia delle differenze tra valori osservati e valori predetti dal modello. Sotto le ipotesi di Gauss-Markov fornisce gli stimatori lineari non distorti a varianza minima.

Valori assenti in un dataset, dovuti a errori di raccolta o mancate risposte. Molti algoritmi non li tollerano, per cui vanno gestiti rimuovendo righe o colonne oppure stimandoli tramite imputazione; il meccanismo che li genera influenza la strategia migliore.

Misura di quanto un modello è in grado di rappresentare relazioni complesse, legata al numero di parametri e alla ricchezza della famiglia di funzioni. Troppa capacità favorisce l'overfitting, troppo poca l'underfitting: va bilanciata con i dati disponibili.

Messa in produzione di un modello addestrato perché fornisca previsioni a utenti o sistemi reali, tramite API, servizio o batch. Trasforma un esperimento in un servizio utilizzabile e monitorabile.

Calo di prestazioni di un modello nel tempo perché i dati reali si allontanano da quelli di addestramento (data o concept drift). Richiede monitoraggio e riaddestramento periodico.

Sistema centralizzato che cataloga i modelli addestrati con versioni, metriche, metadati e stato del ciclo di vita. Garantisce tracciabilità e riproducibilità, facilitando promozione, rollback e governance dei modelli in produzione.

Rappresentazione appresa dai dati durante l'addestramento: la funzione con i suoi parametri che, dato un input, produce previsioni o classificazioni. È il risultato prodotto dall'algoritmo di apprendimento, non l'algoritmo stesso.

Tecnica che accelera il gradient descent accumulando la direzione dei passi precedenti in una media mobile. Riduce le oscillazioni e aiuta a superare piccoli avvallamenti della funzione di costo.

Problema di classificazione in cui a ogni esempio possono essere associate contemporaneamente più etichette, non mutuamente esclusive. Si distingue dalla classificazione multi-classe, dove si sceglie una sola categoria, e richiede metriche e strategie di addestramento dedicate.

Situazione in cui due o più variabili predittive di un modello sono fortemente correlate fra loro. Rende instabili e difficili da interpretare i coefficienti stimati, pur non danneggiando necessariamente la capacità predittiva complessiva.

Rete neurale feed-forward con uno o più strati nascosti tra ingresso e uscita e funzioni di attivazione non lineari. Può approssimare relazioni complesse e non lineari fra input e output.

Ottimizzatore che combina Adam con il momento di Nesterov: applica la correzione anticipata del gradiente al metodo a momenti adattivi, spesso accelerando la convergenza rispetto ad Adam.

Classificatore probabilistico basato sul teorema di Bayes che assume l'indipendenza condizionata delle caratteristiche data la classe. Veloce ed efficace, in particolare nella classificazione di testi.

Metrica di valutazione per problemi di ranking che premia il collocare gli elementi più rilevanti in cima alla lista, scontando la rilevanza in base alla posizione. Normalizzata rispetto all'ordinamento ideale, restituisce un valore fra 0 e 1.

Schema di validazione con due cicli annidati: quello interno seleziona gli iperparametri, quello esterno stima le prestazioni del modello così ottimizzato. Fornisce una valutazione meno ottimistica rispetto alla cross-validation semplice, perché la scelta degli iperparametri non contamina la stima finale dell'errore.

Unità di calcolo di base di una rete neurale: combina gli ingressi moltiplicati per pesi, somma un termine di bias e applica una funzione di attivazione non lineare per produrre l'uscita. Ispirato in modo lontano al neurone biologico, è il mattone elementare delle reti profonde.

Principio per cui, mediando su tutti i problemi possibili, nessun algoritmo di apprendimento è superiore agli altri. La scelta va calibrata sul compito specifico e sulle sue assunzioni.

Riscalatura dei valori di una variabile in un intervallo fisso, tipicamente tra 0 e 1. Uniforma le scale delle feature prima dell'addestramento, evitando che quelle con range ampio dominino.

Rappresentazione di una variabile categorica con colonne binarie, una per ciascun valore possibile, dove solo la colonna corrispondente vale 1. Evita di introdurre falsi ordinamenti tra le categorie.

Strategia che affronta la classificazione multi-classe addestrando un classificatore binario per ogni classe contro tutte le altre. In predizione si sceglie la classe con il punteggio più alto; è semplice ma può soffrire di sbilanciamento fra i sottoproblemi.

Modalità in cui il modello si aggiorna in modo incrementale man mano che arrivano nuovi dati, uno o pochi alla volta, senza rivedere l'intero dataset. Adatto a flussi continui e contesti che cambiano.

Algoritmo di clustering basato sulla densità che, come DBSCAN, non richiede il numero di cluster ma produce un ordinamento dei punti che rappresenta la struttura di densità a più livelli, permettendo di estrarre cluster con densità differenti.

Codifica che assegna alle categorie numeri interi secondo un ordine. È appropriata solo quando esiste una gerarchia naturale fra i valori, altrimenti introduce relazioni d'ordine inesistenti che possono fuorviare il modello.

Tecnica per predire una variabile categorica le cui classi hanno un ordine naturale ma non una distanza numerica definita, come i livelli di un giudizio da 1 a 5. Sta a metà fra classificazione e regressione, sfruttando l'ordinamento delle categorie senza trattarle come numeri.

Stima dell'errore di un modello a foreste casuali calcolata usando, per ogni albero, i soli campioni non estratti nel suo campione bootstrap. Fornisce una valutazione delle prestazioni quasi gratuita, senza bisogno di un set di validazione separato.

Condizione in cui un dato in ingresso proviene da una distribuzione diversa da quella vista durante l'addestramento. Un modello tende a produrre predizioni inaffidabili ma spesso troppo sicure sui campioni OOD, per questo il loro rilevamento è cruciale per la robustezza e la sicurezza dei sistemi ML.

Osservazione molto distante dalle altre, dovuta a errori di misura o a casi genuinamente rari. Se non individuata può distorcere statistiche, addestramento e metriche del modello; si rileva con metodi statistici o basati sulla distanza e si gestisce rimuovendola, correggendola o adottando modelli robusti.

Adattamento eccessivo del modello ai dati di addestramento, di cui memorizza anche il rumore e i dettagli casuali invece delle regolarita generali. Ne risulta un'ottima accuratezza sul training ma una scarsa capacità di generalizzare a dati nuovi; si contrasta con regolarizzazione, più dati o modelli meno complessi.

Aumento del numero di esempi della classe minoritaria, per duplicazione o generazione sintetica (es. SMOTE), per riequilibrare un dataset sbilanciato. Aiuta il modello a non ignorare i casi rari.

Grafico che mostra l'effetto marginale di una o due feature sulla predizione del modello, mediando l'influenza di tutte le altre. Serve a capire la direzione e la forma della relazione appresa fra una variabile e l'output, oltre il semplice valore di importanza.

Il modello di neurone artificiale più semplice, proposto da Frank Rosenblatt nel 1958: calcola una somma pesata degli ingressi seguita da una funzione a soglia che restituisce una decisione binaria. Dotato di una regola di apprendimento supervisionato, è il mattone storico delle reti neurali.

Metrica per la classificazione, in particolare multi-etichetta, pari alla frazione media di etichette predette in modo errato; vale 0 con predizione perfetta ed è più tollerante della perdita zero-uno.

Metodo di calibrazione che trasforma i punteggi grezzi di un classificatore in probabilità adattandovi una funzione logistica (sigmoide). È usato tipicamente con le SVM per ottenere output probabilistici affidabili anziché semplici segni di decisione.

Nuove variabili ottenute elevando a potenza o moltiplicando fra loro le feature originali, per permettere a modelli lineari di cogliere relazioni non lineari. Aumentano l'espressività ma anche il rischio di overfitting e il numero di dimensioni.

Probabilità di un'ipotesi dopo aver osservato i dati, ottenuta dal teorema di Bayes combinando probabilità a priori e verosimiglianza. Aggiorna una stima iniziale alla luce delle evidenze.

Metrica di classificazione che misura, tra gli esempi predetti come positivi, la frazione realmente positiva: veri positivi diviso la somma di veri e falsi positivi. Indica quanto è affidabile una previsione positiva e si valuta insieme al recall, spesso combinandoli nella F1-score.

Metrica di ranking che misura la frazione di elementi rilevanti fra i primi K risultati proposti. È usata quando all'utente interessa solo la parte alta della lista, come nei motori di ricerca e nei sistemi di raccomandazione.

Grafico che mostra la relazione tra precision e recall al variare della soglia di decisione di un classificatore; l'area sottesa ne sintetizza le prestazioni. E più informativo della curva ROC quando le classi sono fortemente sbilanciate, perché non viene gonfiato dal gran numero di veri negativi.

Compito supervisionato in cui l'output non è un singolo valore ma un oggetto strutturato con parti interdipendenti, come una sequenza, un albero o un grafo; esempi tipici sono l'etichettatura di sequenze e il parsing sintattico.

Compito che stima i valori futuri di una grandezza a partire dalle sue osservazioni passate ordinate nel tempo, sfruttando componenti come trend e stagionalità; applicato a domanda, prezzi, consumi energetici e meteo.

Tecnica di riduzione della dimensionalità che proietta i dati su nuove variabili ortogonali (componenti principali) ordinate per varianza spiegata, conservando la maggior variabilità possibile in poche dimensioni.

Algoritmo di clustering che individua un insieme di esemplari rappresentativi scambiando messaggi di responsabilità e disponibilità tra i punti. Determina automaticamente il numero di cluster, ma ha complessità quadratica nel numero di campioni.

Metodo semi-supervisionato in cui un modello addestrato sui dati etichettati assegna etichette provvisorie ai dati non etichettati, che vengono poi riusati per riaddestrarlo. Sfrutta grandi quantità di dati non annotati, con il rischio di rinforzare i propri errori se le pseudo-etichette sono sbagliate.

Tecnica di regressione che stima quantili condizionati della variabile obiettivo, ad esempio la mediana, anziché la sola media. Fornisce un quadro più completo della distribuzione ed è robusta agli outlier.

Indice che misura la quota di variabilità della variabile obiettivo spiegata da un modello di regressione. Vale 1 per un adattamento perfetto e 0 per un modello equivalente alla media; può essere negativo per modelli peggiori.

Funzione kernel il cui valore dipende dalla distanza fra due punti, molto usata nelle SVM per creare confini di decisione flessibili e non lineari. Un iperparametro (gamma) ne regola l'ampiezza, controllando quanto localmente il modello reagisce ai dati.

Metrica di errore per la regressione pari alla radice quadrata dell'errore quadratico medio; esprime lo scarto tipico tra valori previsti e osservati nella stessa unità di misura del target e penalizza più fortemente gli errori grandi.

Insieme di molti alberi decisionali, addestrati su campioni bootstrap e sottoinsiemi casuali di feature, le cui previsioni vengono aggregate per voto o media. Più robusto e accurato di un singolo albero e meno soggetto a overfitting.

Metodo di ottimizzazione degli iperparametri che campiona combinazioni casuali dallo spazio di ricerca. Spesso trova buone soluzioni più in fretta della ricerca a griglia, soprattutto quando pochi iperparametri sono davvero influenti.

Metrica di valutazione che, tra gli esempi realmente positivi, indica la frazione individuata dal modello, cioè i veri positivi sul totale dei positivi reali. Misura la capacità di non lasciarsi sfuggire i casi rilevanti ed è complementare alla precisione nel giudizio su un classificatore.

Metrica che indica quanti degli elementi rilevanti totali compaiono fra i primi K risultati. Complementare alla precision a K, valuta la capacità del sistema di recuperare gli item importanti in una lista di lunghezza limitata.

Sistema che suggerisce contenuti o prodotti in base a preferenze e comportamenti degli utenti, tipicamente con approcci di filtraggio collaborativo o basato sul contenuto. Alla base di piattaforme di streaming ed e-commerce.

Tecnica di data mining non supervisionata che individua relazioni frequenti del tipo se-allora tra insiemi di elementi (itemset) nei dati. Le regole si valutano con misure come supporto, confidenza e lift; tipico esempio è l'analisi del carrello.

Categoria di problemi di apprendimento supervisionato in cui il modello predice una variabile numerica continua a partire dalle feature di ingresso, minimizzando una perdita come l'errore quadratico medio. Un esempio classico è la regressione lineare; si distingue dalla classificazione, che predice categorie.

Estensione delle macchine a vettori di supporto ai problemi di regressione: cerca una funzione che si discosti dai valori osservati al più di una tolleranza epsilon, penalizzando solo gli errori oltre tale margine e usando il trucco del kernel per relazioni non lineari.

Modello lineare generalizzato per variabili di conteggio in cui la risposta segue una distribuzione di Poisson e il logaritmo del valore atteso è funzione lineare dei predittori. Si usa quando l'esito è un numero di eventi non negativo.

Algoritmo che modella la relazione tra variabili come combinazione lineare delle feature, stimando la retta (o iperpiano) che meglio approssima i dati. Predice valori continui in modo semplice e interpretabile.

Algoritmo di classificazione che stima, tramite la funzione logistica, la probabilità che un esempio appartenga a una classe. Nonostante il nome, serve a separare categorie, non a predire valori continui.

Insieme di tecniche che limitano la complessità di un modello per prevenire l'overfitting e migliorare la generalizzazione. Di solito si aggiunge alla funzione di costo una penalita sui pesi: la norma L2 (ridge) li riduce, la L1 (lasso) ne azzera alcuni. Rientrano anche dropout ed early stopping.

Funzione di attivazione definita come max(0, x): lascia invariati i valori positivi e azzera i negativi. Semplice ed efficiente, con derivata unitaria nella zona positiva attenua il problema dei gradienti che svaniscono; può però soffrire del 'dying ReLU', con neuroni bloccati a zero che smettono di apprendere.

Modello di apprendimento ispirato ai neuroni biologici, formato da strati di nodi connessi tramite pesi. Ogni nodo somma gli ingressi pesati e applica una funzione di attivazione non lineare; l'addestramento aggiorna i pesi tramite backpropagation e discesa del gradiente per minimizzare una funzione di perdita. Alla base del deep learning per visione e linguaggio.

Modelli grafici probabilistici in cui un grafo aciclico diretto rappresenta le dipendenze condizionali tra variabili casuali. Ogni nodo porta una distribuzione condizionata ai genitori e permette di calcolare in modo efficiente probabilità e inferenze.

Regressione lineare che aggiunge alla perdita una penalita proporzionale alla norma L2 dei coefficienti, proposta da Hoerl e Kennard (1970) e caso della regolarizzazione di Tikhonov. Il parametro lambda restringe i pesi verso zero senza annullarli, riducendo varianza e overfitting; utile con predittori correlati.

Individuazione di osservazioni che si discostano dai dati normali, addestrando il modello su un insieme non contaminato da anomalie; a differenza del rilevamento di outlier, è considerato rilevamento di anomalie semi-supervisionato.

Ottimizzatore che adatta il learning rate dividendo il gradiente per la radice della media mobile dei suoi quadrati. Stabilizza l’addestramento normalizzando gli aggiornamenti su gradienti irregolari.

Ridimensionamento delle feature basato su mediana e scarto interquartile anziché su media e deviazione standard. Essendo insensibile ai valori estremi, è preferibile quando i dati contengono outlier marcati.

Curva che traccia il tasso di veri positivi (recall) contro il tasso di falsi positivi al variare della soglia di decisione di un classificatore. L'area sotto la curva (AUC) ne misura la capacità discriminante, da 0,5 (casuale) a 1 (perfetta), e aiuta a scegliere il punto di lavoro.

In ottimizzazione, punto in cui il gradiente è nullo ma che non è né minimo né massimo locale: lungo alcune direzioni la funzione cresce, lungo altre decresce. Nelle reti neurali profonde questi punti sono più frequenti dei minimi locali e possono rallentare la discesa del gradiente.

Distorsione che nasce quando il campione raccolto non rappresenta fedelmente la popolazione di interesse. Un modello addestrato su dati non rappresentativi generalizza male, riproducendo le lacune della raccolta.

Famiglia di tecniche di riduzione dimensionale che collocano i dati in uno spazio a bassa dimensione preservando il più possibile le distanze o dissimilarità a coppie tra i punti originari. È usata soprattutto per la visualizzazione dei dati.

Errore sistematico dovuto al modo in cui gli esempi vengono selezionati per l'analisi, che li rende non casuali rispetto al fenomeno studiato. Può portare a conclusioni valide solo per il sottoinsieme osservato e non per la realtà completa.

Metodo di selezione che valuta ogni feature singolarmente con un test statistico rispetto al target e conserva le migliori, ad esempio con SelectKBest o SelectPercentile; funge da rapido passo di pre-elaborazione.

Rilascio in cui un nuovo modello riceve il traffico reale in parallelo a quello in produzione senza però influenzare le decisioni. Consente di validarne il comportamento su dati veri prima di affidargli le risposte effettive.

SHAP (SHapley Additive exPlanations), introdotto da Lundberg e Lee nel 2017, e un metodo di interpretabilita basato sui valori di Shapley della teoria dei giochi: attribuisce a ciascuna feature un contributo additivo alla singola previsione. Spiega in modo coerente anche modelli complessi come ensemble e reti neurali.

Funzione di attivazione logistica, definita come 1/(1+e^-x), che comprime ogni valore reale nell'intervallo tra 0 e 1. È usata per stimare probabilità, ad esempio nell'output della regressione logistica. Soffre del gradiente evanescente: agli estremi la derivata tende a zero, rallentando l'addestramento.

Metrica di validazione del clustering, proposta da Rousseeuw nel 1987, che per ogni punto confronta la distanza media dai membri del proprio cluster con quella dal cluster più vicino. Assume valori tra -1 e 1: vicino a 1 indica cluster compatti e ben separati. La media aiuta a scegliere il numero di gruppi ottimale.

SMOTE (Synthetic Minority Over-sampling Technique), proposto da Chawla e colleghi nel 2002, riequilibra dataset sbilanciati generando esempi sintetici della classe minoritaria. Per ogni istanza sceglie alcuni dei k vicini più prossimi e crea nuovi punti interpolando lungo il segmento che li unisce.

Funzione che trasforma un vettore di valori reali (logit) in una distribuzione di probabilità: esponenzia ciascuna componente e la normalizza dividendo per la somma degli esponenziali, ottenendo valori positivi che sommano a uno. Usata nello strato di uscita dei classificatori multi-classe e nel calcolo dei pesi del meccanismo di attenzione.

Tecnica di selezione delle feature di tipo filtro che rimuove le variabili la cui varianza è inferiore a una soglia prefissata, eliminando le feature quasi costanti che apportano poca informazione al modello.

Proporzione di casi negativi correttamente identificati come tali da un classificatore. Complementare alla sensibilità, è cruciale in contesti come lo screening medico, dove contano sia i falsi positivi sia i falsi negativi.

Correlazione statistica fra due variabili priva di un reale legame causale, spesso dovuta al caso o a un fattore comune nascosto. I modelli possono sfruttarla in addestramento e poi fallire quando quella coincidenza svanisce.

Tecnica ensemble che combina modelli eterogenei su due livelli: diversi modelli base producono previsioni che diventano input di un meta-modello, addestrato a fonderle nella stima finale. Per evitare data leakage le previsioni base si generano in cross-validation. Combina punti di forza di approcci diversi.

Trasformazione che riscala una variabile sottraendo la media e dividendo per la deviazione standard (z-score), portandola a media zero e varianza uno. E utile per algoritmi sensibili alla scala come SVM, k-means, PCA o la regressione regolarizzata, evitando che le feature con valori ampi prevalgano.

Indice che riassume la capacità discriminante di un classificatore come sensibilità più specificità meno uno; il suo massimo sulla curva ROC individua la soglia di decisione ottimale ed è indipendente dalla prevalenza.

Compito, tipicamente non supervisionato, che stima la funzione di densità di probabilità che ha generato i dati a partire da un campione; può essere parametrica o non parametrica, come nella stima kernel (KDE).

Variante della discesa del gradiente che aggiorna i pesi stimando il gradiente su un singolo esempio o un piccolo mini-batch anziché sull'intero dataset. Il rumore introdotto aiuta a sfuggire ai minimi locali, riduce il costo per iterazione ed è adatto ad addestrare modelli su grandi moli di dati.

Campionamento che preserva nelle partizioni le stesse proporzioni fra le classi presenti nel dataset completo. È essenziale con classi sbilanciate, perché evita che train o test finiscano privi di una categoria o ne alterino la frequenza.

Algoritmo di apprendimento supervisionato, formalizzato da Cortes e Vapnik nel 1995, che separa le classi cercando l'iperpiano a margine massimo tra i punti più vicini (vettori di supporto). Con il kernel trick gestisce confini non lineari proiettando i dati in spazi ad alta dimensione; efficace con molte feature.

Variante non supervisionata delle macchine a vettori di supporto per il rilevamento di anomalie: apprende una frontiera che racchiude i dati normali di addestramento e classifica come anomali i punti che ne cadono al di fuori.

Tecnica non lineare di riduzione dimensionale proposta da van der Maaten e Hinton (2008) per visualizzare dati ad alta dimensione in 2 o 3D. Rappresenta le similarità tra punti come probabilità e minimizza la divergenza di Kullback-Leibler tra spazio originale e mappa, con una t di Student che conserva i cluster.

Funzione di attivazione tangente iperbolica che comprime qualsiasi input nell'intervallo tra -1 e 1 con andamento sigmoidale. Essendo centrata sullo zero facilita l'ottimizzazione rispetto alla sigmoide logistica, ma soffre anch'essa del gradiente evanescente per input di grande modulo, saturando agli estremi.

Tecnica di codifica delle variabili categoriche che sostituisce ogni categoria con una statistica della variabile obiettivo calcolata su quella categoria, tipicamente la media. È potente con categorie ad alta cardinalità, ma va applicata con schemi di regolarizzazione o out-of-fold per evitare data leakage.

Proporzione di esempi negativi erroneamente classificati come positivi, pari a FP/(FP+VN); è l'asse orizzontale della curva ROC, complementare alla specificità, e cresce al diminuire della soglia di decisione.

Struttura dati che generalizza scalari, vettori e matrici a un numero arbitrario di dimensioni, identificato dal suo rango (numero di assi) e dalla forma. Nel deep learning e il formato con cui reti neurali e framework come TensorFlow e PyTorch rappresentano input, pesi e attivazioni, sfruttando il calcolo su GPU.

Coppie di esempi di classi diverse che sono reciprocamente i più vicini. Rimuoverli, tipicamente eliminando l'elemento della classe maggioritaria, pulisce i confini fra le classi ed è usato per bilanciare i dataset sbilanciati.

Suddivisione del dataset in un insieme di addestramento, su cui il modello impara, e uno di test, tenuto separato per stimarne le prestazioni su esempi mai visti. Misura la capacità di generalizzazione ed evidenzia l'overfitting; spesso si aggiunge un insieme di validazione distinto per la scelta degli iperparametri senza contaminare il test finale.

Porzione del dataset su cui il modello apprende, regolando i parametri per minimizzare la funzione di perdita sugli esempi osservati. E di norma la parte più consistente dei dati, distinta dal validation set, per la scelta degli iperparametri, e dal test set, per la stima finale su dati mai visti.

Tecnica che riusa un modello già addestrato su un compito ricco di dati come punto di partenza per un compito correlato, riadattandone i pesi con il fine-tuning. Sfruttando le rappresentazioni apprese riduce i dati e il tempo necessari; e diffusa in visione (ImageNet) e NLP (BERT, GPT).

Architettura di rete neurale introdotta da Vaswani et al. nel 2017 nel lavoro Attention Is All You Need, basata interamente sul meccanismo di self-attention senza ricorrenza né convoluzioni. Elabora le sequenze in parallelo ed è alla base di modelli linguistici come BERT e GPT.

Famiglia di trasformazioni, come Box-Cox e Yeo-Johnson, che rende una distribuzione più simile a una gaussiana. Stabilizza la varianza e attenua l'asimmetria, migliorando le prestazioni dei modelli sensibili alla forma dei dati.

Potatura di un albero decisionale che rimuove rami poco utili per contenere l'overfitting e migliorare la generalizzazione. Può avvenire fermando la crescita in anticipo o tagliando a posteriori i rami che non riducono l'errore di validazione.

UMAP (Uniform Manifold Approximation and Projection), proposto da McInnes, Healy e Melville nel 2018, e una tecnica di riduzione dimensionale non lineare fondata su geometria riemanniana e topologia algebrica. Serve a visualizzare dati ad alta dimensione, e più veloce di t-SNE e ne preserva meglio la struttura globale.

Situazione in cui un modello è troppo semplice o poco addestrato per cogliere la struttura dei dati, con errore elevato sia sul training set sia sui dati nuovi. Indica bias alto e si contrappone all'overfitting; si mitiga aumentando la capacità del modello, aggiungendo feature o riducendo la regolarizzazione.

Tecnica di bilanciamento per dataset sbilanciati che riduce il numero di esempi della classe maggioritaria, eliminandoli casualmente o con criteri mirati come Tomek links, fino ad avvicinarsi alla numerosità della classe minoritaria. È rapida e alleggerisce l'addestramento, ma rischia di scartare informazione utile.

Verifica delle prestazioni del modello su un insieme di dati non usati per l'addestramento, distinto sia dal training set sia dal test finale. Serve a regolare gli iperparametri e a selezionare il modello migliore stimandone la capacità di generalizzare; tecniche comuni sono l'hold-out e la cross-validation.

Fenomeno per cui, durante la backpropagation in reti profonde, i gradienti si riducono strato dopo strato fino a diventare quasi nulli, impedendo l'aggiornamento dei pesi dei primi livelli e frenando l'apprendimento. E aggravato da funzioni come la sigmoide e mitigato da ReLU, connessioni residue e normalizzazione.

Indice che quantifica quanto la varianza del coefficiente di una variabile sia gonfiata dalla sua correlazione con le altre. Valori elevati segnalano multicollinearità e suggeriscono di rimuovere o combinare le variabili ridondanti.

Tecnica ensemble che combina le previsioni di più classificatori scegliendo la classe più votata (voto hard) oppure mediando le probabilità stimate (voto soft). Migliora robustezza e accuratezza rispetto ai singoli modelli.

Tecnica in cui l'addestramento di un modello riparte dai parametri di un modello già allenato invece che da un'inizializzazione casuale. Accelera la convergenza ed è utile quando arrivano nuovi dati o si riaddestra frequentemente, riducendo il costo computazionale rispetto a ripartire da zero.

Tecnica di regolarizzazione che aggiunge alla funzione di perdita una penalità proporzionale alla norma dei pesi, tipicamente L2, spingendoli verso valori piccoli a ogni aggiornamento. Riduce l'overfitting limitando la complessità del modello; nella discesa del gradiente stocastica classica equivale alla regolarizzazione L2 sui parametri.

Assegnazione dei valori iniziali dei pesi di una rete neurale prima dell'addestramento. Una scelta adeguata accelera la convergenza e previene scomparsa o esplosione dei gradienti; schemi come Xavier (Glorot) e He calibrano la varianza sul numero di connessioni. Pesi tutti identici impedirebbero l'apprendimento.

Libreria open source che implementa il gradient boosting su alberi decisionali in modo scalabile ed efficiente. Introdotta da Chen e Guestrin nel 2016, aggiunge regolarizzazione, gestione dei valori mancanti e parallelizzazione, con prestazioni elevate sui dati tabulari e grande popolarita nelle competizioni Kaggle.

Capacità di un modello di svolgere compiti o classificare istanze mai osservate durante l'addestramento, senza esempi etichettati specifici. Sfrutta conoscenza trasferita, descrizioni testuali o attributi semantici condivisi; nei modelli linguistici equivale a rispondere a un'istruzione senza fornire dimostrazioni.