Glossario Machine Learning

Esperimento controllato in cui due varianti, ad esempio due modelli, vengono servite a gruppi di utenti scelti a caso per confrontarne l'effetto su una metrica obiettivo. È il metodo standard per misurare l'impatto reale di un cambiamento.

Percentuale di previsioni corrette sul totale. Semplice ma fuorviante quando le classi sono molto sbilanciate.

Strategia in cui il modello sceglie quali esempi far etichettare, puntando ai più informativi. Ottimizza l’uso del lavoro umano di annotazione.

Algoritmo di boosting che dà più peso agli esempi sbagliati a ogni passo. Combina modelli deboli in uno forte.

Algoritmo di ottimizzazione che adatta il learning rate per ogni peso combinando momentum e scala dei gradienti. Molto usato di default.

Tecnica di sovracampionamento che genera esempi sintetici della classe minoritaria concentrandosi sulle zone più difficili da apprendere, vicino ai confini di decisione. Affina l'idea di SMOTE adattando la generazione alla densità locale.

Versione del coefficiente di determinazione che penalizza l'aggiunta di variabili non informative a un modello di regressione. A differenza dell'R² grezzo, non cresce automaticamente inserendo predittori inutili, favorendo modelli più parsimoniosi.

Modello che prende decisioni seguendo una serie di domande a cascata sui dati. Intuitivo e leggibile, ma soggetto a overfitting se troppo profondo.

Procedura di apprendimento. Insieme di regole che guidano l’addestramento del modello.

Individuazione di dati che si discostano dal comportamento normale. Usata per frodi, guasti e intrusioni.

Tecnica in cui il modello genera da solo le etichette dai dati, ad esempio prevedendo parti nascoste dell’input. Sfrutta enormi quantità di dati grezzi.

Tecnica in cui il modello cerca schemi e raggruppamenti in dati privi di etichette. Trova struttura senza sapere in anticipo la risposta corretta.

Paradigma in cui un agente impara per tentativi, ricevendo premi o penalità in base alle azioni. Punta a massimizzare la ricompensa nel tempo.

Approccio che combina pochi dati etichettati con molti non etichettati. Riduce il costoso lavoro di etichettatura mantenendo buone prestazioni.

Training con etichette. Metodo in cui i dati sono accompagnati da risposte corrette.

Area sotto la curva ROC, che riassume in un valore la capacità del modello di distinguere le classi. Più è vicina a 1, meglio è.

Ottimizzazione degli errori. Algoritmo che aggiorna i pesi delle reti neurali minimizzando l’errore.

Tecnica ensemble che addestra modelli su campioni casuali dei dati e ne media i risultati. Riduce la varianza e l’overfitting.

Media delle accuratezze ottenute su ciascuna classe, cioè di sensibilità e specificità nel caso binario. Corregge la distorsione dell'accuratezza semplice quando le classi hanno frequenze molto diverse.

Modello semplice di riferimento con cui confrontare quelli più complessi. Se non lo si batte, la complessità non è giustificata.

Tecnica che normalizza le attivazioni interne di una rete durante l’addestramento. Accelera la convergenza e stabilizza il training.

Numero di esempi per iterazione. Quantità di dati processati prima di aggiornare i pesi.

Tecnica che guida la ricerca degli iperparametri costruendo un modello probabilistico dei risultati. Esplora in modo intelligente, con poche prove.

Distorsione nei dati o modello. Errore sistematico che altera l’output del modello.

Equilibrio tra errori da modello troppo semplice (bias) e troppo sensibile ai dati (varianza). Il punto giusto minimizza l’errore totale.

Discretizzazione di una variabile continua in intervalli, o bin, trattati poi come categorie. Riduce l'effetto del rumore e degli outlier e può rendere non lineari le relazioni, al costo di una perdita di informazione fine.

Tecnica ensemble che costruisce modelli in sequenza, ciascuno focalizzato sugli errori del precedente. Aumenta l’accuratezza riducendo il bias.

Tecnica statistica che genera nuovi campioni ricampionando con reinserimento dal dataset originale, per stimare l'incertezza di una misura o addestrare modelli diversi. È il fondamento del bagging e permette di valutare la variabilità di una stima senza assumere una distribuzione teorica.

Metrica che valuta l'accuratezza delle probabilità predette calcolando lo scarto quadratico medio fra la probabilità assegnata e l'esito reale. Premia modelli ben calibrati: valori più bassi indicano previsioni probabilistiche più affidabili.

Quanto le probabilità previste da un modello corrispondono alle frequenze reali. Un modello calibrato dà stime affidabili, non solo ordinate.

Strategia di deployment in cui un nuovo modello sfidante viene messo alla prova contro quello attualmente in produzione, sostituendolo solo se dimostra prestazioni migliori. Permette miglioramenti continui riducendo i rischi.

Probabilità a priori di ciascuna classe, cioè la sua frequenza attesa prima di osservare le feature. Entra nei classificatori bayesiani e va considerata quando la distribuzione delle classi in produzione differisce da quella di addestramento.

Assegnazione di etichette. Tecnica di ML che assegna una categoria a ogni input.

Tecnica che costruisce una gerarchia di gruppi unendo o dividendo progressivamente i dati. Si visualizza con un dendrogramma.

Metodo semi-supervisionato in cui due modelli, addestrati su viste diverse dei dati, si scambiano le predizioni più sicure sui dati non etichettati per istruirsi a vicenda. Funziona bene quando le due viste sono sufficientemente indipendenti.

Indice che misura l'accordo fra due valutatori o fra predizioni e verità, correggendo per l'accordo atteso dal caso. Più informativo dell'accuratezza semplice quando le classi sono sbilanciate, vale 1 in caso di accordo perfetto.

Difficoltà di un sistema di raccomandazione a fare buone previsioni per utenti o item nuovi, privi di storico. Si affronta con informazioni di contenuto, dati demografici o strategie di esplorazione mirata.

Approccio alla raccomandazione che suggerisce item sfruttando le somiglianze fra i comportamenti degli utenti, secondo il principio che chi ha gusti simili gradirà cose simili. Non richiede di conoscere il contenuto degli item.

Cambiamento nel tempo della relazione tra input e output che il modello deve prevedere. Rende obsolete le regole apprese in passato.

Modello probabilistico discriminativo per l'etichettatura di sequenze che considera le dipendenze fra le etichette vicine. È stato molto usato per compiti come il riconoscimento di entità nominate prima della diffusione delle reti neurali profonde.

Valore che indica quanto il modello è sicuro di una previsione. Permette di filtrare o rivedere i casi più incerti.

Variabile che influenza sia la presunta causa sia l'effetto, creando associazioni fuorvianti fra di essi. Ignorare un fattore confondente porta a scambiare per causale una relazione che in realtà è spuria.

Tabella che confronta le previsioni con le classi reali, mostrando acierti ed errori per categoria. Base per calcolare molte metriche.

Metodo di raccomandazione che propone item simili, per attributi e contenuto, a quelli già graditi da un utente. A differenza del filtraggio collaborativo, si basa sulle caratteristiche degli oggetti più che sul comportamento della folla.

Momento in cui l’addestramento smette di migliorare in modo significativo e i pesi si stabilizzano. Segnala che il modello ha appreso.

Misura dell’errore complessivo del modello sull’intero set di addestramento. Spesso è la media delle loss sui singoli esempi.

Approccio che assegna pesi diversi agli errori in base alle loro conseguenze. Utile quando sbagliare una classe costa più di un’altra.

Funzione di perdita usata nella classificazione, che penalizza previsioni sicure ma sbagliate. Confronta distribuzioni di probabilità.

Tecnica che valuta il modello su più suddivisioni dei dati per stimarne in modo affidabile le prestazioni. Riduce la dipendenza da un singolo split.

Strategia che presenta al modello esempi in ordine crescente di difficoltà. Imita il modo in cui gli esseri umani imparano, migliorando la convergenza.

Insieme di problemi che emergono quando le variabili sono troppe: i dati diventano radi e gli algoritmi perdono efficacia.

Generazione di nuovi esempi trasformando quelli esistenti, ad esempio ruotando immagini. Amplia il dataset e migliora la robustezza.

Correzione di errori, valori mancanti e incoerenze nei dati prima dell’addestramento. Dati puliti sono la base di un buon modello.

Cambiamento nel tempo della distribuzione dei dati in ingresso rispetto a quella su cui il modello è stato addestrato. Anche senza che cambi la relazione da apprendere, il drift dei dati degrada le prestazioni in produzione e va monitorato per decidere quando riaddestrare.

Quando informazioni del futuro o del test filtrano nell’addestramento, gonfiando le prestazioni. Porta a risultati ottimi in prova e deludenti nella realtà.

Insieme di dati. Raccolta strutturata di dati usata per addestrare un modello.

Algoritmo di clustering basato sulla densità dei punti. Trova gruppi di forma irregolare e isola automaticamente il rumore.

Superficie che separa le diverse classi nello spazio delle variabili. La sua forma riflette la complessità del modello.

Rete neurale profonda. Ramo del ML che usa reti neurali con molti strati.

Riduzione del numero di variabili conservando l’informazione utile. Semplifica i dati, accelera i modelli e ne migliora la visualizzazione.

Disattivazione casuale. Tecnica che disattiva neuroni durante il training per migliorare la generalizzazione.

Tecnica che interrompe l’addestramento quando le prestazioni sui dati di validazione smettono di migliorare. Previene l’overfitting.

Regressione che combina le penalità di Ridge e Lasso. Bilancia riduzione dei pesi e selezione delle variabili.

Rappresentazione numerica. Tecnica per convertire dati discreti (es. parole) in vettori numerici.

Approccio che combina più modelli per ottenere previsioni migliori del singolo. Sfrutta la diversità per ridurre gli errori.

Ciclo completo di training. Passaggio completo su tutto il dataset durante l’addestramento.

Algoritmo iterativo per stimare i parametri di modelli con variabili latenti, alternando un passo di stima delle variabili nascoste e uno di aggiornamento dei parametri. È il metodo classico per addestrare i modelli a miscela gaussiana.

Capacità di spiegare come e perché un modello arriva a una previsione. Fondamentale per fiducia, controllo e conformità.

Problema opposto: i gradienti crescono a dismisura e destabilizzano l’addestramento. Si contiene limitandone l’ampiezza.

Media armonica di precision e recall, che le bilancia in un solo numero. Utile quando contano entrambe e le classi sono sbilanciate.

Caratteristica. Variabile indipendente usata per fare previsioni.

Creazione di nuove variabili combinando due o più feature esistenti, per catturare interazioni che i modelli lineari non colgono da soli. Aumenta l'espressività ma va bilanciata contro l'aumento di dimensionalità.

Creazione e trasformazione delle variabili di input per aiutare il modello a imparare meglio. Spesso conta più dell’algoritmo scelto.

Derivazione di nuove variabili più informative a partire dai dati grezzi. Comprime l’informazione utile in poche caratteristiche.

Tecnica che mappa le feature, in particolare categorie ad altissima cardinalità, in un numero fisso di posizioni tramite una funzione di hash. Riduce memoria e dimensionalità a costo di possibili collisioni fra feature diverse.

Misura di quanto ciascuna variabile in ingresso contribuisce alle predizioni di un modello. Può essere calcolata in vari modi, ad esempio dalla struttura degli alberi o permutando i valori di una feature e osservando il calo di prestazioni. Aiuta interpretazione e selezione delle variabili.

Riporto delle variabili su scale confrontabili. Evita che caratteristiche con valori grandi dominino l’apprendimento.

Scelta del sottoinsieme di variabili più utili, scartando quelle irrilevanti o ridondanti. Riduce rumore, costi e overfitting.

Sistema centralizzato che raccoglie, versiona e distribuisce le feature calcolate, così che gli stessi valori siano disponibili sia in addestramento sia in produzione. Riduce il rischio di train-serving skew, favorisce il riuso delle feature fra progetti e garantisce coerenza temporale nel calcolo delle variabili.

Capacità di apprendere un nuovo compito con pochissimi esempi. Sfrutta conoscenze acquisite in precedenza per generalizzare in fretta.

Passaggio dei dati dall’ingresso all’uscita di una rete per produrre una previsione. Precede il calcolo dell’errore e l’aggiornamento dei pesi.

Tecnica che sostituisce ogni categoria con la sua frequenza di comparsa nel dataset. Utile con variabili ad alta cardinalità, comprime l'informazione in un singolo numero ma può confondere categorie diverse con la stessa frequenza.

Strato in cui ogni neurone è collegato a tutti quelli dello strato precedente. È la forma più classica di livello di una rete.

Funzione che introduce non linearità nell’uscita di un neurone. Permette alla rete di apprendere relazioni complesse.

Modello che descrive i dati come miscela di più distribuzioni gaussiane. Usato per clustering morbido, dove un punto può appartenere a più gruppi.

Modello probabilistico non parametrico che definisce una distribuzione sulle funzioni, fornendo predizioni accompagnate da una misura di incertezza. È usato per regressione su pochi dati e come modello surrogato nell'ottimizzazione bayesiana.

Capacità di un modello di funzionare bene su dati nuovi, non visti in addestramento. È l’obiettivo ultimo del machine learning.

Misura del grado di disomogeneità delle classi in un nodo di un albero decisionale: è nulla quando il nodo è puro e cresce col mescolarsi delle classi. Gli algoritmi la minimizzano scegliendo le suddivisioni che rendono i nodi figli più omogenei.

Tecnica che costruisce modelli in sequenza, ognuno correggendo gli errori del precedente. Produce previsioni molto accurate.

Algoritmo di ottimizzazione. Metodo per trovare il minimo di una funzione di errore.

Metodo che prova in modo sistematico tutte le combinazioni di iperparametri da una griglia definita. Esaustivo ma costoso.

Il dato reale e corretto usato come riferimento per addestrare e valutare un modello. È la verità con cui si confrontano le previsioni.

Strato intermedio di una rete neurale, tra ingresso e uscita. È dove il modello costruisce rappresentazioni via via più astratte.

Modello probabilistico per sequenze in cui un processo a stati nascosti, che evolve secondo una catena di Markov, genera osservazioni visibili. È stato a lungo centrale in riconoscimento vocale e analisi di sequenze biologiche e testuali.

Funzione di perdita usata soprattutto dalle Support Vector Machine, che penalizza le predizioni non solo errate ma anche corrette con margine insufficiente. Spinge il modello a separare le classi con il massimo margine possibile, restando a zero solo oltre una certa soglia di confidenza.

Porzione di dati tenuta da parte e mai usata in addestramento, riservata alla valutazione finale. Dà una stima imparziale delle prestazioni.

Funzione di perdita che si comporta come l'errore quadratico per residui piccoli e come l'errore assoluto per quelli grandi. Combina sensibilità e robustezza, riducendo l'influenza eccessiva degli outlier tipica dello scarto quadratico puro.

Parametro impostato prima dell’addestramento, come il learning rate o il numero di strati. Non viene appreso dai dati ma scelto dal progettista.

Ricerca della combinazione di iperparametri che dà le prestazioni migliori. Passo cruciale per ottenere un buon modello.

Dataset in cui una classe è molto più frequente delle altre. Rende ingannevole l’accuratezza e richiede tecniche dedicate.

Segnali indiretti sulle preferenze degli utenti, come clic, tempo di permanenza o acquisti, in assenza di valutazioni esplicite. È abbondante ma ambiguo, poiché un'interazione non indica necessariamente gradimento.

Processo di sostituzione dei valori mancanti con stime plausibili, come media, mediana o valori predetti da un modello. Consente di usare algoritmi che non tollerano dati assenti, con il rischio di introdurre distorsioni se fatta male.

Insieme di assunzioni che un modello fa per generalizzare oltre i dati visti. Senza di esso non potrebbe apprendere.

Fase in cui un modello già addestrato produce previsioni su nuovi dati. È l’uso pratico del modello, distinto dall’addestramento.

Riduzione dell'entropia ottenuta suddividendo i dati secondo una feature; misura quanto quella variabile aiuta a separare le classi. Gli alberi decisionali scelgono a ogni passo la suddivisione che massimizza il guadagno informativo.

Algoritmo per rilevare anomalie isolando i punti con pochi tagli casuali. Gli outlier risultano più facili da separare.

Tecnica di calibrazione non parametrica che apprende una funzione monotona per mappare i punteggi di un modello in probabilità. Più flessibile del Platt scaling, richiede però più dati per non sovradattarsi.

Variante che divide i dati in K parti, usandone a turno una per la verifica e le altre per l’addestramento. Media i risultati dei K cicli.

Algoritmo di clustering che divide i dati in K gruppi attorno a centri ricalcolati iterativamente. Richiede di scegliere K in anticipo.

Algoritmo che classifica un esempio in base alla classe dei suoi vicini più prossimi. Semplice e senza vera fase di addestramento.

Espediente che consente ad algoritmi come le SVM di operare in uno spazio di caratteristiche ad alta dimensione senza calcolarne esplicitamente le coordinate, usando solo prodotti scalari tramite una funzione kernel. Rende trattabili separazioni non lineari.

Risposta corretta associata a un esempio nei dati supervisionati. È ciò che il modello impara a prevedere.

Conversione di categorie in numeri interi. Semplice, ma può suggerire un ordine inesistente tra i valori.

Presenza di etichette errate nei dati di addestramento, dovute a errori di annotazione o ambiguità. Degrada le prestazioni e può portare il modello a memorizzare errori; esistono metodi di apprendimento robusti pensati per attenuarne l'effetto.

Algoritmo semi-supervisionato che diffonde le etichette note ai punti vicini lungo un grafo di similarità fra esempi. Sfrutta l'ipotesi che dati simili condividano l'etichetta, propagandola dalle poche istanze annotate a quelle non etichettate.

Regressione lineare con penalità che azzera i pesi meno utili (norma L1). Esegue selezione automatica delle variabili.

Grafico che mostra come l'errore di un modello su training set e validation set evolve al crescere della quantità di dati o delle epoche di addestramento. Serve a diagnosticare visivamente overfitting (grande divario fra le due curve) o underfitting (errore alto e vicino su entrambe), guidando la scelta se raccogliere più dati o aumentare la capacità del modello.

Parametro che controlla quanto i pesi vengono modificati a ogni passo di addestramento. Troppo alto diverge, troppo basso rallenta.

Strategia che varia il learning rate durante l’addestramento, ad esempio riducendolo nel tempo. Aiuta a convergere meglio.

Famiglia di tecniche di apprendimento supervisionato che addestrano un modello a ordinare un insieme di elementi per rilevanza, anziché a classificarli o predirne un valore. È alla base di motori di ricerca e sistemi di raccomandazione, dove conta l'ordine dei risultati.

Caso estremo di cross-validation in cui ogni singolo esempio a turno funge da set di test mentre tutti gli altri addestrano il modello. Offre una stima quasi non distorta dell'errore ma è molto costosa su dataset grandi.

Misura di quanto un modello migliori la selezione di casi positivi rispetto a una scelta casuale, all'interno di un dato sottoinsieme ordinato per punteggio. È molto usata in marketing per valutare campagne e segmentazioni.

Tecnica che riduce le dimensioni cercando la combinazione di variabili che separa meglio le classi. Usata anche per la classificazione.

Metrica che penalizza le previsioni di probabilità sbagliate, tanto più quanto sono sicure. Premia modelli ben calibrati.

Funzione che misura quanto le previsioni si discostano dai valori reali. L’addestramento punta a minimizzarla.

Due modi di aggregare una metrica su più classi: la media macro tratta ogni classe con lo stesso peso, la media micro pesa in base al numero di esempi. La scelta cambia il giudizio in presenza di classi sbilanciate.

Distanza fra il confine di decisione e gli esempi più vicini di ciascuna classe. Massimizzare il margine, come fanno le SVM, tende a produrre classificatori con migliore capacità di generalizzazione e maggiore robustezza al rumore.

Tecnica che scompone la matrice utenti-item in fattori latenti a bassa dimensione, rivelando dimensioni nascoste di preferenza. È stata un pilastro dei sistemi di raccomandazione, capace di prevedere valutazioni mancanti.

Coefficiente che riassume in un solo valore la qualità di una classificazione binaria tenendo conto di tutte le celle della matrice di confusione. È particolarmente affidabile con classi sbilanciate, dove l'accuratezza risulta ingannevole.

Media dei valori assoluti delle differenze tra previsioni e valori reali. Più robusta agli outlier rispetto all’errore quadratico.

Errore quadratico medio: media dei quadrati delle differenze tra previsioni e valori reali. Penalizza molto gli errori grandi.

Normalizzazione che riscala i valori di una feature in un intervallo fisso, tipicamente fra 0 e 1. Preserva la forma della distribuzione ma è sensibile agli outlier, che possono comprimere il resto dei dati.

Compromesso che aggiorna i pesi su piccoli gruppi di esempi. Unisce stabilità e velocità nell’addestramento.

Valori assenti in un dataset. Vanno gestiti rimuovendoli o stimandoli, perché molti algoritmi non li tollerano.

Misura di quanto un modello è in grado di rappresentare relazioni complesse. Troppa capacità porta a overfitting, troppo poca a underfitting.

Messa in produzione di un modello perché fornisca previsioni a utenti o sistemi reali. Trasforma un esperimento in un servizio utilizzabile.

Calo di prestazioni di un modello nel tempo perché i dati reali cambiano rispetto a quelli di addestramento. Richiede monitoraggio e riaddestramento.

Sistema centralizzato che cataloga i modelli addestrati con le loro versioni, metriche, metadati e stato del ciclo di vita. Garantisce tracciabilità e riproducibilità, facilitando promozione, rollback e governance dei modelli in produzione.

Struttura appresa. Algoritmo che apprende da dati e fa previsioni o classificazioni.

Tecnica che accelera il gradient descent accumulando la direzione dei passi precedenti. Riduce le oscillazioni e supera i piccoli avvallamenti.

Problema di classificazione in cui a ogni esempio possono essere associate contemporaneamente più etichette, non mutuamente esclusive. Si distingue dalla classificazione multi-classe, dove si sceglie una sola categoria, e richiede metriche e strategie di addestramento dedicate.

Situazione in cui due o più variabili predittive di un modello sono fortemente correlate fra loro. Rende instabili e difficili da interpretare i coefficienti stimati, pur non danneggiando necessariamente la capacità predittiva complessiva.

Rete neurale con uno o più strati nascosti tra ingresso e uscita. Può approssimare relazioni complesse e non lineari.

Classificatore probabilistico basato sul teorema di Bayes, che assume le caratteristiche indipendenti tra loro. Veloce ed efficace su testi.

Metrica di valutazione per problemi di ranking che premia il collocare gli elementi più rilevanti in cima alla lista, scontando la rilevanza in base alla posizione. Normalizzata rispetto all'ordinamento ideale, restituisce un valore fra 0 e 1.

Schema di validazione con due cicli annidati: quello interno seleziona gli iperparametri, quello esterno stima le prestazioni del modello così ottimizzato. Fornisce una valutazione meno ottimistica rispetto alla cross-validation semplice, perché la scelta degli iperparametri non contamina la stima finale dell'errore.

Unità di base di una rete neurale: combina gli input pesati e applica una funzione di attivazione. Ispirato in modo lontano al neurone biologico.

Principio per cui nessun algoritmo è il migliore su tutti i problemi. La scelta va calibrata sul compito specifico.

Riscalatura dei valori in un intervallo fisso, tipicamente tra 0 e 1. Uniforma le variabili prima dell’addestramento.

Rappresentazione di una variabile categorica con colonne binarie, una per ciascun valore. Evita falsi ordinamenti tra le categorie.

Strategia che affronta la classificazione multi-classe addestrando un classificatore binario per ogni classe contro tutte le altre. In predizione si sceglie la classe con il punteggio più alto; è semplice ma può soffrire di sbilanciamento fra i sottoproblemi.

Modalità in cui il modello si aggiorna man mano che arrivano nuovi dati, uno alla volta. Adatto a flussi continui e contesti che cambiano.

Codifica che assegna alle categorie numeri interi secondo un ordine. È appropriata solo quando esiste una gerarchia naturale fra i valori, altrimenti introduce relazioni d'ordine inesistenti che possono fuorviare il modello.

Tecnica per predire una variabile categorica le cui classi hanno un ordine naturale ma non una distanza numerica definita, come i livelli di un giudizio da 1 a 5. Sta a metà fra classificazione e regressione, sfruttando l'ordinamento delle categorie senza trattarle come numeri.

Stima dell'errore di un modello a foreste casuali calcolata usando, per ogni albero, i soli campioni non estratti nel suo bootstrap. Fornisce una valutazione delle prestazioni quasi gratuita, senza bisogno di un set di validazione separato.

Condizione in cui un dato in ingresso proviene da una distribuzione diversa da quella vista durante l'addestramento. Un modello tende a produrre predizioni inaffidabili ma spesso troppo sicure sui campioni OOD, per questo il loro rilevamento è cruciale per la robustezza e la sicurezza dei sistemi ML.

Valore molto distante dagli altri, dovuto a errore o a un caso raro. Può distorcere l’addestramento se non trattato.

Adattamento eccessivo. Quando un modello impara troppo bene i dati di training, perdendo generalizzazione.

Aumento degli esempi della classe minoritaria per riequilibrare il dataset. Aiuta il modello a non ignorare i casi rari.

Grafico che mostra l'effetto marginale di una o due feature sulla predizione del modello, mediando l'influenza di tutte le altre. Serve a capire la direzione e la forma della relazione appresa fra una variabile e l'output, oltre il semplice valore di importanza.

Il neurone artificiale più semplice: somma pesata degli input seguita da una soglia. È il mattone storico delle reti neurali.

Metodo di calibrazione che trasforma i punteggi grezzi di un classificatore in probabilità adattandovi una regressione logistica. È usato tipicamente con le SVM per ottenere output probabilistici affidabili anziché semplici segni di decisione.

Nuove variabili ottenute elevando a potenza o moltiplicando fra loro le feature originali, per permettere a modelli lineari di cogliere relazioni non lineari. Aumentano l'espressività ma anche il rischio di overfitting e il numero di dimensioni.

Probabilità di un’ipotesi dopo aver osservato i dati, secondo il teorema di Bayes. Aggiorna una stima iniziale alla luce delle evidenze.

Tra gli esempi previsti come positivi, quanti lo erano davvero. Misura quanto ci si può fidare di una previsione positiva.

Metrica di ranking che misura la frazione di elementi rilevanti fra i primi K risultati proposti. È usata quando all'utente interessa solo la parte alta della lista, come nei motori di ricerca e nei sistemi di raccomandazione.

Grafico che mette in relazione precision e recall al variare della soglia. Più informativo della ROC su dati molto sbilanciati.

Tecnica che riduce le dimensioni dei dati conservando la maggior variabilità possibile. Comprime le informazioni in poche nuove variabili.

Metodo semi-supervisionato in cui un modello addestrato sui dati etichettati assegna etichette provvisorie ai dati non etichettati, che vengono poi riusati per riaddestrarlo. Sfrutta grandi quantità di dati non annotati, con il rischio di rinforzare i propri errori se le pseudo-etichette sono sbagliate.

Tecnica di regressione che stima quantili condizionati della variabile obiettivo, ad esempio la mediana, anziché la sola media. Fornisce un quadro più completo della distribuzione ed è robusta agli outlier.

Indice che misura quanta parte della variabilità dei dati è spiegata da un modello di regressione. Va da 0 a 1, dove 1 è perfetto.

Funzione kernel il cui valore dipende dalla distanza fra due punti, molto usata nelle SVM per creare confini di decisione flessibili e non lineari. Un iperparametro ne regola l'ampiezza, controllando quanto localmente il modello reagisce ai dati.

Insieme di molti alberi decisionali che votano insieme la previsione. Più robusto e accurato di un singolo albero, riduce l’overfitting.

Metodo che esplora gli iperparametri scegliendo combinazioni casuali. Spesso trova buone soluzioni più in fretta del grid search.

Tra gli esempi realmente positivi, quanti il modello ne ha individuati. Misura la capacità di non lasciarsi sfuggire i casi rilevanti.

Metrica che indica quanti degli elementi rilevanti totali compaiono fra i primi K risultati. Complementare alla precisione a K, valuta la capacità del sistema di recuperare gli item importanti in una lista di lunghezza limitata.

Sistema che suggerisce contenuti o prodotti in base a preferenze e comportamenti. Alla base di piattaforme di streaming ed e-commerce.

Previsione numerica. Tecnica che predice un valore continuo.

Algoritmo che modella la relazione tra variabili tracciando la retta che meglio approssima i dati. Predice valori continui in modo semplice e interpretabile.

Algoritmo di classificazione che stima la probabilità che un esempio appartenga a una classe. Nonostante il nome, serve a separare categorie.

Controllo della complessità. Tecnica per evitare l’overfitting penalizzando modelli troppo complessi.

Funzione di attivazione che lascia passare i valori positivi e azzera i negativi. Semplice ed efficace, attenua il problema dei gradienti che svaniscono.

Modello ispirato al cervello. Struttura composta da nodi (neuroni) interconnessi che elaborano informazioni.

Regressione lineare con penalità sui pesi grandi (norma L2). Riduce l’overfitting mantenendo tutte le variabili.

Ottimizzatore che adatta il learning rate dividendo per la media dei gradienti recenti. Stabilizza l’addestramento di reti profonde.

Ridimensionamento delle feature basato su mediana e scarto interquartile anziché su media e deviazione standard. Essendo insensibile ai valori estremi, è preferibile quando i dati contengono outlier marcati.

Grafico che mostra il compromesso tra veri positivi e falsi positivi al variare della soglia. Aiuta a scegliere il punto di lavoro.

Punto in cui il gradiente è nullo ma non è né minimo né massimo. Può rallentare l’ottimizzazione delle reti neurali.

Distorsione che nasce quando il campione raccolto non rappresenta fedelmente la popolazione di interesse. Un modello addestrato su dati non rappresentativi generalizza male, riproducendo le lacune della raccolta.

Errore sistematico dovuto al modo in cui gli esempi vengono selezionati per l'analisi, che li rende non casuali rispetto al fenomeno studiato. Può portare a conclusioni valide solo per il sottoinsieme osservato e non per la realtà completa.

Rilascio in cui un nuovo modello riceve il traffico reale in parallelo a quello in produzione senza però influenzare le decisioni. Consente di validarne il comportamento su dati veri prima di affidargli le risposte effettive.

Metodo che attribuisce a ciascuna variabile il suo contributo a una previsione. Aiuta a interpretare anche modelli complessi.

Funzione di attivazione che schiaccia i valori tra 0 e 1. Utile per stimare probabilità, ma soggetta a gradienti molto piccoli agli estremi.

Metrica che valuta quanto i cluster sono compatti e ben separati. Aiuta a scegliere il numero di gruppi.

Tecnica che crea nuovi esempi sintetici della classe minoritaria interpolando quelli esistenti. Riequilibra senza semplici duplicati.

Funzione che trasforma un vettore di numeri in una distribuzione di probabilità che somma a uno. Usata nell’uscita dei classificatori multi-classe.

Proporzione di casi negativi correttamente identificati come tali da un classificatore. Complementare alla sensibilità, è cruciale in contesti come lo screening medico, dove contano sia i falsi positivi sia i falsi negativi.

Correlazione statistica fra due variabili priva di un reale legame causale, spesso dovuta al caso o a un fattore comune nascosto. I modelli possono sfruttarla in addestramento e poi fallire quando quella coincidenza svanisce.

Tecnica ensemble in cui le previsioni di più modelli diventano input di un modello finale. Combina i punti di forza di approcci diversi.

Trasformazione dei dati perché abbiano media zero e deviazione standard uno. Utile per molti algoritmi sensibili alla scala.

Variante del gradient descent che aggiorna i pesi usando un esempio alla volta. Più rapido e adatto a grandi dataset.

Campionamento che preserva nelle partizioni le stesse proporzioni fra le classi presenti nel dataset completo. È essenziale con classi sbilanciate, perché evita che train o test finiscano privi di una categoria o ne alterino la frequenza.

Algoritmo che separa le classi trovando il confine con il margine più ampio. Efficace anche in spazi a molte dimensioni.

Tecnica di riduzione dimensionale pensata per visualizzare dati ad alte dimensioni in 2 o 3D. Preserva la vicinanza tra punti simili.

Funzione di attivazione che schiaccia i valori tra -1 e 1. Centrata sullo zero, spesso preferita alla sigmoid negli strati nascosti.

Tecnica di codifica delle variabili categoriche che sostituisce ogni categoria con una statistica della variabile obiettivo calcolata su quella categoria, tipicamente la media. È potente con categorie ad alta cardinalità, ma va applicata con schemi di regolarizzazione o out-of-fold per evitare data leakage.

Struttura dati multidimensionale che generalizza vettori e matrici. È il formato con cui le reti neurali rappresentano e muovono i dati.

Coppie di esempi di classi diverse che sono reciprocamente i più vicini. Rimuoverli, tipicamente eliminando l'elemento della classe maggioritaria, pulisce i confini fra le classi ed è usato per bilanciare i dataset sbilanciati.

Divisione dei dati in una parte per addestrare e una per valutare. Misura come il modello si comporta su esempi mai visti.

Porzione di dati su cui il modello impara, regolando i propri parametri. È la parte più consistente del dataset.

Riuso di un modello già addestrato su un compito come punto di partenza per un altro. Risparmia dati e tempo sfruttando conoscenza preesistente.

Architettura avanzata. Modelli che usano attenzione per gestire input sequenziali, base di GPT.

Famiglia di trasformazioni, come Box-Cox e Yeo-Johnson, che rende una distribuzione più simile a una gaussiana. Stabilizza la varianza e attenua l'asimmetria, migliorando le prestazioni dei modelli sensibili alla forma dei dati.

Potatura di un albero decisionale che rimuove rami poco utili per contenere l'overfitting e migliorare la generalizzazione. Può avvenire fermando la crescita in anticipo o tagliando a posteriori i rami che non riducono l'errore di validazione.

Tecnica di riduzione dimensionale per visualizzazione, spesso più veloce del t-SNE. Mantiene meglio la struttura globale dei dati.

Situazione in cui il modello è troppo semplice per cogliere gli schemi dei dati. Sbaglia sia in addestramento sia su nuovi esempi.

Riduzione degli esempi della classe maggioritaria per riequilibrare i dati. Veloce, ma rischia di scartare informazione utile.

Verifica delle performance. Processo di testare il modello su dati non visti.

Problema per cui i gradienti diventano minuscoli nelle reti profonde, bloccando l’apprendimento dei primi strati. Mitigato da ReLU e altre tecniche.

Indice che quantifica quanto la varianza del coefficiente di una variabile sia gonfiata dalla sua correlazione con le altre. Valori elevati segnalano multicollinearità e suggeriscono di rimuovere o combinare le variabili ridondanti.

Tecnica in cui l'addestramento di un modello riparte dai parametri di un modello già allenato invece che da un'inizializzazione casuale. Accelera la convergenza ed è utile quando arrivano nuovi dati o si riaddestra frequentemente, riducendo il costo computazionale rispetto a ripartire da zero.

Forma di regolarizzazione che spinge i pesi verso valori piccoli. Riduce l’overfitting penalizzando la complessità.

Scelta dei valori iniziali dei pesi prima dell’addestramento. Una buona inizializzazione accelera la convergenza ed evita problemi sui gradienti.

Implementazione ottimizzata e molto efficiente del gradient boosting. Popolarissima nelle competizioni per velocità e prestazioni.

Capacità di affrontare compiti mai visti in addestramento, senza esempi specifici. Si basa su descrizioni o conoscenza trasferita da altri ambiti.