Ir al contenido

Fondamenti di SHAP (il 'Cosa' e il 'Perché')

Introduzione ai concetti teorici di SHAP (SHapley Additive exPlanations) e all'interpretabilità dei modelli black-box in Portelcore.

0letture

Nell'ecosistema analitico di Portelcore, i modelli predittivi avanzati come Gradient Boosting (XGBoost, LightGBM) o le Reti Neurali Profonde agiscono spesso come modelli a "scatola nera" (Black Box). Sebbene questi algoritmi raggiungano precisioni eccezionali, la loro complessità inerente impedisce di decifrare direttamente la logica sottostante dietro ogni previsione.

SHAP (SHapley Additive exPlanations) è un framework di interpretabilità unificato che permette di auditare e decifrare queste decisioni predittive in modo equo, matematico e trasparente.

Basato sulla teoria dei giochi cooperativi e sul contributo dei Valori di Shapley (il cui creatore, Lloyd Shapley, ha ricevuto il Premio Nobel per l'Economia), SHAP pone una domanda fondamentale applicabile al Machine Learning:

Se un modello genera una determinata previsione, qual è il "contributo equo" di ogni variabile predittiva (caratteristica) nello scostare quel risultato rispetto alla previsione media?

graph TD
subgraph Explicación Local de SHAP
Base["Valor Base (Promedio Global)<br>E[f(x)]"] -->|"+15% (Retención de Sesiones)"| C1["Contribución Positiva 1"]
Base -->|"+20% (Historial de Conversión)"| C2["Contribución Positiva 2"]
Base -->|"-10% (Latencia de Red)"| C3["Contribución Negativa 1"]
C1 --> Sum["Suma de Atribuciones SHAP<br>(+25%)"]
C2 --> Sum
C3 --> Sum
Sum --> Final["Predicción Final<br>f(x)"]
end
style Base fill:#2e3440,stroke:#81a1c1,stroke-width:2px,color:#d8dee9
style Final fill:#a3be8c,stroke:#8fbcbb,stroke-width:2px,color:#2e3440
style Sum fill:#3b4252,stroke:#4c566a,stroke-width:1px,color:#d8dee9

L'obiettivo principale nell'integrare SHAP nei nostri flussi di dati è dotare le previsioni di fiducia e tracciabilità. Garantire che la logica dei modelli sia allineata con le regole aziendali è una priorità critica di ingegneria.

I nostri processi analitici implementano SHAP basandosi su quattro pilastri fondamentali:

  • 1. Fiducia e Conformità Normativa:
    • Verificare che i modelli predittivi non siano distorti da variabili spurie o “rumore” circostanziale dell'ambiente dei dati.
    • Fornire giustificazioni tecniche chiare ai comitati di governance e di audit sull'origine di una decisione automatizzata.
  • 2. Audit e Debug:
    • Funziona come lo strumento di diagnostica degli errori predittivi per eccellenza.
    • Se il modello emette una previsione errata o atipica, SHAP scompone con esattezza quali variabili hanno deviato il comportamento dello stimatore.
  • 3. Scoperta di Insight Clinici/Commerciali:
    • Identifica correlazioni complesse e comportamenti non lineari che i metodi statistici tradizionali tendono a trascurare.
    • Permette di comprendere le interazioni incrociate (per esempio, come l'effetto della variabile Età si modula in base alla Frequenza d'uso).
  • 4. Ingegneria delle Caratteristiche Direttive:
    • Misurando l'impatto diretto e quantificabile di ogni variabile sulle prestazioni reali, il team di sviluppo può scartare le variabili irrilevanti, ottimizzando la velocità del modello e riducendo la dimensionalità del set di dati.

Una spiegazione di SHAP non produce semplici classificazioni binarie qualitative, ma fornisce una scomposizione additiva esatta. Per qualsiasi campione individuale $x$, la previsione è composta da:

1. Il Valore Base (Base Value - $E[f(x)]$)

Sección titulada «1. El Valor Base (Base Value - $E[f(x)]$)»

È la media statistica delle previsioni del modello sul set di addestramento. È la risposta predefinita che lo stimatore emetterebbe se non avesse informazioni o caratteristiche del record da prevedere.

Esempio: “La probabilità storica media di fuga di un cliente in Portelcore è del 14,5%”.

È l'impatto reale misurato sulla scala di output del modello per ogni caratteristica.

  • Impatto Positivo ($\phi_i > 0$): Spinge la previsione verso l'alto, al di sopra della media di base (rappresentato visivamente in tonalità calde).
  • Impatto Negativo ($\phi_i < 0$): Riduce la previsione, trascinandola verso il basso al di sotto della media base (rappresentato visivamente in toni freddi).

Il valore previsto finale per il campione specifico è la somma matematica delle sue parti componenti:

$$\text{Previsione Finale } f(x) = \text{Valore Base } E[f(x)] + \sum_{i=1}^{M} \phi_i$$

Dove $M$ è il numero totale di caratteristiche del modello.


Prima di passare all'integrazione del codice, verifica di padroneggiare i seguenti concetti chiave di interpretabilità:

  • Capisco che il Valore Base rappresenta la previsione media del modello in assenza di dati specifici del campione. ✓
  • Comprendo la proprietà additiva fondamentale: la somma di tutti i valori SHAP e il valore base è matematicamente uguale alla previsione finale. ✓
  • Distinguo correttamente tra spiegazioni locali (orientate a comprendere un singolo record) e spiegazioni globali (orientate ad auditare l'intero modello). ✓