Ir al contenido

Základy SHAP (čo a prečo)

Úvod do teoretických konceptov SHAP (SHapley Additive exPlanations) a interpretovateľnosti modelov čiernej skrinky v Portelcore.

0lecturas

V analytickom ekosystéme Portelcore pôsobia pokročilé prediktívne modely ako Gradient Boosting (XGBoost, LightGBM) alebo Deep Neural Networks často ako modely „čiernej skrinky“ (Black Box). Hoci tieto algoritmy dosahujú výnimočnú presnosť, ich zložitá povaha bráni priamemu rozlúšteniu základnej logiky za každou predikciou.

SHAP (SHapley Additive exPlanations) je jednotný rámec interpretovateľnosti, ktorý umožňuje audit a rozlúštenie týchto prediktívnych rozhodnutí spravodlivým, matematickým a transparentným spôsobom.

Na základe teórie kooperatívnych hier a príspevku Shapleyho hodnoty (ktorého tvorca, Lloyd Shapley, dostal Nobelovu cenu za ekonómiu), SHAP kladie základnú otázku aplikovateľnú na strojové učenie:

Ak model vygeneruje určitú predikciu, aký je „spravedlivý príspevok“ každej prediktívnej premennej (charakteristiky) k odchýlke tohto výsledku vzhľadom na priemernú predikciu?

graph TD
subgraph Explicación Local de SHAP
Base["Valor Base (Promedio Global)<br>E[f(x)]"] -->|"+15% (Retención de Sesiones)"| C1["Contribución Positiva 1"]
Base -->|"+20% (Historial de Conversión)"| C2["Contribución Positiva 2"]
Base -->|"-10% (Latencia de Red)"| C3["Contribución Negativa 1"]
C1 --> Sum["Suma de Atribuciones SHAP<br>(+25%)"]
C2 --> Sum
C3 --> Sum
Sum --> Final["Predicción Final<br>f(x)"]
end
style Base fill:#2e3440,stroke:#81a1c1,stroke-width:2px,color:#d8dee9
style Final fill:#a3be8c,stroke:#8fbcbb,stroke-width:2px,color:#2e3440
style Sum fill:#3b4252,stroke:#4c566a,stroke-width:1px,color:#d8dee9

Primárnym cieľom integrácie SHAP do našich dátových tokov je poskytnúť predikciám dôveru a sledovateľnosť. Zabezpečenie toho, aby logika modelov bola v súlade s obchodnými pravidlami, je kritickým inžinierskym prioritou.

Náše analytické procesy implementujú SHAP založený na štyroch základných pilieroch:

  • 1. Dôvera a súlad s predpismi:
    • Overiť, či prediktívne modely nie sú skreslené falošnými premennými alebo „šumom“ v dátovom prostredí.
    • Poskytnúť jasné technické vysvetlenia výboru pre správu a audit týkajúce sa pôvodu automatizovaného rozhodnutia.
  • 2. Audit a ladenie chýb:
    • Funguje ako nástroj na diagnostiku prediktívnych chýb.
    • Ak model vydá nesprávnu alebo atypickú predikciu, SHAP rozloží presne, ktoré premenné odchýlili správanie odhadovateľa.
  • 3. Objavovanie klinických a komerčných poznatkov:
    • Identifikuje zložité korelácie a nelineárne správanie, ktoré tradičné štatistické metódy často prehliadajú.
    • Umožňuje pochopiť krížové interakcie (napríklad, ako efekt premennej Vek je modulovaný v závislosti na Frekvencii použitia).
  • 4. Riadená tvorba funkcií:
    • Meraním priameho a kvantifikovateľného vplyvu každej premennej na skutočný výkon môže vývojový tím vyhodiť irelevantné premenné, optimalizovať rýchlosť modelu a znížiť dimenzionalitu súboru údajov.

Vysvetlenie SHAP nevytvára jednoduché kvalitatívne binárne klasifikácie, ale poskytuje presný aditívny rozklad. Pre každú jednotlivú vzorku $x$ sa predikcia skladá z:

1. Základná hodnota (Base Value - $E[f(x)]$)

Sección titulada «1. El Valor Base (Base Value - $E[f(x)]$)»

Je štatistický priemer predikcií modelu nad tréningovým súborom údajov. Je to predvolená odpoveď, ktorú by odhadca vydal, ak by nemal k dispozícii žiadne informácie alebo charakteristiky záznamu, ktorý sa má predpovedať.

Príklad: „Historická priemerná pravdepodobnosť úniku zákazníka v Portelcore je 14,5%“.

Je to skutočný dopad meraný na stupnici výstupu modelu pre každú vlastnosť.

  • Positívny dopad ($\phi_i > 0$): Posúva predikciu nahor, nad základný priemer (vizuálne reprezentovaný v teplých tónoch).
  • Negatívny dopad ($\phi_i < 0$): Znižuje predikciu, ťahá ju nadol pod základnú úroveň (vizuálne znázornené v chladných tónoch).

Konečná predpovedaná hodnota pre konkrétnu vzorku je matematickým súčtom jej súčastí:

$$\text{Konečná predikcia } f(x) = \text{Základná hodnota } E[f(x)] + \sum_{i=1}^{M} \phi_i$$

Kde $M$ je počet celkových charakteristík modelu.


1.4. Kontrolný zoznam technickej validácie

Sección titulada «1.4. Checklist de Validación Técnica»

Predtým, ako prejdete na integráciu kódu, overte, že ovládate nasledujúce kľúčové koncepty interpretovateľnosti:

  • Rozumiem, že základná hodnota predstavuje priemernú predikciu modelu v neprítomnosti konkrétnych údajov vzorky. ✓
  • Chápem základnú aditívnu vlastnosť: súčet všetkých hodnôt SHAP a základnej hodnoty je matematicky rovný konečnej predikcii. ✓
  • Správne rozlišujem medzi lokálnymi vysvetleniami (zameranými na pochopenie jediného záznamu) a globálnymi vysvetleniami (zameranými na audit celého modelu). ✓