Ir al contenido

Základy SHAP (Co a Proč)

Úvod do teoretických konceptů SHAP (SHapley Additive exPlanations) a interpretovatelnosti modelů typu „black box“ v Portelcore.

0čtení

V analytickém ekosystému Portelcore působí pokročilé prediktivní modely, jako je Gradient Boosting (XGBoost, LightGBM) nebo Hluboké neuronové sítě, často jako modely „černé skříňky“ (Black Box). Ačkoli tyto algoritmy dosahují výjimečné přesnosti, jejich složitost brání přímému rozluštění základní logiky za každou předpovědí.

SHAP (SHapley Additive exPlanations) je jednotný rámec interpretovatelnosti, který umožňuje spravedlivě, matematicky a transparentně auditovat a dešifrovat tato prediktivní rozhodnutí.

Na základě kooperativní teorie her a přínosu Shapleyho hodnot (jejichž tvůrce, Lloyd Shapley, obdržel Nobelovu cenu za ekonomii) klade SHAP základní otázku aplikovatelnou v oblasti strojového učení:

Pokud model generuje konkrétní predikci, jaký je „spravedlivý přínos“ každé prediktivní proměnné (vlastnosti) k odchylce tohoto výsledku oproti průměrné predikci?

graph TD
subgraph Explicación Local de SHAP
Base["Valor Base (Promedio Global)<br>E[f(x)]"] -->|"+15% (Retención de Sesiones)"| C1["Contribución Positiva 1"]
Base -->|"+20% (Historial de Conversión)"| C2["Contribución Positiva 2"]
Base -->|"-10% (Latencia de Red)"| C3["Contribución Negativa 1"]
C1 --> Sum["Suma de Atribuciones SHAP<br>(+25%)"]
C2 --> Sum
C3 --> Sum
Sum --> Final["Predicción Final<br>f(x)"]
end
style Base fill:#2e3440,stroke:#81a1c1,stroke-width:2px,color:#d8dee9
style Final fill:#a3be8c,stroke:#8fbcbb,stroke-width:2px,color:#2e3440
style Sum fill:#3b4252,stroke:#4c566a,stroke-width:1px,color:#d8dee9

1.2. K čemu se používá v Portelcore?

Sección titulada «1.2. ¿Para qué se usa en Portelcore?»

Primárním cílem při integraci SHAP do našich datových toků je dodat predikcím důvěryhodnost a dohledatelnost. Zajištění toho, aby logika modelů byla v souladu s obchodními pravidly, je kritickou inženýrskou prioritou.

Naše analytické procesy implementují SHAP na základě čtyř základních pilířů:

  • 1. Důvěra a soulad s předpisy:
    • Ověření, že prediktivní modely nejsou zkresleny falešnými proměnnými nebo náhodným „šumem“ z datového prostředí.
    • Poskytování jasných technických zdůvodnění výborům pro správu a audit ohledně původu automatizovaného rozhodnutí.
  • 2. Audity a ladění:
    • Funguje jako vynikající nástroj pro diagnostiku chyb predikce.
    • Pokud model vydá chybnou nebo atypickou predikci, SHAP přesně rozebere, které proměnné odchýlily chování odhadce.
  • 3. Objev klinických / komerčních poznatků:
    • Identifikuje složité korelace a nelineární chování, které tradiční statistické metody často přehlížejí.
    • Umožňuje pochopit křížové interakce (např. jak se efekt proměnné Věk moduluje v závislosti na Frekvenci používání).
  • 4. Inženýrství řídicích funkcí:
    • Měřením přímého a kvantifikovatelného dopadu každé proměnné na skutečný výkon může vývojový tým vyřadit irelevantní proměnné, čímž optimalizuje rychlost modelu a snižuje dimenzionalitu datové sady.

Vysvětlení SHAP neprodukuje jednoduché kvalitativní binární klasifikace, ale poskytuje přesný aditivní rozklad. Pro jakýkoli jednotlivý vzorek $x$ se predikce skládá z:

1. Základní hodnota (Base Value - $E[f(x)]$)

Sección titulada «1. El Valor Base (Base Value - $E[f(x)]$)»

Je to statistický průměr predikcí modelu na trénovací sadě. Je to výchozí odpověď, kterou by odhadce vydal, kdyby neměl žádné informace nebo příznaky o záznamu, který má predikovat.

Príklad: „Historická průměrná pravděpodobnost úniku zákazníka v Portelcore je 14,5%“.

Je to skutečný dopad měřený v měřítku výstupního modelu pro každý příznak.

  • Pozitivní dopad ($\phi_i > 0$): Posouvá predikci nahoru, nad základní průměr (vizuálně znázorněno teplými tóny).
  • Negativní dopad ($\phi_i < 0$): Snižuje předpověď, táhne ji směrem dolů pod základní průměr (vizuálně znázorněno v chladných tónech).

Konečná predikovaná hodnota pro konkrétní vzorek je matematickým součtem jejích dílčích částí:

$$\text{Konečná predikce } f(x) = \text{Základní hodnota } E[f(x)] + \sum_{i=1}^{M} \phi_i$$

Kde $M$ je celkový počet příznaků modelu.


1.4. Kontrolní seznam technické validace

Sección titulada «1.4. Checklist de Validación Técnica»

Před přechodem k integraci kódu si ověřte, že ovládáte následující klíčové koncepty interpretovatelnosti:

  • Rozumím tomu, že základní hodnota představuje průměrnou predikci modelu v případě absence specifických dat vzorku. ✓
  • Chápu základní aditivní vlastnost: součet všech hodnot SHAP a základní hodnoty je matematicky roven finální predikci. ✓
  • Správně rozlišuji mezi lokálními vysvětleními (zaměřenými na pochopení jednotlivého záznamu) a globálními vysvětleními (zaměřenými na audit celého modelu). ✓