Ir al contenido

Integració en l'Ecosistema de Dades (El 'On')

Metodologia d'integració del pipeline SHAP amb plataformes d'observabilitat com Grafana i l'SDK unificat de Gemini per a diagnòstics automatitzats a Portelcore.

0lectures

El valor definitiu de l'interpretabilitat mitjançant SHAP no radica només en la recollida passiva de telemetria, sinó en la seva integració dinàmica per optimitzar la presa de decisions empresarials.

graph TD
A["1. Inferencia & Telemetría<br>(Calcular Predicciones & SHAP)"] --> B["2. Almacenamiento Selectivo<br>(PostgreSQL / SQLite Indexado)"]
B --> C["3. Observabilidad & BI<br>(Grafana / Looker Studio)"]
C --> D["4. Diagnóstico por IA<br>(Gemini SDK Forensics)"]
D --> E["5. Optimización del Modelo<br>(Refactorización de Features)"]
E --> A
style A fill:#3b4252,stroke:#4c566a,stroke-width:1px,color:#d8dee9
style B fill:#3b4252,stroke:#4c566a,stroke-width:1px,color:#d8dee9
style C fill:#3b4252,stroke:#4c566a,stroke-width:1px,color:#d8dee9
style D fill:#a3be8c,stroke:#8fbcbb,stroke-width:2px,color:#2e3440
style E fill:#81a1c1,stroke:#5e81ac,stroke-width:1px,color:#2e3440

4.2. Panells de Control d'Observabilitat: Connexió amb Grafana

Sección titulada «4.2. Dashboards de Observabilidad: Conexión con Grafana»

L'esquema relacional de telemetria analítica és ideal per alimentar panells de control interactius que permetin monitoritzar el comportament i la salut del model.

1. Panell de Traçabilitat i Historial d'Atribució (Gràfic de línies)

Sección titulada «1. Panel de Trazabilidad e Historial de Atribución (Gráfico de Líneas)»
  • Propósito: Monitorizar si el impacto de una variable de negocio específica (p. ej., tickets_soporte_abiertos) cambia drásticamente a lo largo del tiempo.
  • Consulta SQL para Grafana:
    SELECT
    p.predicted_at AS "time",
    a.shap_value AS "Valor SHAP: Tickets Soporte"
    FROM model_predictions p
    JOIN shap_attributions a ON p.prediction_id = a.prediction_id
    WHERE a.feature_name = 'tickets_soporte_abiertos'
    AND p.portel_user_id = $portel_user_id
    ORDER BY p.predicted_at ASC;

2. Panell Forense de Desviaments Predictius (Taula de control)

Sección titulada «2. Panel Forense de Desvíos Predictivos (Tabla de Control)»
  • Propósito: Mostrar los desgloses de predicciones donde el modelo falló por el mayor margen de error.
  • Consulta SQL para Grafana:
    SELECT
    p.predicted_at AS "Fecha",
    p.portel_user_id AS "Usuario",
    p.output_probability AS "Probabilidad Predicha",
    a.feature_name AS "Variable",
    a.feature_value AS "Valor Observado",
    a.shap_value AS "Contribución SHAP"
    FROM model_predictions p
    JOIN shap_attributions a ON p.prediction_id = a.prediction_id
    WHERE p.actual_outcome IS NOT NULL
    AND (p.output_probability > 0.5) != p.actual_outcome -- Discordancia
    ORDER BY ABS(a.shap_value) DESC
    LIMIT 20;

4.3. Diagnòstic Forense Automatitzat amb Gemini

Sección titulada «4.3. Diagnóstico Forense Automatizado con Gemini»

El nivell més alt d'automatització analítica a Portelcore consiste en utilitzar la Intel·ligència Artificial de Google (Gemini) per auditar i diagnosticar els fallos lògics del model predictiu interpretat per SHAP.

Script d'automatització: analisis_forense_ia.py

Sección titulada «Script de Automatización: analisis_forense_ia.py»

Este script interactúa con la base de datos de telemetría y utiliza el SDK unificado de Google GenAI (google-genai) para generar diagnósticos en lenguaje natural estructurado.

import os
import sqlite3
from google import genai
from google.genai import types
# Inicialización segura del cliente unificado de Gemini API
# Recuerda exportar la variable de entorno: export GEMINI_API_KEY="tu_clave_de_pruebas"
client = genai.Client()
def generar_diagnostico_forense(prediction_id: str) -> str:
"""
Extrae las atribuciones SHAP de una predicción errónea y
genera un diagnóstico detallado utilizando Gemini 2.5 Flash.
"""
# Conexión a la base de datos local
conn = sqlite3.connect("data/portel_telemetry.db")
cursor = conn.cursor()
# 1. Obtener detalles de la predicción
cursor.execute("""
SELECT portel_user_id, output_probability, actual_outcome
FROM model_predictions
WHERE prediction_id = ?
""", (prediction_id,))
pred_info = cursor.fetchone()
if not pred_info:
return "ID de predicción no encontrado."
user_id, prob, actual = pred_info
# 2. Obtener atribuciones SHAP
cursor.execute("""
SELECT feature_name, feature_value, shap_value
FROM shap_attributions
WHERE prediction_id = ?
ORDER BY ABS(shap_value) DESC
""", (prediction_id,))
attributions = cursor.fetchall()
conn.close()
# 3. Construir el prompt analítico
desglose_txt = ""
for feat, val, shap in attributions:
desglose_txt += f"- {feat}: Valor Observado = {val:.2f}, Contribución SHAP = {shap:+.4f}\n"
prompt = f"""
Actúa como un experto Ingeniero de Machine Learning y Analista Cuantitativo en Portelcore.
Debemos auditar un fallo lógico en nuestro modelo de predicción de abandono (Churn) 'portel_user_churn'.
DETALLES DE LA PREDICCIÓN:
- ID Predicción: {prediction_id}
- ID Usuario: {user_id}
- Probabilidad Predicha por el Modelo: {prob:.4f} (Umbral de decisión > 0.5)
- Resultado Real: {'Abandono' if actual else 'Permanencia'}
- Estado de Predicción: FALLIDO (El modelo predijo {'Abandono' if prob > 0.5 else 'Permanencia'}, pero ocurrió lo contrario)
CONTRIBUCIONES DETALLADAS DE SHAP:
{desglose_txt}
TAREA:
1. Realiza una autopsia técnica del error. Explica por qué el modelo se equivocó basándote en las contribuciones de SHAP.
2. Determina si el modelo confió excesivamente en variables sesgadas o de ruido.
3. Recomienda acciones correctivas de ingeniería de datos para este usuario o para reentrenar el modelo en portelcore.com.
"""
# 4. Invocación al SDK unificado de Gemini
response = client.models.generate_content(
model='gemini-2.5-flash',
contents=prompt,
config=types.GenerateContentConfig(
temperature=0.2, # Baja temperatura para análisis consistentes y precisos
)
)
return response.text
# Demostración práctica de invocación en laboratorio
if __name__ == "__main__":
prediction_test_id = "pred_user_17222_40_231"
print("--- Iniciando Análisis Forense de Telemetría con Gemini ---")
try:
diagnostico = generar_diagnostico_forense(prediction_test_id)
print("\nDIAGNÓSTICO ENVIADO POR GEMINI API:")
print(diagnostico)
except Exception as e:
print(f"Error en la llamada al SDK GenAI: {e}")

4.4. Checklist de validació de l'ecosistema

Sección titulada «4.4. Checklist de Validación del Ecosistema»

Assegura't que la integració flua de punta a punta abans de donar per tancat el pipeline:

  • Les consultes de Grafana estan indexades per evitar escanejos de taules completes sobre les bases de dades de portelcore.com. ✓
  • L'script analisis_forense_ia.py utilitza exclusivament l'SDK unificat google-genai (genai.Client()). ✓
  • La temperatura del model generatiu de Gemini està configurada de manera conservadora ($0.2$) per evitar al·lucinacions analítiques en producció. ✓