Ir al contenido

Intégration dans l'écosystème de données (le 'où')

Méthodologie d'intégration du pipeline SHAP avec des plateformes d'observabilité comme Grafana et le SDK unifié de Gemini pour des diagnostics automatisés sur Portelcore.

0vues

4.1. Le Cercle Vertueux Analytique dans Portelcore

Sección titulada «4.1. El Círculo Virtuoso Analítico en Portelcore»

La valeur ultime de l'interprétabilité via SHAP ne réside pas uniquement dans la collecte passive de télémétrie, mais dans son intégration dynamique pour optimiser la prise de décisions commerciales.

graph TD
A["1. Inferencia & Telemetría<br>(Calcular Predicciones & SHAP)"] --> B["2. Almacenamiento Selectivo<br>(PostgreSQL / SQLite Indexado)"]
B --> C["3. Observabilidad & BI<br>(Grafana / Looker Studio)"]
C --> D["4. Diagnóstico por IA<br>(Gemini SDK Forensics)"]
D --> E["5. Optimización del Modelo<br>(Refactorización de Features)"]
E --> A
style A fill:#3b4252,stroke:#4c566a,stroke-width:1px,color:#d8dee9
style B fill:#3b4252,stroke:#4c566a,stroke-width:1px,color:#d8dee9
style C fill:#3b4252,stroke:#4c566a,stroke-width:1px,color:#d8dee9
style D fill:#a3be8c,stroke:#8fbcbb,stroke-width:2px,color:#2e3440
style E fill:#81a1c1,stroke:#5e81ac,stroke-width:1px,color:#2e3440

4.2. Tableaux de bord d'Observabilité : Connexion avec Grafana

Sección titulada «4.2. Dashboards de Observabilidad: Conexión con Grafana»

Le schéma relationnel de télémétrie analytique est idéal pour alimenter des tableaux de bord interactifs permettant de surveiller le comportement et la santé du modèle.

1. Panneau de Traçabilité et Historique d'Attribution (Graphique en Lignes)

Sección titulada «1. Panel de Trazabilidad e Historial de Atribución (Gráfico de Líneas)»
  • Objectif : Surveiller si l'impact d'une variable métier spécifique (p. ex., tickets_soporte_abiertos) change radicalement au fil du temps.
  • Requête SQL pour Grafana :
    SELECT
    p.predicted_at AS "time",
    a.shap_value AS "Valor SHAP: Tickets Soporte"
    FROM model_predictions p
    JOIN shap_attributions a ON p.prediction_id = a.prediction_id
    WHERE a.feature_name = 'tickets_soporte_abiertos'
    AND p.portel_user_id = $portel_user_id
    ORDER BY p.predicted_at ASC;

2. Panneau Forensique des Écarts Prédictifs (Tableau de Contrôle)

Sección titulada «2. Panel Forense de Desvíos Predictivos (Tabla de Control)»
  • Objectif : Afficher le détail des prédictions où le modèle a échoué avec la plus grande marge d'erreur.
  • Requête SQL pour Grafana :
    SELECT
    p.predicted_at AS "Fecha",
    p.portel_user_id AS "Usuario",
    p.output_probability AS "Probabilidad Predicha",
    a.feature_name AS "Variable",
    a.feature_value AS "Valor Observado",
    a.shap_value AS "Contribución SHAP"
    FROM model_predictions p
    JOIN shap_attributions a ON p.prediction_id = a.prediction_id
    WHERE p.actual_outcome IS NOT NULL
    AND (p.output_probability > 0.5) != p.actual_outcome -- Discordancia
    ORDER BY ABS(a.shap_value) DESC
    LIMIT 20;

4.3. Diagnostic Forensique Automatisé avec Gemini

Sección titulada «4.3. Diagnóstico Forense Automatizado con Gemini»

Le niveau le plus élevé d'automatisation analytique dans Portelcore consiste à utiliser l'Intelligence Artificielle de Google (Gemini) pour auditer et diagnostiquer les défaillances logiques du modèle prédictif interprété par SHAP.

Script d'automatisation : analisis_forense_ia.py

Sección titulada «Script de Automatización: analisis_forense_ia.py»

Ce script interagit avec la base de données de télémétrie et utilise le SDK unifié de Google GenAI (google-genai) pour générer des diagnostics en langage naturel structuré.

import os
import sqlite3
from google import genai
from google.genai import types
# Inicialización segura del cliente unificado de Gemini API
# Recuerda exportar la variable de entorno: export GEMINI_API_KEY="tu_clave_de_pruebas"
client = genai.Client()
def generar_diagnostico_forense(prediction_id: str) -> str:
"""
Extrae las atribuciones SHAP de una predicción errónea y
genera un diagnóstico detallado utilizando Gemini 2.5 Flash.
"""
# Conexión a la base de datos local
conn = sqlite3.connect("data/portel_telemetry.db")
cursor = conn.cursor()
# 1. Obtener detalles de la predicción
cursor.execute("""
SELECT portel_user_id, output_probability, actual_outcome
FROM model_predictions
WHERE prediction_id = ?
""", (prediction_id,))
pred_info = cursor.fetchone()
if not pred_info:
return "ID de predicción no encontrado."
user_id, prob, actual = pred_info
# 2. Obtener atribuciones SHAP
cursor.execute("""
SELECT feature_name, feature_value, shap_value
FROM shap_attributions
WHERE prediction_id = ?
ORDER BY ABS(shap_value) DESC
""", (prediction_id,))
attributions = cursor.fetchall()
conn.close()
# 3. Construir el prompt analítico
desglose_txt = ""
for feat, val, shap in attributions:
desglose_txt += f"- {feat}: Valor Observado = {val:.2f}, Contribución SHAP = {shap:+.4f}\n"
prompt = f"""
Actúa como un experto Ingeniero de Machine Learning y Analista Cuantitativo en Portelcore.
Debemos auditar un fallo lógico en nuestro modelo de predicción de abandono (Churn) 'portel_user_churn'.
DETALLES DE LA PREDICCIÓN:
- ID Predicción: {prediction_id}
- ID Usuario: {user_id}
- Probabilidad Predicha por el Modelo: {prob:.4f} (Umbral de decisión > 0.5)
- Resultado Real: {'Abandono' if actual else 'Permanencia'}
- Estado de Predicción: FALLIDO (El modelo predijo {'Abandono' if prob > 0.5 else 'Permanencia'}, pero ocurrió lo contrario)
CONTRIBUCIONES DETALLADAS DE SHAP:
{desglose_txt}
TAREA:
1. Realiza una autopsia técnica del error. Explica por qué el modelo se equivocó basándote en las contribuciones de SHAP.
2. Determina si el modelo confió excesivamente en variables sesgadas o de ruido.
3. Recomienda acciones correctivas de ingeniería de datos para este usuario o para reentrenar el modelo en portelcore.com.
"""
# 4. Invocación al SDK unificado de Gemini
response = client.models.generate_content(
model='gemini-2.5-flash',
contents=prompt,
config=types.GenerateContentConfig(
temperature=0.2, # Baja temperatura para análisis consistentes y precisos
)
)
return response.text
# Demostración práctica de invocación en laboratorio
if __name__ == "__main__":
prediction_test_id = "pred_user_17222_40_231"
print("--- Iniciando Análisis Forense de Telemetría con Gemini ---")
try:
diagnostico = generar_diagnostico_forense(prediction_test_id)
print("\nDIAGNÓSTICO ENVIADO POR GEMINI API:")
print(diagnostico)
except Exception as e:
print(f"Error en la llamada al SDK GenAI: {e}")

4.4. Liste de Contrôle de Validation de l'Écosystème

Sección titulada «4.4. Checklist de Validación del Ecosistema»

Assurez-vous que l'intégration s'effectue de bout en bout avant de considérer le pipeline comme terminé :

  • Les requêtes Grafana sont indexées pour éviter les scans complets de tables sur les bases de données de portelcore.com. ✓
  • Le script analisis_forense_ia.py utilise exclusivement le SDK unifié google-genai (genai.Client()). ✓
  • La température du modèle génératif de Gemini est configurée de manière conservatrice ($0.2$) pour éviter les hallucinations analytiques en production. ✓