Ir al contenido

データエコシステムへの統合(「どこに」)

SHAPパイプラインの統合方法と、Grafanaなどの観測性プラットフォームおよびGoogle Geminiの統一SDKとの連携による自動診断プロセスの説明(Portelcore向け)

0閲覧数

SHAPを通じた解釈可能性の最終的な価値は、テレメトリの受動的な収集だけでなく、ビジネス意思決定を最適化するための動的な統合にあります。

graph TD
A["1. Inferencia & Telemetría<br>(Calcular Predicciones & SHAP)"] --> B["2. Almacenamiento Selectivo<br>(PostgreSQL / SQLite Indexado)"]
B --> C["3. Observabilidad & BI<br>(Grafana / Looker Studio)"]
C --> D["4. Diagnóstico por IA<br>(Gemini SDK Forensics)"]
D --> E["5. Optimización del Modelo<br>(Refactorización de Features)"]
E --> A
style A fill:#3b4252,stroke:#4c566a,stroke-width:1px,color:#d8dee9
style B fill:#3b4252,stroke:#4c566a,stroke-width:1px,color:#d8dee9
style C fill:#3b4252,stroke:#4c566a,stroke-width:1px,color:#d8dee9
style D fill:#a3be8c,stroke:#8fbcbb,stroke-width:2px,color:#2e3440
style E fill:#81a1c1,stroke:#5e81ac,stroke-width:1px,color:#2e3440

4.2. 可観測性ダッシュボード:Grafanaとの接続

Sección titulada «4.2. Dashboards de Observabilidad: Conexión con Grafana»

分析テレメトリの関係スキーマは、モデルの動作および健全性をモニタリングするためのインタラクティブなダッシュボードに最適です。

1. 追跡および属性履歴パネル(ラインチャート)

Sección titulada «1. Panel de Trazabilidad e Historial de Atribución (Gráfico de Líneas)»
  • 目的: 特定のビジネス変数(例:tickets_soporte_abiertos)の影響度が時間とともに大きく変化するかどうかを監視すること。
  • Grafana 用 SQL クエリ:
    SELECT
    p.predicted_at AS "time",
    a.shap_value AS "Valor SHAP: Tickets Soporte"
    FROM model_predictions p
    JOIN shap_attributions a ON p.prediction_id = a.prediction_id
    WHERE a.feature_name = 'tickets_soporte_abiertos'
    AND p.portel_user_id = $portel_user_id
    ORDER BY p.predicted_at ASC;

2. 予測偏差法医学パネル(コントロールテーブル)

Sección titulada «2. Panel Forense de Desvíos Predictivos (Tabla de Control)»
  • 目的: モデルが最大の誤差で失敗した予測の分解を表示する。
  • Grafana 用 SQL クエリ:
    SELECT
    p.predicted_at AS "Fecha",
    p.portel_user_id AS "Usuario",
    p.output_probability AS "Probabilidad Predicha",
    a.feature_name AS "Variable",
    a.feature_value AS "Valor Observado",
    a.shap_value AS "Contribución SHAP"
    FROM model_predictions p
    JOIN shap_attributions a ON p.prediction_id = a.prediction_id
    WHERE p.actual_outcome IS NOT NULL
    AND (p.output_probability > 0.5) != p.actual_outcome -- Discordancia
    ORDER BY ABS(a.shap_value) DESC
    LIMIT 20;

4.3. Geminiを活用した自動フォレンジック診断

Sección titulada «4.3. Diagnóstico Forense Automatizado con Gemini»

Portelcoreにおける分析自動化の最高レベルは、SHAPで解釈された予測モデルの論理的な失敗を監査および診断するために、Googleの人工知能(Gemini)を使用することです。

自動化スクリプト:analisis_forense_ia.py

Sección titulada «Script de Automatización: analisis_forense_ia.py»

このスクリプトはテレメトリデータベースと連携し、Google GenAI 統合 SDK(google-genai)を使用して、構造化された自然言語診断を生成します。

import os
import sqlite3
from google import genai
from google.genai import types
# Inicialización segura del cliente unificado de Gemini API
# Recuerda exportar la variable de entorno: export GEMINI_API_KEY="tu_clave_de_pruebas"
client = genai.Client()
def generar_diagnostico_forense(prediction_id: str) -> str:
"""
Extrae las atribuciones SHAP de una predicción errónea y
genera un diagnóstico detallado utilizando Gemini 2.5 Flash.
"""
# Conexión a la base de datos local
conn = sqlite3.connect("data/portel_telemetry.db")
cursor = conn.cursor()
# 1. Obtener detalles de la predicción
cursor.execute("""
SELECT portel_user_id, output_probability, actual_outcome
FROM model_predictions
WHERE prediction_id = ?
""", (prediction_id,))
pred_info = cursor.fetchone()
if not pred_info:
return "ID de predicción no encontrado."
user_id, prob, actual = pred_info
# 2. Obtener atribuciones SHAP
cursor.execute("""
SELECT feature_name, feature_value, shap_value
FROM shap_attributions
WHERE prediction_id = ?
ORDER BY ABS(shap_value) DESC
""", (prediction_id,))
attributions = cursor.fetchall()
conn.close()
# 3. Construir el prompt analítico
desglose_txt = ""
for feat, val, shap in attributions:
desglose_txt += f"- {feat}: Valor Observado = {val:.2f}, Contribución SHAP = {shap:+.4f}\n"
prompt = f"""
Actúa como un experto Ingeniero de Machine Learning y Analista Cuantitativo en Portelcore.
Debemos auditar un fallo lógico en nuestro modelo de predicción de abandono (Churn) 'portel_user_churn'.
DETALLES DE LA PREDICCIÓN:
- ID Predicción: {prediction_id}
- ID Usuario: {user_id}
- Probabilidad Predicha por el Modelo: {prob:.4f} (Umbral de decisión > 0.5)
- Resultado Real: {'Abandono' if actual else 'Permanencia'}
- Estado de Predicción: FALLIDO (El modelo predijo {'Abandono' if prob > 0.5 else 'Permanencia'}, pero ocurrió lo contrario)
CONTRIBUCIONES DETALLADAS DE SHAP:
{desglose_txt}
TAREA:
1. Realiza una autopsia técnica del error. Explica por qué el modelo se equivocó basándote en las contribuciones de SHAP.
2. Determina si el modelo confió excesivamente en variables sesgadas o de ruido.
3. Recomienda acciones correctivas de ingeniería de datos para este usuario o para reentrenar el modelo en portelcore.com.
"""
# 4. Invocación al SDK unificado de Gemini
response = client.models.generate_content(
model='gemini-2.5-flash',
contents=prompt,
config=types.GenerateContentConfig(
temperature=0.2, # Baja temperatura para análisis consistentes y precisos
)
)
return response.text
# Demostración práctica de invocación en laboratorio
if __name__ == "__main__":
prediction_test_id = "pred_user_17222_40_231"
print("--- Iniciando Análisis Forense de Telemetría con Gemini ---")
try:
diagnostico = generar_diagnostico_forense(prediction_test_id)
print("\nDIAGNÓSTICO ENVIADO POR GEMINI API:")
print(diagnostico)
except Exception as e:
print(f"Error en la llamada al SDK GenAI: {e}")

4.4. エコシステム検証チェックリスト

Sección titulada «4.4. Checklist de Validación del Ecosistema»

パイプラインを終了とみなす前に、統合フローがエンドツーエンドで動作していることを確認してください:

  • Grafana のクエリはインデックス化されており、portelcore.com のデータベースで全表スキャンを防ぎます。✓
  • スクリプト analisis_forense_ia.py は、統合 SDK である google-genai(genai.Client())のみを使用します。✓
  • ジェミニ生成モデル の温度は、分析ホール化を防ぐために保守的に設定されています ($0.2$)。 ✓