Ir al contenido

데이터 생태계 통합 (‘Where’)

SHAP 파이프라인의 관찰 플랫폼(예: Grafana) 및 Portelcore에서 자동 진단을 위한 Gemini 통합 SDK에 대한 통합 방법론

0조회

SHAP을 통한 해석 가능성의 최종 가치는 단지 원격 모니터링의 수동 수집에 있는 것이 아니라, 비즈니스 의사결정 최적화를 위한 동적 통합에 있습니다.

graph TD
A["1. Inferencia & Telemetría<br>(Calcular Predicciones & SHAP)"] --> B["2. Almacenamiento Selectivo<br>(PostgreSQL / SQLite Indexado)"]
B --> C["3. Observabilidad & BI<br>(Grafana / Looker Studio)"]
C --> D["4. Diagnóstico por IA<br>(Gemini SDK Forensics)"]
D --> E["5. Optimización del Modelo<br>(Refactorización de Features)"]
E --> A
style A fill:#3b4252,stroke:#4c566a,stroke-width:1px,color:#d8dee9
style B fill:#3b4252,stroke:#4c566a,stroke-width:1px,color:#d8dee9
style C fill:#3b4252,stroke:#4c566a,stroke-width:1px,color:#d8dee9
style D fill:#a3be8c,stroke:#8fbcbb,stroke-width:2px,color:#2e3440
style E fill:#81a1c1,stroke:#5e81ac,stroke-width:1px,color:#2e3440

분석 원격 모니터링의 관계형 스키마는 모델의 동작 및 건강 상태를 모니터링할 수 있는 대화형 대시보드를 제공하는 데 이상적입니다.

  • 목적: 특정 비즈니스 변수(예: tickets_soporte_abiertos)의 영향이 시간이 지남에 따라 급격히 변화하는지 모니터링합니다.
  • Grafana용 SQL 쿼리:
    SELECT
    p.predicted_at AS "time",
    a.shap_value AS "Valor SHAP: Tickets Soporte"
    FROM model_predictions p
    JOIN shap_attributions a ON p.prediction_id = a.prediction_id
    WHERE a.feature_name = 'tickets_soporte_abiertos'
    AND p.portel_user_id = $portel_user_id
    ORDER BY p.predicted_at ASC;
  • 목적: 모델이 오류의 최대 범위로 실패한 예측의 세부 사항을 표시합니다.
  • Grafana용 SQL 쿼리:
    SELECT
    p.predicted_at AS "Fecha",
    p.portel_user_id AS "Usuario",
    p.output_probability AS "Probabilidad Predicha",
    a.feature_name AS "Variable",
    a.feature_value AS "Valor Observado",
    a.shap_value AS "Contribución SHAP"
    FROM model_predictions p
    JOIN shap_attributions a ON p.prediction_id = a.prediction_id
    WHERE p.actual_outcome IS NOT NULL
    AND (p.output_probability > 0.5) != p.actual_outcome -- Discordancia
    ORDER BY ABS(a.shap_value) DESC
    LIMIT 20;

4.3. 지니 메이트를 사용한 자동화된 법의학적 진단

Sección titulada «4.3. Diagnóstico Forense Automatizado con Gemini»

Portelcore의 최상위 분석 자동화 수준은 SHAP에 의해 해석된 예측 모델의 논리적 오류를 감사하고 진단하기 위해 구글의 인공지능(Gemini)을 사용하는 것입니다.

이 스크립트는 원격 모니터링 데이터베이스와 상호작용하고 구글 GenAI 단일 SDK (google-genai)를 사용하여 구조화된 자연어로 진단을 생성합니다.

import os
import sqlite3
from google import genai
from google.genai import types
# Inicialización segura del cliente unificado de Gemini API
# Recuerda exportar la variable de entorno: export GEMINI_API_KEY="tu_clave_de_pruebas"
client = genai.Client()
def generar_diagnostico_forense(prediction_id: str) -> str:
"""
Extrae las atribuciones SHAP de una predicción errónea y
genera un diagnóstico detallado utilizando Gemini 2.5 Flash.
"""
# Conexión a la base de datos local
conn = sqlite3.connect("data/portel_telemetry.db")
cursor = conn.cursor()
# 1. Obtener detalles de la predicción
cursor.execute("""
SELECT portel_user_id, output_probability, actual_outcome
FROM model_predictions
WHERE prediction_id = ?
""", (prediction_id,))
pred_info = cursor.fetchone()
if not pred_info:
return "ID de predicción no encontrado."
user_id, prob, actual = pred_info
# 2. Obtener atribuciones SHAP
cursor.execute("""
SELECT feature_name, feature_value, shap_value
FROM shap_attributions
WHERE prediction_id = ?
ORDER BY ABS(shap_value) DESC
""", (prediction_id,))
attributions = cursor.fetchall()
conn.close()
# 3. Construir el prompt analítico
desglose_txt = ""
for feat, val, shap in attributions:
desglose_txt += f"- {feat}: Valor Observado = {val:.2f}, Contribución SHAP = {shap:+.4f}\n"
prompt = f"""
Actúa como un experto Ingeniero de Machine Learning y Analista Cuantitativo en Portelcore.
Debemos auditar un fallo lógico en nuestro modelo de predicción de abandono (Churn) 'portel_user_churn'.
DETALLES DE LA PREDICCIÓN:
- ID Predicción: {prediction_id}
- ID Usuario: {user_id}
- Probabilidad Predicha por el Modelo: {prob:.4f} (Umbral de decisión > 0.5)
- Resultado Real: {'Abandono' if actual else 'Permanencia'}
- Estado de Predicción: FALLIDO (El modelo predijo {'Abandono' if prob > 0.5 else 'Permanencia'}, pero ocurrió lo contrario)
CONTRIBUCIONES DETALLADAS DE SHAP:
{desglose_txt}
TAREA:
1. Realiza una autopsia técnica del error. Explica por qué el modelo se equivocó basándote en las contribuciones de SHAP.
2. Determina si el modelo confió excesivamente en variables sesgadas o de ruido.
3. Recomienda acciones correctivas de ingeniería de datos para este usuario o para reentrenar el modelo en portelcore.com.
"""
# 4. Invocación al SDK unificado de Gemini
response = client.models.generate_content(
model='gemini-2.5-flash',
contents=prompt,
config=types.GenerateContentConfig(
temperature=0.2, # Baja temperatura para análisis consistentes y precisos
)
)
return response.text
# Demostración práctica de invocación en laboratorio
if __name__ == "__main__":
prediction_test_id = "pred_user_17222_40_231"
print("--- Iniciando Análisis Forense de Telemetría con Gemini ---")
try:
diagnostico = generar_diagnostico_forense(prediction_test_id)
print("\nDIAGNÓSTICO ENVIADO POR GEMINI API:")
print(diagnostico)
except Exception as e:
print(f"Error en la llamada al SDK GenAI: {e}")

파이프라인을 종료하기 전에 통합이 양 끝에서 유속이 잘 흐르는지 확인하세요:

  • Grafana 쿼리는 portelcore.com 데이터베이스의 전체 테이블 스캔을 방지하기 위해 인덱싱되어 있습니다. ✓
  • 스크립트 analisis_forense_ia.py는 단일 SDK google-genai (genai.Client())만 사용합니다. ✓
  • Gemini 생성 모델의 온도는 생산 환경에서 분석적 환각을 방지하기 위해 보수적으로 설정되었습니다 ($0.2$). ✓