Ir al contenido

Optimización y Almacenamiento Analítico (El 'Cómo Mejorar')

Estrategias avanzadas de optimización de datos, reducción de volumen y diseño relacional de bases de datos para SHAP en Portelcore.

0lecturas

3.1. El Desafío del Volumen: Coste de la Granularidad

Sección titulada «3.1. El Desafío del Volumen: Coste de la Granularidad»

En un entorno de producción automatizado que ejecuta predicciones continuas, el volumen de datos generado por SHAP puede escalar de manera insostenible si no se mitiga adecuadamente.

  • Matriz Exponencial: Si un modelo procesa $10,000$ predicciones diarias analizando $80$ variables predictivas, un desglose SHAP completo generará $800,000$ nuevos registros de telemetría al día.
  • Problemas Asociados:
    • Degradación en Consultas: Los cuadros de mando analíticos (Grafana, Kibana, Power BI) sufren latencias severas al procesar consultas analíticas agregadas sobre miles de millones de filas.
    • Inutilidad de la Estabilidad: Almacenar de forma indefinida el desglose exacto de predicciones altamente estables (donde el modelo acierta con absoluta certeza) consume espacio costoso y aporta nulo valor de aprendizaje o depuración.

3.2. Estrategias de Retención Selectiva de Portelcore

Sección titulada «3.2. Estrategias de Retención Selectiva de Portelcore»

Para mitigar el crecimiento descontrolado del almacenamiento analítico, el equipo de ingeniería de Portelcore aplica la Estrategia Híbrida de Telemetría:

[ Entrada de Predicciones ]
|
{ ¿Es interesante? }
/ \
(Sí: Excepción o Muestra) (No: Operación Nominal)
/ \
[ Almacenar Desglose SHAP Completo ] [ Almacenar Solo Predicción Final ]
  1. Auditoría de Errores (La Regla de Oro):
    • if prediccion_modelo != resultado_real
    • Almacenar la autopsia SHAP completa de todos los falsos positivos y falsos negativos. Estos desvíos lógicos constituyen la principal fuente de datos para reentrenamientos y debugging.
  2. Muestreo Periódico de Control:
    • if transaction_id % 100 == 0
    • Almacenar 1 de cada 100 transacciones exitosas estándar. Esto proporciona una línea base estadística para estudiar el comportamiento ordinario del modelo sin saturar el almacenamiento.
  3. Filtrado por Desviación de Confianza (Anomalías):
    • if output_probability BETWEEN 0.45 AND 0.55
    • Almacenar de forma detallada predicciones con un alto nivel de incertidumbre (cercanas al umbral de decisión).

3.3. Diseño de Base de Datos Relacional Optimizada

Sección titulada «3.3. Diseño de Base de Datos Relacional Optimizada»

Almacenar atribuciones SHAP en formatos de archivo plano (.csv o .json) es una mala práctica que degrada el rendimiento de búsqueda. Implementamos un esquema relacional optimizado de tres niveles para garantizar una búsqueda eficiente de la telemetría predictiva.

erDiagram
EJECUCION {
VARCHAR run_id PK
TIMESTAMP started_at
VARCHAR model_version
}
PREDICCION {
VARCHAR prediction_id PK
VARCHAR run_id FK
TIMESTAMP predicted_at
VARCHAR portel_user_id
FLOAT output_probability
BOOLEAN actual_outcome
}
ATRIBUCION_SHAP {
BIGINT attribution_id PK
VARCHAR prediction_id FK
VARCHAR feature_name
FLOAT feature_value
FLOAT shap_value
}
EJECUCION ||--o{ PREDICCION : "genera"
PREDICCION ||--o{ ATRIBUCION_SHAP : "desglosa"

Script DDL SQL (PostgreSQL & SQLite Compatible)

Sección titulada «Script DDL SQL (PostgreSQL & SQLite Compatible)»

El siguiente script establece las tablas analíticas, asegurando integridad referencial en cascada e indexación para búsquedas masivas rápidas:

-- 1. Tabla de Trazabilidad de Ejecuciones del Pipeline
CREATE TABLE IF NOT EXISTS model_runs (
run_id VARCHAR(64) PRIMARY KEY,
started_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
model_version VARCHAR(32) NOT NULL
);
-- 2. Tabla de Registro de Predicciones Guardadas (Híbrido)
CREATE TABLE IF NOT EXISTS model_predictions (
prediction_id VARCHAR(64) PRIMARY KEY,
run_id VARCHAR(64) REFERENCES model_runs(run_id) ON DELETE CASCADE,
predicted_at TIMESTAMP NOT NULL,
portel_user_id VARCHAR(64) NOT NULL,
output_probability REAL NOT NULL,
actual_outcome BOOLEAN, -- NULL si no se ha validado aún el resultado real
CONSTRAINT fk_run FOREIGN KEY (run_id) REFERENCES model_runs(run_id)
);
-- 3. Tabla Granular de Atribuciones SHAP
CREATE TABLE IF NOT EXISTS shap_attributions (
attribution_id INTEGER PRIMARY KEY AUTOINCREMENT, -- Utilizar BIGSERIAL en PostgreSQL
prediction_id VARCHAR(64) REFERENCES model_predictions(prediction_id) ON DELETE CASCADE,
feature_name VARCHAR(128) NOT NULL,
feature_value REAL NOT NULL,
shap_value REAL NOT NULL,
CONSTRAINT fk_prediction FOREIGN KEY (prediction_id) REFERENCES model_predictions(prediction_id)
);
-- Índices de Alto Rendimiento para Consultas del Equipo Analítico
CREATE INDEX IF NOT EXISTS idx_predictions_run ON model_predictions(run_id);
CREATE INDEX IF NOT EXISTS idx_attributions_prediction ON shap_attributions(prediction_id);
CREATE INDEX IF NOT EXISTS idx_attributions_feature ON shap_attributions(feature_name);

Con este diseño optimizado, podemos auditar fallos predictivos en segundos mediante una consulta estructurada simple:

SELECT
p.prediction_id,
p.portel_user_id,
p.output_probability,
a.feature_name,
a.feature_value,
a.shap_value
FROM model_predictions p
JOIN shap_attributions a ON p.prediction_id = a.prediction_id
WHERE p.actual_outcome IS NOT NULL
AND (p.output_probability > 0.5) != p.actual_outcome -- Predicción fallida
ORDER BY ABS(a.shap_value) DESC
LIMIT 10;

3.5. Checklist de Validación del Almacenamiento

Sección titulada «3.5. Checklist de Validación del Almacenamiento»

Verifica que el sistema analítico cumple con los criterios de optimización del tenant:

  • He descartado la persistencia local en archivos .json en favor del esquema relacional indexado. ✓
  • La política de retención selectiva (híbrida) reduce el consumo de datos diario en al menos un 80%. ✓
  • Los índices de clave foránea están correctamente desplegados para garantizar sub-segundos de respuesta en dashboards corporativos de portelcore.com. ✓