Ir al contenido

Optimització i Emmagatzematge Analític (El 'Com Millorar')

Estratègies avançades d'optimització de dades, reducció de volum i disseny relacional de bases de dades per a SHAP a Portelcore.

0lectures

En un entorn de producció automatitzat que executa prediccions contínues, el volum de dades generat per SHAP pot escalar de manera insostenible si no es mitiga adequadament.

  • Matriu exponencial: Si un model processa $10,000$ prediccions diàries analitzant $80$ variables predictives, un desgloss SHAP complet generarà $800,000$ nous registres de telemetria al dia.
  • Problemas Asociados:
    • Degradació en consultes: Els panells de control analítics (Grafana, Kibana, Power BI) pateixen latències severes en processar consultes analítiques agregades sobre milers de milions de files.
    • Inutilitat de l'estabilitat: Emmagatzemar de forma indefinida el desgloss exacte de prediccions altament estables (on el model encerta amb absoluta certesa) consume espai costós i aporta un valor nul d'aprenentatge o depuració.

3.2. Estratègies de retenció selectiva de Portelcore

Sección titulada «3.2. Estrategias de Retención Selectiva de Portelcore»

Per mitigar el creixement descontrolat de l'emmagatzematge analític, l'equip d'enginyeria de Portelcore aplica l'Estratègia Híbrida de Telemetria:

[ Entrada de Predicciones ]
|
{ ¿Es interesante? }
/ \
(Sí: Excepción o Muestra) (No: Operación Nominal)
/ \
[ Almacenar Desglose SHAP Completo ] [ Almacenar Solo Predicción Final ]
  1. Auditoría de Errores (La Regla de Oro):
    • if prediccion_modelo != resultado_real
    • Emmagatzemar l'autopsia SHAP completa de tots els falsos positius i falsos negatius. Aquests desviaments lògics constitueixen la principal font de dades per a reentrenaments i debugging.
  2. Muestreo Periódico de Control:
    • if transaction_id % 100 == 0
    • Emmagatzemar 1 de cada 100 transaccions amb èxit estàndard. Això proporciona una línia de base estadística per estudiar el comportament ordinari del model sense saturar l'emmagatzematge.
  3. Filtrado por Desviación de Confianza (Anomalías):
    • if output_probability BETWEEN 0.45 AND 0.55
    • Emmagatzemar de forma detallada les prediccions amb un alt nivell d'incertesa (proves al llindar de decisió).

3.3. Disseny de Base de Dades Relacional Optimitzat

Sección titulada «3.3. Diseño de Base de Datos Relacional Optimizada»

Emmagatzemar les atribucions SHAP en formats de fitxer pla (.csv o .json) és una mala pràctica que degrada el rendiment de cerca. Hem implementat un esquema relacional optimitzat de tres nivells per garantir una cerca eficient de la telemetria predictiva.

erDiagram
EJECUCION {
VARCHAR run_id PK
TIMESTAMP started_at
VARCHAR model_version
}
PREDICCION {
VARCHAR prediction_id PK
VARCHAR run_id FK
TIMESTAMP predicted_at
VARCHAR portel_user_id
FLOAT output_probability
BOOLEAN actual_outcome
}
ATRIBUCION_SHAP {
BIGINT attribution_id PK
VARCHAR prediction_id FK
VARCHAR feature_name
FLOAT feature_value
FLOAT shap_value
}
EJECUCION ||--o{ PREDICCION : "genera"
PREDICCION ||--o{ ATRIBUCION_SHAP : "desglosa"

Script DDL SQL (PostgreSQL & SQLite Compatible)

Sección titulada «Script DDL SQL (PostgreSQL & SQLite Compatible)»

L'escript següent estableix les taules analítiques, assegurant l'integritat referencial en cascada i l'indexació per a cerques massives ràpides:

-- 1. Tabla de Trazabilidad de Ejecuciones del Pipeline
CREATE TABLE IF NOT EXISTS model_runs (
run_id VARCHAR(64) PRIMARY KEY,
started_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
model_version VARCHAR(32) NOT NULL
);
-- 2. Tabla de Registro de Predicciones Guardadas (Híbrido)
CREATE TABLE IF NOT EXISTS model_predictions (
prediction_id VARCHAR(64) PRIMARY KEY,
run_id VARCHAR(64) REFERENCES model_runs(run_id) ON DELETE CASCADE,
predicted_at TIMESTAMP NOT NULL,
portel_user_id VARCHAR(64) NOT NULL,
output_probability REAL NOT NULL,
actual_outcome BOOLEAN, -- NULL si no se ha validado aún el resultado real
CONSTRAINT fk_run FOREIGN KEY (run_id) REFERENCES model_runs(run_id)
);
-- 3. Tabla Granular de Atribuciones SHAP
CREATE TABLE IF NOT EXISTS shap_attributions (
attribution_id INTEGER PRIMARY KEY AUTOINCREMENT, -- Utilizar BIGSERIAL en PostgreSQL
prediction_id VARCHAR(64) REFERENCES model_predictions(prediction_id) ON DELETE CASCADE,
feature_name VARCHAR(128) NOT NULL,
feature_value REAL NOT NULL,
shap_value REAL NOT NULL,
CONSTRAINT fk_prediction FOREIGN KEY (prediction_id) REFERENCES model_predictions(prediction_id)
);
-- Índices de Alto Rendimiento para Consultas del Equipo Analítico
CREATE INDEX IF NOT EXISTS idx_predictions_run ON model_predictions(run_id);
CREATE INDEX IF NOT EXISTS idx_attributions_prediction ON shap_attributions(prediction_id);
CREATE INDEX IF NOT EXISTS idx_attributions_feature ON shap_attributions(feature_name);

Amb aquest disseny optimitzat, podem auditar fallades predictives en segons mitjançant una consulta estructurada simple:

SELECT
p.prediction_id,
p.portel_user_id,
p.output_probability,
a.feature_name,
a.feature_value,
a.shap_value
FROM model_predictions p
JOIN shap_attributions a ON p.prediction_id = a.prediction_id
WHERE p.actual_outcome IS NOT NULL
AND (p.output_probability > 0.5) != p.actual_outcome -- Predicción fallida
ORDER BY ABS(a.shap_value) DESC
LIMIT 10;

3.5. Check-list de validació de l'emmagatzematge

Sección titulada «3.5. Checklist de Validación del Almacenamiento»

Verifica que el sistema analític compleix els criteris d'optimització del tenant:

  • He descartat la persistència local en fitxers .json en benefici de l'esquema relacional indexat. ✓
  • La política de retenció selectiva (híbrida) redueix el consum de dades diari en almenys un 80%. ✓
  • Els índexs de clau forànea estan desplegats correctament per garantir subsegons de resposta en dashboards corporatius de portelcore.com. ✓