Optimització i Emmagatzematge Analític (El 'Com Millorar')
Estratègies avançades d'optimització de dades, reducció de volum i disseny relacional de bases de dades per a SHAP a Portelcore.
3.1. El repte del volum: Cost de la granularitat
Sección titulada «3.1. El Desafío del Volumen: Coste de la Granularidad»En un entorn de producció automatitzat que executa prediccions contínues, el volum de dades generat per SHAP pot escalar de manera insostenible si no es mitiga adequadament.
- Matriu exponencial: Si un model processa $10,000$ prediccions diàries analitzant $80$ variables predictives, un desgloss SHAP complet generarà $800,000$ nous registres de telemetria al dia.
- Problemas Asociados:
- Degradació en consultes: Els panells de control analítics (Grafana, Kibana, Power BI) pateixen latències severes en processar consultes analítiques agregades sobre milers de milions de files.
- Inutilitat de l'estabilitat: Emmagatzemar de forma indefinida el desgloss exacte de prediccions altament estables (on el model encerta amb absoluta certesa) consume espai costós i aporta un valor nul d'aprenentatge o depuració.
3.2. Estratègies de retenció selectiva de Portelcore
Sección titulada «3.2. Estrategias de Retención Selectiva de Portelcore»Per mitigar el creixement descontrolat de l'emmagatzematge analític, l'equip d'enginyeria de Portelcore aplica l'Estratègia Híbrida de Telemetria:
[ Entrada de Predicciones ] | { ¿Es interesante? } / \ (Sí: Excepción o Muestra) (No: Operación Nominal) / \ [ Almacenar Desglose SHAP Completo ] [ Almacenar Solo Predicción Final ]- Auditoría de Errores (La Regla de Oro):
if prediccion_modelo != resultado_real- Emmagatzemar l'autopsia SHAP completa de tots els falsos positius i falsos negatius. Aquests desviaments lògics constitueixen la principal font de dades per a reentrenaments i debugging.
- Muestreo Periódico de Control:
if transaction_id % 100 == 0- Emmagatzemar 1 de cada 100 transaccions amb èxit estàndard. Això proporciona una línia de base estadística per estudiar el comportament ordinari del model sense saturar l'emmagatzematge.
- Filtrado por Desviación de Confianza (Anomalías):
if output_probability BETWEEN 0.45 AND 0.55- Emmagatzemar de forma detallada les prediccions amb un alt nivell d'incertesa (proves al llindar de decisió).
3.3. Disseny de Base de Dades Relacional Optimitzat
Sección titulada «3.3. Diseño de Base de Datos Relacional Optimizada»Emmagatzemar les atribucions SHAP en formats de fitxer pla (.csv o .json) és una mala pràctica que degrada el rendiment de cerca. Hem implementat un esquema relacional optimitzat de tres nivells per garantir una cerca eficient de la telemetria predictiva.
Model Entitat-Relació (ERD)
Sección titulada «Modelo Entidad-Relación (ERD)»erDiagram EJECUCION { VARCHAR run_id PK TIMESTAMP started_at VARCHAR model_version } PREDICCION { VARCHAR prediction_id PK VARCHAR run_id FK TIMESTAMP predicted_at VARCHAR portel_user_id FLOAT output_probability BOOLEAN actual_outcome } ATRIBUCION_SHAP { BIGINT attribution_id PK VARCHAR prediction_id FK VARCHAR feature_name FLOAT feature_value FLOAT shap_value } EJECUCION ||--o{ PREDICCION : "genera" PREDICCION ||--o{ ATRIBUCION_SHAP : "desglosa"Script DDL SQL (PostgreSQL & SQLite Compatible)
Sección titulada «Script DDL SQL (PostgreSQL & SQLite Compatible)»L'escript següent estableix les taules analítiques, assegurant l'integritat referencial en cascada i l'indexació per a cerques massives ràpides:
-- 1. Tabla de Trazabilidad de Ejecuciones del PipelineCREATE TABLE IF NOT EXISTS model_runs ( run_id VARCHAR(64) PRIMARY KEY, started_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, model_version VARCHAR(32) NOT NULL);
-- 2. Tabla de Registro de Predicciones Guardadas (Híbrido)CREATE TABLE IF NOT EXISTS model_predictions ( prediction_id VARCHAR(64) PRIMARY KEY, run_id VARCHAR(64) REFERENCES model_runs(run_id) ON DELETE CASCADE, predicted_at TIMESTAMP NOT NULL, portel_user_id VARCHAR(64) NOT NULL, output_probability REAL NOT NULL, actual_outcome BOOLEAN, -- NULL si no se ha validado aún el resultado real CONSTRAINT fk_run FOREIGN KEY (run_id) REFERENCES model_runs(run_id));
-- 3. Tabla Granular de Atribuciones SHAPCREATE TABLE IF NOT EXISTS shap_attributions ( attribution_id INTEGER PRIMARY KEY AUTOINCREMENT, -- Utilizar BIGSERIAL en PostgreSQL prediction_id VARCHAR(64) REFERENCES model_predictions(prediction_id) ON DELETE CASCADE, feature_name VARCHAR(128) NOT NULL, feature_value REAL NOT NULL, shap_value REAL NOT NULL, CONSTRAINT fk_prediction FOREIGN KEY (prediction_id) REFERENCES model_predictions(prediction_id));
-- Índices de Alto Rendimiento para Consultas del Equipo AnalíticoCREATE INDEX IF NOT EXISTS idx_predictions_run ON model_predictions(run_id);CREATE INDEX IF NOT EXISTS idx_attributions_prediction ON shap_attributions(prediction_id);CREATE INDEX IF NOT EXISTS idx_attributions_feature ON shap_attributions(feature_name);3.4. Consulta Analítica d'Exemple
Sección titulada «3.4. Consulta Analítica de Ejemplo»Amb aquest disseny optimitzat, podem auditar fallades predictives en segons mitjançant una consulta estructurada simple:
SELECT p.prediction_id, p.portel_user_id, p.output_probability, a.feature_name, a.feature_value, a.shap_valueFROM model_predictions pJOIN shap_attributions a ON p.prediction_id = a.prediction_idWHERE p.actual_outcome IS NOT NULL AND (p.output_probability > 0.5) != p.actual_outcome -- Predicción fallidaORDER BY ABS(a.shap_value) DESCLIMIT 10;3.5. Check-list de validació de l'emmagatzematge
Sección titulada «3.5. Checklist de Validación del Almacenamiento»Verifica que el sistema analític compleix els criteris d'optimització del tenant:
- He descartat la persistència local en fitxers
.jsonen benefici de l'esquema relacional indexat. ✓ - La política de retenció selectiva (híbrida) redueix el consum de dades diari en almenys un 80%. ✓
- Els índexs de clau forànea estan desplegats correctament per garantir subsegons de resposta en dashboards corporatius de
portelcore.com. ✓

