Optimisation et stockage analytique (Le 'Comment améliorer')
Stratégies avancées d'optimisation des données, de réduction de volume et de conception relationnelle de bases de données pour SHAP chez Portelcore.
3.1. Le Défi du Volume : Coût de la Granularité
Sección titulada «3.1. El Desafío del Volumen: Coste de la Granularidad»Dans un environnement de production automatisé exécutant des prédictions continues, le volume de données généré par SHAP peut augmenter de manière insoutenable s'il n'est pas correctement atténué.
- Matrice exponentielle : Si un modèle traite $10,000$ prédictions quotidiennes en analysant $80$ variables prédictives, une décomposition SHAP complète générera $800,000$ nouveaux enregistrements de télémétrie par jour.
- Problèmes associés :
- Dégradation des requêtes : Les tableaux de bord analytiques (Grafana, Kibana, Power BI) souffrent de latences sévères lors du traitement de requêtes analytiques agrégées sur des milliards de lignes.
- Inutilité de la stabilité : Le stockage indéfini de la décomposition exacte de prédictions hautement stables (où le modèle réussit avec une certitude absolue) consomme un espace coûteux et n'apporte aucune valeur d'apprentissage ou de débogage.
3.2. Stratégies de Rétention Sélective de Portelcore
Sección titulada «3.2. Estrategias de Retención Selectiva de Portelcore»Pour atténuer la croissance incontrôlée du stockage analytique, l'équipe d'ingénierie de Portelcore applique la Stratégie hybride de télémétrie :
[ Entrada de Predicciones ] | { ¿Es interesante? } / \ (Sí: Excepción o Muestra) (No: Operación Nominal) / \ [ Almacenar Desglose SHAP Completo ] [ Almacenar Solo Predicción Final ]- Audit des erreurs (la règle d'or) :
if prediccion_modelo != resultado_real- Stocker l'autopsie SHAP complète de tous les faux positifs et faux négatifs. Ces écarts logiques constituent la principale source de données pour les réentraînements et le débogage.
- Échantillonnage périodique de contrôle :
if transaction_id % 100 == 0- Stocker 1 transaction réussie standard sur 100. Cela fournit une base de référence statistique pour étudier le comportement ordinaire du modèle sans saturer le stockage.
- Filtrage par déviation de confiance (anomalies) :
if output_probability BETWEEN 0.45 AND 0.55- Stocker de manière détaillée les prédictions avec un niveau d'incertitude élevé (proches du seuil de décision).
3.3. Conception de Base de Données Relationnelle Optimisée
Sección titulada «3.3. Diseño de Base de Datos Relacional Optimizada»Stocker les attributions SHAP dans des formats de fichiers plats (.csv ou .json) est une mauvaise pratique qui dégrade les performances de recherche. Nous avons implémenté un schéma relationnel optimisé à trois niveaux pour garantir une recherche efficace de la télémétrie prédictive.
Modèle Entité-Relation (ERD)
Sección titulada «Modelo Entidad-Relación (ERD)»erDiagram EJECUCION { VARCHAR run_id PK TIMESTAMP started_at VARCHAR model_version } PREDICCION { VARCHAR prediction_id PK VARCHAR run_id FK TIMESTAMP predicted_at VARCHAR portel_user_id FLOAT output_probability BOOLEAN actual_outcome } ATRIBUCION_SHAP { BIGINT attribution_id PK VARCHAR prediction_id FK VARCHAR feature_name FLOAT feature_value FLOAT shap_value } EJECUCION ||--o{ PREDICCION : "genera" PREDICCION ||--o{ ATRIBUCION_SHAP : "desglosa"Script DDL SQL (compatible PostgreSQL & SQLite)
Sección titulada «Script DDL SQL (PostgreSQL & SQLite Compatible)»Le script suivant établit les tables analytiques, assurant l'intégrité référentielle en cascade et l'indexation pour des recherches massives rapides :
-- 1. Tabla de Trazabilidad de Ejecuciones del PipelineCREATE TABLE IF NOT EXISTS model_runs ( run_id VARCHAR(64) PRIMARY KEY, started_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, model_version VARCHAR(32) NOT NULL);
-- 2. Tabla de Registro de Predicciones Guardadas (Híbrido)CREATE TABLE IF NOT EXISTS model_predictions ( prediction_id VARCHAR(64) PRIMARY KEY, run_id VARCHAR(64) REFERENCES model_runs(run_id) ON DELETE CASCADE, predicted_at TIMESTAMP NOT NULL, portel_user_id VARCHAR(64) NOT NULL, output_probability REAL NOT NULL, actual_outcome BOOLEAN, -- NULL si no se ha validado aún el resultado real CONSTRAINT fk_run FOREIGN KEY (run_id) REFERENCES model_runs(run_id));
-- 3. Tabla Granular de Atribuciones SHAPCREATE TABLE IF NOT EXISTS shap_attributions ( attribution_id INTEGER PRIMARY KEY AUTOINCREMENT, -- Utilizar BIGSERIAL en PostgreSQL prediction_id VARCHAR(64) REFERENCES model_predictions(prediction_id) ON DELETE CASCADE, feature_name VARCHAR(128) NOT NULL, feature_value REAL NOT NULL, shap_value REAL NOT NULL, CONSTRAINT fk_prediction FOREIGN KEY (prediction_id) REFERENCES model_predictions(prediction_id));
-- Índices de Alto Rendimiento para Consultas del Equipo AnalíticoCREATE INDEX IF NOT EXISTS idx_predictions_run ON model_predictions(run_id);CREATE INDEX IF NOT EXISTS idx_attributions_prediction ON shap_attributions(prediction_id);CREATE INDEX IF NOT EXISTS idx_attributions_feature ON shap_attributions(feature_name);3.4. Exemple de Requête Analytique
Sección titulada «3.4. Consulta Analítica de Ejemplo»Avec cette conception optimisée, nous pouvons auditer les échecs prédictifs en quelques secondes via une simple requête structurée :
SELECT p.prediction_id, p.portel_user_id, p.output_probability, a.feature_name, a.feature_value, a.shap_valueFROM model_predictions pJOIN shap_attributions a ON p.prediction_id = a.prediction_idWHERE p.actual_outcome IS NOT NULL AND (p.output_probability > 0.5) != p.actual_outcome -- Predicción fallidaORDER BY ABS(a.shap_value) DESCLIMIT 10;3.5. Liste de Contrôle de Validation du Stockage
Sección titulada «3.5. Checklist de Validación del Almacenamiento»Vérifiez que le système analytique répond aux critères d'optimisation du tenant :
- J'ai abandonné la persistance locale dans des fichiers
.jsonau profit d'un schéma relationnel indexé. ✓ - La politique de rétention sélective (hybride) réduit la consommation quotidienne de données d'au moins 80 %. ✓
- Les index de clés étrangères sont correctement déployés pour garantir des temps de réponse inférieurs à la seconde sur les tableaux de bord d'entreprise de
portelcore.com. ✓

