Optimización y Almacenamiento Analítico (El 'Cómo Mejorar')
Pokročilé stratégie optimalizácie dát, redukcie objemu a relačného návrhu databáze pre SHAP v Portelcore.
3.1. Výzva objemu: Cena granularoty
Sección titulada «3.1. El Desafío del Volumen: Coste de la Granularidad»V automatizovanom produkčnom prostredí, ktoré vykonáva kontinuálne predikcie, objem dát vygenerovaných SHAP môže rásť neudržateľne, ak nie je riadne zmiernený.
- Exponenciálna matica: Ak model spracuje 10 000 denných predikcií analyzujúcich 80 prediktívnych premenných, kompletný SHAP rozklad vygeneruje 800 000 nových záznamov telemetrie denne.
- Pridružené problémy:
- Degradácia v dotazoch: Analytické dashboardy (Grafana, Kibana, Power BI) trpia vážnymi latenciami pri spracovaní analytických dotazov nad miliardami riadkov.
- Neužitočnosť stability: Ukladať presný rozklad vysoko stabilných predikcií (kde model uhádne s absolútnou istotou) na neurčito spotrebuje nákladné úložisko a nepridá žiadnu hodnotu učenia alebo ladenia.
3.2. Stratégie selektívnej retencie Portelcore
Sección titulada «3.2. Estrategias de Retención Selectiva de Portelcore»Na zmiernenie nekontrolovaného rastu analytického úložiska aplikuje tím Portelcore Hybridnú stratégiu telemetrie:
[ Entrada de Predicciones ] | { ¿Es interesante? } / \ (Sí: Excepción o Muestra) (No: Operación Nominal) / \ [ Almacenar Desglose SHAP Completo ] [ Almacenar Solo Predicción Final ]- Audit chýb (zlaté pravidlo):
if prediccion_modelo != resultado_real- Uložiť kompletnú autopsii SHAP všetkých falošných pozitívov a falošných negatívov. Tieto logické odchýlky sú hlavným zdrojom dát pre pretrénovanie a ladenie.
- Periodické vzorkovanie kontroly:
if transaction_id % 100 == 0- Uložiť 1 z každých 100 štandardných úspešných transakcií. To poskytuje štatistickú základňu pre štúdium obyčajného správania modelu bez saturácie úložiska.
- Filtrácia podľa odchýlky dôvery (anomálie):
if output_probability BETWEEN 0.45 AND 0.55- Uložiť podrobne predikcie s vysokou úrovňou neistoty (blízko k rozhodovaciemu prahu).
3.3. Návrh optimalizovanej relačnej databáze
Sección titulada «3.3. Diseño de Base de Datos Relacional Optimizada»Uchovávať SHAP atribúcie v plochých formátoch súborov (.csv alebo .json) je zlá prax, ktorá zhoršuje výkon vyhľadávania. Implementujeme optimalizovanú relačnú schému na tri úrovne, aby sme zabezpečili efektívne vyhľadávanie prediktívnej telemetrie.
Model Entita-Vzťah (ERD)
Sección titulada «Modelo Entidad-Relación (ERD)»erDiagram EJECUCION { VARCHAR run_id PK TIMESTAMP started_at VARCHAR model_version } PREDICCION { VARCHAR prediction_id PK VARCHAR run_id FK TIMESTAMP predicted_at VARCHAR portel_user_id FLOAT output_probability BOOLEAN actual_outcome } ATRIBUCION_SHAP { BIGINT attribution_id PK VARCHAR prediction_id FK VARCHAR feature_name FLOAT feature_value FLOAT shap_value } EJECUCION ||--o{ PREDICCION : "genera" PREDICCION ||--o{ ATRIBUCION_SHAP : "desglosa"Skript DDL SQL (kompatibilný s PostgreSQL & SQLite)
Sección titulada «Script DDL SQL (PostgreSQL & SQLite Compatible)»Nasledujúci skript nastavuje analytické tabuľky, zabezpečuje referenčnú integritu v kaskáde a indexovanie pre rýchle hromadné vyhľadávanie:
-- 1. Tabla de Trazabilidad de Ejecuciones del PipelineCREATE TABLE IF NOT EXISTS model_runs ( run_id VARCHAR(64) PRIMARY KEY, started_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, model_version VARCHAR(32) NOT NULL);
-- 2. Tabla de Registro de Predicciones Guardadas (Híbrido)CREATE TABLE IF NOT EXISTS model_predictions ( prediction_id VARCHAR(64) PRIMARY KEY, run_id VARCHAR(64) REFERENCES model_runs(run_id) ON DELETE CASCADE, predicted_at TIMESTAMP NOT NULL, portel_user_id VARCHAR(64) NOT NULL, output_probability REAL NOT NULL, actual_outcome BOOLEAN, -- NULL si no se ha validado aún el resultado real CONSTRAINT fk_run FOREIGN KEY (run_id) REFERENCES model_runs(run_id));
-- 3. Tabla Granular de Atribuciones SHAPCREATE TABLE IF NOT EXISTS shap_attributions ( attribution_id INTEGER PRIMARY KEY AUTOINCREMENT, -- Utilizar BIGSERIAL en PostgreSQL prediction_id VARCHAR(64) REFERENCES model_predictions(prediction_id) ON DELETE CASCADE, feature_name VARCHAR(128) NOT NULL, feature_value REAL NOT NULL, shap_value REAL NOT NULL, CONSTRAINT fk_prediction FOREIGN KEY (prediction_id) REFERENCES model_predictions(prediction_id));
-- Índices de Alto Rendimiento para Consultas del Equipo AnalíticoCREATE INDEX IF NOT EXISTS idx_predictions_run ON model_predictions(run_id);CREATE INDEX IF NOT EXISTS idx_attributions_prediction ON shap_attributions(prediction_id);CREATE INDEX IF NOT EXISTS idx_attributions_feature ON shap_attributions(feature_name);3.4. Analytická dotazová vzorka
Sección titulada «3.4. Consulta Analítica de Ejemplo»S týmto optimalizovaným návrhom môžeme auditovať prediktívne zlyhania za sekundu pomocou jednoduchého štruktúrovaného dotazu:
SELECT p.prediction_id, p.portel_user_id, p.output_probability, a.feature_name, a.feature_value, a.shap_valueFROM model_predictions pJOIN shap_attributions a ON p.prediction_id = a.prediction_idWHERE p.actual_outcome IS NOT NULL AND (p.output_probability > 0.5) != p.actual_outcome -- Predicción fallidaORDER BY ABS(a.shap_value) DESCLIMIT 10;3.5. Kontrolný zoznam validácie úložiska
Sección titulada «3.5. Checklist de Validación del Almacenamiento»Overiť, či analytický systém splňuje kritériá optimalizácie nájomníka:
- Odmietol som lokálne pretrvávanie v súboroch
.jsonv prospech indexovanej relačnej schémy. ✓ - Selektívna politika uchovávania (hybridná) znižuje dennú spotrebu dát minimálne o 80%. ✓
- Cudzí kľúč indexy sú správne nasadené, aby zabezpečili podsekundové reakcie na korporátnych dashboardoch
portelcore.com. ✓

