Ir al contenido

Optimización y Almacenamiento Analítico (El 'Cómo Mejorar')

Pokročilé stratégie optimalizácie dát, redukcie objemu a relačného návrhu databáze pre SHAP v Portelcore.

0lecturas

V automatizovanom produkčnom prostredí, ktoré vykonáva kontinuálne predikcie, objem dát vygenerovaných SHAP môže rásť neudržateľne, ak nie je riadne zmiernený.

  • Exponenciálna matica: Ak model spracuje 10 000 denných predikcií analyzujúcich 80 prediktívnych premenných, kompletný SHAP rozklad vygeneruje 800 000 nových záznamov telemetrie denne.
  • Pridružené problémy:
    • Degradácia v dotazoch: Analytické dashboardy (Grafana, Kibana, Power BI) trpia vážnymi latenciami pri spracovaní analytických dotazov nad miliardami riadkov.
    • Neužitočnosť stability: Ukladať presný rozklad vysoko stabilných predikcií (kde model uhádne s absolútnou istotou) na neurčito spotrebuje nákladné úložisko a nepridá žiadnu hodnotu učenia alebo ladenia.

Na zmiernenie nekontrolovaného rastu analytického úložiska aplikuje tím Portelcore Hybridnú stratégiu telemetrie:

[ Entrada de Predicciones ]
|
{ ¿Es interesante? }
/ \
(Sí: Excepción o Muestra) (No: Operación Nominal)
/ \
[ Almacenar Desglose SHAP Completo ] [ Almacenar Solo Predicción Final ]
  1. Audit chýb (zlaté pravidlo):
    • if prediccion_modelo != resultado_real
    • Uložiť kompletnú autopsii SHAP všetkých falošných pozitívov a falošných negatívov. Tieto logické odchýlky sú hlavným zdrojom dát pre pretrénovanie a ladenie.
  2. Periodické vzorkovanie kontroly:
    • if transaction_id % 100 == 0
    • Uložiť 1 z každých 100 štandardných úspešných transakcií. To poskytuje štatistickú základňu pre štúdium obyčajného správania modelu bez saturácie úložiska.
  3. Filtrácia podľa odchýlky dôvery (anomálie):
    • if output_probability BETWEEN 0.45 AND 0.55
    • Uložiť podrobne predikcie s vysokou úrovňou neistoty (blízko k rozhodovaciemu prahu).

Uchovávať SHAP atribúcie v plochých formátoch súborov (.csv alebo .json) je zlá prax, ktorá zhoršuje výkon vyhľadávania. Implementujeme optimalizovanú relačnú schému na tri úrovne, aby sme zabezpečili efektívne vyhľadávanie prediktívnej telemetrie.

erDiagram
EJECUCION {
VARCHAR run_id PK
TIMESTAMP started_at
VARCHAR model_version
}
PREDICCION {
VARCHAR prediction_id PK
VARCHAR run_id FK
TIMESTAMP predicted_at
VARCHAR portel_user_id
FLOAT output_probability
BOOLEAN actual_outcome
}
ATRIBUCION_SHAP {
BIGINT attribution_id PK
VARCHAR prediction_id FK
VARCHAR feature_name
FLOAT feature_value
FLOAT shap_value
}
EJECUCION ||--o{ PREDICCION : "genera"
PREDICCION ||--o{ ATRIBUCION_SHAP : "desglosa"

Skript DDL SQL (kompatibilný s PostgreSQL & SQLite)

Sección titulada «Script DDL SQL (PostgreSQL & SQLite Compatible)»

Nasledujúci skript nastavuje analytické tabuľky, zabezpečuje referenčnú integritu v kaskáde a indexovanie pre rýchle hromadné vyhľadávanie:

-- 1. Tabla de Trazabilidad de Ejecuciones del Pipeline
CREATE TABLE IF NOT EXISTS model_runs (
run_id VARCHAR(64) PRIMARY KEY,
started_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
model_version VARCHAR(32) NOT NULL
);
-- 2. Tabla de Registro de Predicciones Guardadas (Híbrido)
CREATE TABLE IF NOT EXISTS model_predictions (
prediction_id VARCHAR(64) PRIMARY KEY,
run_id VARCHAR(64) REFERENCES model_runs(run_id) ON DELETE CASCADE,
predicted_at TIMESTAMP NOT NULL,
portel_user_id VARCHAR(64) NOT NULL,
output_probability REAL NOT NULL,
actual_outcome BOOLEAN, -- NULL si no se ha validado aún el resultado real
CONSTRAINT fk_run FOREIGN KEY (run_id) REFERENCES model_runs(run_id)
);
-- 3. Tabla Granular de Atribuciones SHAP
CREATE TABLE IF NOT EXISTS shap_attributions (
attribution_id INTEGER PRIMARY KEY AUTOINCREMENT, -- Utilizar BIGSERIAL en PostgreSQL
prediction_id VARCHAR(64) REFERENCES model_predictions(prediction_id) ON DELETE CASCADE,
feature_name VARCHAR(128) NOT NULL,
feature_value REAL NOT NULL,
shap_value REAL NOT NULL,
CONSTRAINT fk_prediction FOREIGN KEY (prediction_id) REFERENCES model_predictions(prediction_id)
);
-- Índices de Alto Rendimiento para Consultas del Equipo Analítico
CREATE INDEX IF NOT EXISTS idx_predictions_run ON model_predictions(run_id);
CREATE INDEX IF NOT EXISTS idx_attributions_prediction ON shap_attributions(prediction_id);
CREATE INDEX IF NOT EXISTS idx_attributions_feature ON shap_attributions(feature_name);

S týmto optimalizovaným návrhom môžeme auditovať prediktívne zlyhania za sekundu pomocou jednoduchého štruktúrovaného dotazu:

SELECT
p.prediction_id,
p.portel_user_id,
p.output_probability,
a.feature_name,
a.feature_value,
a.shap_value
FROM model_predictions p
JOIN shap_attributions a ON p.prediction_id = a.prediction_id
WHERE p.actual_outcome IS NOT NULL
AND (p.output_probability > 0.5) != p.actual_outcome -- Predicción fallida
ORDER BY ABS(a.shap_value) DESC
LIMIT 10;

Overiť, či analytický systém splňuje kritériá optimalizácie nájomníka:

  • Odmietol som lokálne pretrvávanie v súboroch .json v prospech indexovanej relačnej schémy. ✓
  • Selektívna politika uchovávania (hybridná) znižuje dennú spotrebu dát minimálne o 80%. ✓
  • Cudzí kľúč indexy sú správne nasadené, aby zabezpečili podsekundové reakcie na korporátnych dashboardoch portelcore.com. ✓