Ir al contenido

Optimierung und analytische Speicherung (Das 'Wie man es verbessert')

Fortgeschrittene Strategien zur Datenoptimierung, Volumenreduzierung und zum relationalen Datenbankdesign für SHAP bei Portelcore.

0Lesungen

3.1. Die Volumen-Herausforderung: Kosten der Granularität

Sección titulada «3.1. El Desafío del Volumen: Coste de la Granularidad»

In einer automatisierten Produktionsumgebung, die kontinuierliche Vorhersagen ausführt, kann das von SHAP generierte Datenvolumen unhaltbar ansteigen, wenn es nicht angemessen gemindert wird.

  • Exponentielle Matrix: Wenn ein Modell $10.000$ tägliche Vorhersagen verarbeitet und dabei $80$ Prädiktoren analysiert, würde eine vollständige SHAP-Aufschlüsselung $800.000$ neue Telemetrie-Datensätze pro Tag erzeugen.
  • Verbundene Probleme:
    • Abfrage-Degradierung: Analytische Dashboards (Grafana, Kibana, Power BI) leiden unter schwerwiegenden Latenzen bei der Verarbeitung aggregierter analytischer Abfragen über Milliarden von Zeilen.
    • Nutzenlosigkeit von Stabilität: Das unbegrenzte Speichern der exakten Aufschlüsselung hochstabiler Vorhersagen (bei denen das Modell mit absoluter Sicherheit richtig liegt) verbraucht kostspieligen Speicherplatz und bietet keinen Lern- oder Debugging-Wert.

3.2. Selektive Aufbewahrungsstrategien von Portelcore

Sección titulada «3.2. Estrategias de Retención Selectiva de Portelcore»

Um das unkontrollierte Wachstum des analytischen Speichers zu mildern, wendet das Engineering-Team von Portelcore die Hybride Telemetrie-Strategie an:

[ Entrada de Predicciones ]
|
{ ¿Es interesante? }
/ \
(Sí: Excepción o Muestra) (No: Operación Nominal)
/ \
[ Almacenar Desglose SHAP Completo ] [ Almacenar Solo Predicción Final ]
  1. Fehler-Audit (Die Goldene Regel):
    • if prediccion_modelo != resultado_real
    • Speichern der vollständigen SHAP-Autopsie aller falsch-positiven und falsch-negativen Ergebnisse. Diese logischen Abweichungen stellen die Hauptdatenquelle für das Neutraining und Debugging dar.
  2. Periodisches Kontroll-Sampling:
    • if transaction_id % 100 == 0
    • Speichern von 1 von 100 erfolgreichen Standardtransaktionen. Dies bietet eine statistische Basislinie zur Untersuchung des normalen Modellverhaltens, ohne den Speicher zu überlasten.
  3. Filtern nach Vertrauensabweichung (Anomalien):
    • if output_probability BETWEEN 0.45 AND 0.55
    • Detailliertes Speichern von Vorhersagen mit hoher Unsicherheit (nahe der Entscheidungsgrenze).

Die Speicherung von SHAP-Attributionen in Flachdateiformaten (.csv oder .json) ist eine schlechte Praxis, die die Suchleistung beeinträchtigt. Wir haben ein optimiertes dreistufiges relationales Schema implementiert, um eine effiziente Suche in der prädiktiven Telemetrie zu gewährleisten.

erDiagram
EJECUCION {
VARCHAR run_id PK
TIMESTAMP started_at
VARCHAR model_version
}
PREDICCION {
VARCHAR prediction_id PK
VARCHAR run_id FK
TIMESTAMP predicted_at
VARCHAR portel_user_id
FLOAT output_probability
BOOLEAN actual_outcome
}
ATRIBUCION_SHAP {
BIGINT attribution_id PK
VARCHAR prediction_id FK
VARCHAR feature_name
FLOAT feature_value
FLOAT shap_value
}
EJECUCION ||--o{ PREDICCION : "genera"
PREDICCION ||--o{ ATRIBUCION_SHAP : "desglosa"

SQL-DDL-Skript (PostgreSQL & SQLite-kompatibel)

Sección titulada «Script DDL SQL (PostgreSQL & SQLite Compatible)»

Das folgende Skript erstellt die analytischen Tabellen und gewährleistet kaskadierende referenzielle Integrität sowie Indizierung für schnelle Massensuchen:

-- 1. Tabla de Trazabilidad de Ejecuciones del Pipeline
CREATE TABLE IF NOT EXISTS model_runs (
run_id VARCHAR(64) PRIMARY KEY,
started_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
model_version VARCHAR(32) NOT NULL
);
-- 2. Tabla de Registro de Predicciones Guardadas (Híbrido)
CREATE TABLE IF NOT EXISTS model_predictions (
prediction_id VARCHAR(64) PRIMARY KEY,
run_id VARCHAR(64) REFERENCES model_runs(run_id) ON DELETE CASCADE,
predicted_at TIMESTAMP NOT NULL,
portel_user_id VARCHAR(64) NOT NULL,
output_probability REAL NOT NULL,
actual_outcome BOOLEAN, -- NULL si no se ha validado aún el resultado real
CONSTRAINT fk_run FOREIGN KEY (run_id) REFERENCES model_runs(run_id)
);
-- 3. Tabla Granular de Atribuciones SHAP
CREATE TABLE IF NOT EXISTS shap_attributions (
attribution_id INTEGER PRIMARY KEY AUTOINCREMENT, -- Utilizar BIGSERIAL en PostgreSQL
prediction_id VARCHAR(64) REFERENCES model_predictions(prediction_id) ON DELETE CASCADE,
feature_name VARCHAR(128) NOT NULL,
feature_value REAL NOT NULL,
shap_value REAL NOT NULL,
CONSTRAINT fk_prediction FOREIGN KEY (prediction_id) REFERENCES model_predictions(prediction_id)
);
-- Índices de Alto Rendimiento para Consultas del Equipo Analítico
CREATE INDEX IF NOT EXISTS idx_predictions_run ON model_predictions(run_id);
CREATE INDEX IF NOT EXISTS idx_attributions_prediction ON shap_attributions(prediction_id);
CREATE INDEX IF NOT EXISTS idx_attributions_feature ON shap_attributions(feature_name);

3.4. Beispiel für eine analytische Abfrage

Sección titulada «3.4. Consulta Analítica de Ejemplo»

Mit diesem optimierten Design können wir prädiktive Fehler in Sekundenschnelle durch eine einfache strukturierte Abfrage überprüfen:

SELECT
p.prediction_id,
p.portel_user_id,
p.output_probability,
a.feature_name,
a.feature_value,
a.shap_value
FROM model_predictions p
JOIN shap_attributions a ON p.prediction_id = a.prediction_id
WHERE p.actual_outcome IS NOT NULL
AND (p.output_probability > 0.5) != p.actual_outcome -- Predicción fallida
ORDER BY ABS(a.shap_value) DESC
LIMIT 10;

Überprüfen Sie, ob das analytische System die Optimierungskriterien des Mandanten erfüllt:

  • Ich habe die lokale Persistenz in Dateien .json zugunsten des indizierten relationalen Schemas verworfen. ✓
  • Die selektive (hybride) Aufbewahrungsrichtlinie reduziert den täglichen Datenverbrauch um mindestens 80 %. ✓
  • Fremdschlüssel-Indizes sind korrekt implementiert, um Antwortzeiten im Sub-Sekundenbereich in Unternehmens-Dashboards von portelcore.com zu gewährleisten. ✓