Optymalizacja i przechowywanie analityczne („Jak ulepszyć”)
Zaawansowane strategie optymalizacji danych, redukcji objętości oraz projektowania relacyjnych baz danych dla SHAP w Portelcore.
3.1. Wyzwanie związane z wolumenem: Koszt granularności
Sección titulada «3.1. El Desafío del Volumen: Coste de la Granularidad»W zautomatyzowanym środowisku produkcyjnym, które wykonuje ciągłe predykcje, wolumen danych generowanych przez SHAP może rosnąć w sposób niezrównoważony, jeśli nie zostanie odpowiednio ograniczony.
- Macierz wykładnicza: Jeśli model przetwarza $10,000$ predykcji dziennie, analizując $80$ zmiennych predykcyjnych, pełny rozkład SHAP wygeneruje $800,000$ nowych wpisów telemetrii dziennie.
- Problemas Asociados:
- Degradacja zapytań: Panele analityczne (Grafana, Kibana, Power BI) doświadczają poważnych opóźnień podczas przetwarzania zagregowanych zapytań analitycznych na miliardach wierszy.
- Bezużyteczność stabilności: Nieograniczone przechowywanie dokładnego rozkładu wysoce stabilnych predykcji (w których model trafia z absolutną pewnością) pochłania kosztowną przestrzeń i nie wnosi żadnej wartości w zakresie uczenia maszynowego lub debugowania.
3.2. Strategie selektywnej retencji Portelcore
Sección titulada «3.2. Estrategias de Retención Selectiva de Portelcore»Aby złagodzić niekontrolowany wzrost pamięci masowej analitycznej, zespół inżynierski Portelcore stosuje Hybrydową Strategię Telemetrii:
[ Entrada de Predicciones ] | { ¿Es interesante? } / \ (Sí: Excepción o Muestra) (No: Operación Nominal) / \ [ Almacenar Desglose SHAP Completo ] [ Almacenar Solo Predicción Final ]- Auditoría de Errores (La Regla de Oro):
if prediccion_modelo != resultado_real- Przechowywanie pełnej autopsji SHAP wszystkich fałszywie pozytywnych i fałszywie negatywnych wyników. Te logiczne odchylenia stanowią główne źródło danych do ponownego trenowania i debugowania.
- Muestreo Periódico de Control:
if transaction_id % 100 == 0- Przechowywanie 1 na 100 standardowych udanych transakcji. Zapewnia to statystyczną linię bazową do badania zwykłego zachowania modelu bez nasycania pamięci masowej.
- Filtrado por Desviación de Confianza (Anomalías):
if output_probability BETWEEN 0.45 AND 0.55- Szczegółowe przechowywanie predykcji o wysokim poziomie niepewności (blisko progu decyzyjnego).
3.3. Projekt zoptymalizowanej relacyjnej bazy danych
Sección titulada «3.3. Diseño de Base de Datos Relacional Optimizada»Przechowywanie atrybucji SHAP w formatach plików płaskich (.csv lub .json) jest złą praktyką, która obniża wydajność wyszukiwania. Wdrożyliśmy zoptymalizowany, trójpoziomowy schemat relacyjny, aby zapewnić wydajne wyszukiwanie telemetrii predykcyjnej.
Model związków encji (ERD)
Sección titulada «Modelo Entidad-Relación (ERD)»erDiagram EJECUCION { VARCHAR run_id PK TIMESTAMP started_at VARCHAR model_version } PREDICCION { VARCHAR prediction_id PK VARCHAR run_id FK TIMESTAMP predicted_at VARCHAR portel_user_id FLOAT output_probability BOOLEAN actual_outcome } ATRIBUCION_SHAP { BIGINT attribution_id PK VARCHAR prediction_id FK VARCHAR feature_name FLOAT feature_value FLOAT shap_value } EJECUCION ||--o{ PREDICCION : "genera" PREDICCION ||--o{ ATRIBUCION_SHAP : "desglosa"Skrypt DDL SQL (zgodny z PostgreSQL i SQLite)
Sección titulada «Script DDL SQL (PostgreSQL & SQLite Compatible)»Poniższy skrypt tworzy tabele analityczne, zapewniając kaskadową integralność referencyjną i indeksowanie dla szybkich masowych wyszukiwań:
-- 1. Tabla de Trazabilidad de Ejecuciones del PipelineCREATE TABLE IF NOT EXISTS model_runs ( run_id VARCHAR(64) PRIMARY KEY, started_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, model_version VARCHAR(32) NOT NULL);
-- 2. Tabla de Registro de Predicciones Guardadas (Híbrido)CREATE TABLE IF NOT EXISTS model_predictions ( prediction_id VARCHAR(64) PRIMARY KEY, run_id VARCHAR(64) REFERENCES model_runs(run_id) ON DELETE CASCADE, predicted_at TIMESTAMP NOT NULL, portel_user_id VARCHAR(64) NOT NULL, output_probability REAL NOT NULL, actual_outcome BOOLEAN, -- NULL si no se ha validado aún el resultado real CONSTRAINT fk_run FOREIGN KEY (run_id) REFERENCES model_runs(run_id));
-- 3. Tabla Granular de Atribuciones SHAPCREATE TABLE IF NOT EXISTS shap_attributions ( attribution_id INTEGER PRIMARY KEY AUTOINCREMENT, -- Utilizar BIGSERIAL en PostgreSQL prediction_id VARCHAR(64) REFERENCES model_predictions(prediction_id) ON DELETE CASCADE, feature_name VARCHAR(128) NOT NULL, feature_value REAL NOT NULL, shap_value REAL NOT NULL, CONSTRAINT fk_prediction FOREIGN KEY (prediction_id) REFERENCES model_predictions(prediction_id));
-- Índices de Alto Rendimiento para Consultas del Equipo AnalíticoCREATE INDEX IF NOT EXISTS idx_predictions_run ON model_predictions(run_id);CREATE INDEX IF NOT EXISTS idx_attributions_prediction ON shap_attributions(prediction_id);CREATE INDEX IF NOT EXISTS idx_attributions_feature ON shap_attributions(feature_name);3.4. Przykładowe zapytanie analityczne
Sección titulada «3.4. Consulta Analítica de Ejemplo»Dzięki temu zoptymalizowanemu projektowi możemy audytować błędy predykcyjne w kilka sekund za pomocą prostego zapytania strukturalnego:
SELECT p.prediction_id, p.portel_user_id, p.output_probability, a.feature_name, a.feature_value, a.shap_valueFROM model_predictions pJOIN shap_attributions a ON p.prediction_id = a.prediction_idWHERE p.actual_outcome IS NOT NULL AND (p.output_probability > 0.5) != p.actual_outcome -- Predicción fallidaORDER BY ABS(a.shap_value) DESCLIMIT 10;3.5. Lista kontrolna walidacji przechowywania
Sección titulada «3.5. Checklist de Validación del Almacenamiento»Sprawdź, czy system analityczny spełnia kryteria optymalizacji dzierżawcy (tenant):
- Zrezygnowałem z lokalnej trwałości w plikach
.jsonna rzecz zaindeksowanego schematu relacyjnego. ✓ - Selektywna (hybrydowa) polityka retencji zmniejsza dzienne zużycie danych o co najmniej 80%. ✓
- Indeksy kluczy obcych zostały poprawnie wdrożone, aby zapewnić subsekundowy czas odpowiedzi w korporacyjnych pulpitach nawigacyjnych
portelcore.com. ✓

