Ir al contenido

Optymalizacja i przechowywanie analityczne („Jak ulepszyć”)

Zaawansowane strategie optymalizacji danych, redukcji objętości oraz projektowania relacyjnych baz danych dla SHAP w Portelcore.

0odwiedzin

3.1. Wyzwanie związane z wolumenem: Koszt granularności

Sección titulada «3.1. El Desafío del Volumen: Coste de la Granularidad»

W zautomatyzowanym środowisku produkcyjnym, które wykonuje ciągłe predykcje, wolumen danych generowanych przez SHAP może rosnąć w sposób niezrównoważony, jeśli nie zostanie odpowiednio ograniczony.

  • Macierz wykładnicza: Jeśli model przetwarza $10,000$ predykcji dziennie, analizując $80$ zmiennych predykcyjnych, pełny rozkład SHAP wygeneruje $800,000$ nowych wpisów telemetrii dziennie.
  • Problemas Asociados:
    • Degradacja zapytań: Panele analityczne (Grafana, Kibana, Power BI) doświadczają poważnych opóźnień podczas przetwarzania zagregowanych zapytań analitycznych na miliardach wierszy.
    • Bezużyteczność stabilności: Nieograniczone przechowywanie dokładnego rozkładu wysoce stabilnych predykcji (w których model trafia z absolutną pewnością) pochłania kosztowną przestrzeń i nie wnosi żadnej wartości w zakresie uczenia maszynowego lub debugowania.

Aby złagodzić niekontrolowany wzrost pamięci masowej analitycznej, zespół inżynierski Portelcore stosuje Hybrydową Strategię Telemetrii:

[ Entrada de Predicciones ]
|
{ ¿Es interesante? }
/ \
(Sí: Excepción o Muestra) (No: Operación Nominal)
/ \
[ Almacenar Desglose SHAP Completo ] [ Almacenar Solo Predicción Final ]
  1. Auditoría de Errores (La Regla de Oro):
    • if prediccion_modelo != resultado_real
    • Przechowywanie pełnej autopsji SHAP wszystkich fałszywie pozytywnych i fałszywie negatywnych wyników. Te logiczne odchylenia stanowią główne źródło danych do ponownego trenowania i debugowania.
  2. Muestreo Periódico de Control:
    • if transaction_id % 100 == 0
    • Przechowywanie 1 na 100 standardowych udanych transakcji. Zapewnia to statystyczną linię bazową do badania zwykłego zachowania modelu bez nasycania pamięci masowej.
  3. Filtrado por Desviación de Confianza (Anomalías):
    • if output_probability BETWEEN 0.45 AND 0.55
    • Szczegółowe przechowywanie predykcji o wysokim poziomie niepewności (blisko progu decyzyjnego).

3.3. Projekt zoptymalizowanej relacyjnej bazy danych

Sección titulada «3.3. Diseño de Base de Datos Relacional Optimizada»

Przechowywanie atrybucji SHAP w formatach plików płaskich (.csv lub .json) jest złą praktyką, która obniża wydajność wyszukiwania. Wdrożyliśmy zoptymalizowany, trójpoziomowy schemat relacyjny, aby zapewnić wydajne wyszukiwanie telemetrii predykcyjnej.

erDiagram
EJECUCION {
VARCHAR run_id PK
TIMESTAMP started_at
VARCHAR model_version
}
PREDICCION {
VARCHAR prediction_id PK
VARCHAR run_id FK
TIMESTAMP predicted_at
VARCHAR portel_user_id
FLOAT output_probability
BOOLEAN actual_outcome
}
ATRIBUCION_SHAP {
BIGINT attribution_id PK
VARCHAR prediction_id FK
VARCHAR feature_name
FLOAT feature_value
FLOAT shap_value
}
EJECUCION ||--o{ PREDICCION : "genera"
PREDICCION ||--o{ ATRIBUCION_SHAP : "desglosa"

Poniższy skrypt tworzy tabele analityczne, zapewniając kaskadową integralność referencyjną i indeksowanie dla szybkich masowych wyszukiwań:

-- 1. Tabla de Trazabilidad de Ejecuciones del Pipeline
CREATE TABLE IF NOT EXISTS model_runs (
run_id VARCHAR(64) PRIMARY KEY,
started_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
model_version VARCHAR(32) NOT NULL
);
-- 2. Tabla de Registro de Predicciones Guardadas (Híbrido)
CREATE TABLE IF NOT EXISTS model_predictions (
prediction_id VARCHAR(64) PRIMARY KEY,
run_id VARCHAR(64) REFERENCES model_runs(run_id) ON DELETE CASCADE,
predicted_at TIMESTAMP NOT NULL,
portel_user_id VARCHAR(64) NOT NULL,
output_probability REAL NOT NULL,
actual_outcome BOOLEAN, -- NULL si no se ha validado aún el resultado real
CONSTRAINT fk_run FOREIGN KEY (run_id) REFERENCES model_runs(run_id)
);
-- 3. Tabla Granular de Atribuciones SHAP
CREATE TABLE IF NOT EXISTS shap_attributions (
attribution_id INTEGER PRIMARY KEY AUTOINCREMENT, -- Utilizar BIGSERIAL en PostgreSQL
prediction_id VARCHAR(64) REFERENCES model_predictions(prediction_id) ON DELETE CASCADE,
feature_name VARCHAR(128) NOT NULL,
feature_value REAL NOT NULL,
shap_value REAL NOT NULL,
CONSTRAINT fk_prediction FOREIGN KEY (prediction_id) REFERENCES model_predictions(prediction_id)
);
-- Índices de Alto Rendimiento para Consultas del Equipo Analítico
CREATE INDEX IF NOT EXISTS idx_predictions_run ON model_predictions(run_id);
CREATE INDEX IF NOT EXISTS idx_attributions_prediction ON shap_attributions(prediction_id);
CREATE INDEX IF NOT EXISTS idx_attributions_feature ON shap_attributions(feature_name);

3.4. Przykładowe zapytanie analityczne

Sección titulada «3.4. Consulta Analítica de Ejemplo»

Dzięki temu zoptymalizowanemu projektowi możemy audytować błędy predykcyjne w kilka sekund za pomocą prostego zapytania strukturalnego:

SELECT
p.prediction_id,
p.portel_user_id,
p.output_probability,
a.feature_name,
a.feature_value,
a.shap_value
FROM model_predictions p
JOIN shap_attributions a ON p.prediction_id = a.prediction_id
WHERE p.actual_outcome IS NOT NULL
AND (p.output_probability > 0.5) != p.actual_outcome -- Predicción fallida
ORDER BY ABS(a.shap_value) DESC
LIMIT 10;

Sprawdź, czy system analityczny spełnia kryteria optymalizacji dzierżawcy (tenant):

  • Zrezygnowałem z lokalnej trwałości w plikach .json na rzecz zaindeksowanego schematu relacyjnego. ✓
  • Selektywna (hybrydowa) polityka retencji zmniejsza dzienne zużycie danych o co najmniej 80%. ✓
  • Indeksy kluczy obcych zostały poprawnie wdrożone, aby zapewnić subsekundowy czas odpowiedzi w korporacyjnych pulpitach nawigacyjnych portelcore.com. ✓