Ir al contenido

최적화 및 분석적 저장 (‘어떻게 개선할 것인가’)

SHAP을 위한 데이터 최적화 전략, 데이터 볼륨 감소 및 관계형 데이터베이스 설계 기법

0조회

3.1. 볼륨의 도전 과제: 세부 수준의 비용

Sección titulada «3.1. El Desafío del Volumen: Coste de la Granularidad»

자동화된 생산 환경에서 지속적인 예측을 실행할 경우, 적절하게 완화되지 않으면 SHAP에서 생성되는 데이터 볼륨이 지속적으로 증가할 수 있습니다.

  • 지수 행렬: 1일에 10,000개의 예측을 처리하고 80개의 예측 변수를 분석하는 모델은 SHAP 전체 분해를 통해 하루에 800,000개의 원격 모니터링 레코드를 생성합니다.
  • 관련 문제:
    • 쿼리 성능 저하: 백만 건 이상의 행을 대상으로 한 분석 쿼리 처리 시 그래파나, 키바나, 파워 BI와 같은 분석 대시보드가 심각한 지연 현상을 겪습니다.
    • 안정성의 무의미함: 모델이 완전히 정확하게 예측하는 경우의 정확한 예측 분해를 무기한 저장하는 것은 비용이 많이 들며 학습 또는 디버깅에 아무런 가치도 제공하지 않습니다.

분석 저장소의 비제어적 성장을 완화하기 위해 포르텔코어 엔지니어링 팀은 하이브리드 원격 탐지 전략을 적용합니다:

[ Entrada de Predicciones ]
|
{ ¿Es interesante? }
/ \
(Sí: Excepción o Muestra) (No: Operación Nominal)
/ \
[ Almacenar Desglose SHAP Completo ] [ Almacenar Solo Predicción Final ]
  1. 오류 감사(황금률):
    • if prediccion_modelo != resultado_real
    • 모든 거짓 긍정 및 거짓 부정의 완전한 SHAP 분석을 저장합니다. 이러한 논리적 이탈은 재학습 및 디버깅을 위한 주요 데이터 소스입니다.
  2. 정기 관리 샘플링:
    • if transaction_id % 100 == 0
    • 표준 성공 거래 중 100개 중 1개를 저장합니다. 이는 모델의 일반적인 행동을 연구하기 위한 통계적 기준선을 제공하지만 저장소를 과부하 시키지 않습니다.
  3. 신뢰도 편차 기반 필터링(이상치):
    • if output_probability BETWEEN 0.45 AND 0.55
    • 높은 불확실성 수준의 예측을 세부적으로 저장하는 것 (결정 경계에 가까운 경우).

3.3. 최적화된 관계형 데이터베이스 설계

Sección titulada «3.3. Diseño de Base de Datos Relacional Optimizada»

SHAP 속성 값을 평면 파일 형식 (.csv 또는 .json)에 저장하는 것은 검색 성능을 저하시키는 나쁜 실천입니다. 우리는 예측 텔레메트리의 효율적인 검색을 보장하기 위해 최적화된 3단계 관계형 스키마를 구현했습니다.

erDiagram
EJECUCION {
VARCHAR run_id PK
TIMESTAMP started_at
VARCHAR model_version
}
PREDICCION {
VARCHAR prediction_id PK
VARCHAR run_id FK
TIMESTAMP predicted_at
VARCHAR portel_user_id
FLOAT output_probability
BOOLEAN actual_outcome
}
ATRIBUCION_SHAP {
BIGINT attribution_id PK
VARCHAR prediction_id FK
VARCHAR feature_name
FLOAT feature_value
FLOAT shap_value
}
EJECUCION ||--o{ PREDICCION : "genera"
PREDICCION ||--o{ ATRIBUCION_SHAP : "desglosa"

SQL DDL 스크립트(PostgreSQL & SQLite 호환)

Sección titulada «Script DDL SQL (PostgreSQL & SQLite Compatible)»

다음 스크립트는 분석 테이블을 설정하여 대규모 빠른 검색을 위한 참조 무결성과 인덱싱을 보장합니다:

-- 1. Tabla de Trazabilidad de Ejecuciones del Pipeline
CREATE TABLE IF NOT EXISTS model_runs (
run_id VARCHAR(64) PRIMARY KEY,
started_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
model_version VARCHAR(32) NOT NULL
);
-- 2. Tabla de Registro de Predicciones Guardadas (Híbrido)
CREATE TABLE IF NOT EXISTS model_predictions (
prediction_id VARCHAR(64) PRIMARY KEY,
run_id VARCHAR(64) REFERENCES model_runs(run_id) ON DELETE CASCADE,
predicted_at TIMESTAMP NOT NULL,
portel_user_id VARCHAR(64) NOT NULL,
output_probability REAL NOT NULL,
actual_outcome BOOLEAN, -- NULL si no se ha validado aún el resultado real
CONSTRAINT fk_run FOREIGN KEY (run_id) REFERENCES model_runs(run_id)
);
-- 3. Tabla Granular de Atribuciones SHAP
CREATE TABLE IF NOT EXISTS shap_attributions (
attribution_id INTEGER PRIMARY KEY AUTOINCREMENT, -- Utilizar BIGSERIAL en PostgreSQL
prediction_id VARCHAR(64) REFERENCES model_predictions(prediction_id) ON DELETE CASCADE,
feature_name VARCHAR(128) NOT NULL,
feature_value REAL NOT NULL,
shap_value REAL NOT NULL,
CONSTRAINT fk_prediction FOREIGN KEY (prediction_id) REFERENCES model_predictions(prediction_id)
);
-- Índices de Alto Rendimiento para Consultas del Equipo Analítico
CREATE INDEX IF NOT EXISTS idx_predictions_run ON model_predictions(run_id);
CREATE INDEX IF NOT EXISTS idx_attributions_prediction ON shap_attributions(prediction_id);
CREATE INDEX IF NOT EXISTS idx_attributions_feature ON shap_attributions(feature_name);

이 최적화된 설계를 통해 단일 구조화된 쿼리로 예측 실패를 몇 초 만에 감사할 수 있습니다:

SELECT
p.prediction_id,
p.portel_user_id,
p.output_probability,
a.feature_name,
a.feature_value,
a.shap_value
FROM model_predictions p
JOIN shap_attributions a ON p.prediction_id = a.prediction_id
WHERE p.actual_outcome IS NOT NULL
AND (p.output_probability > 0.5) != p.actual_outcome -- Predicción fallida
ORDER BY ABS(a.shap_value) DESC
LIMIT 10;

테넌트의 최적화 기준을 충족하는 분석 시스템인지 확인하십시오:

  • 나는 로컬 파일 .json에 대한 지속성을 포기하고 인덱싱된 관계형 스키마를 선택했습니다. ✓
  • 선택적 보존 정책 (하이브리드)은 일일 데이터 소비를 최소 80% 감소시킵니다. ✓
  • 외래 키 인덱스가 올바르게 배포되어 기업 대시보드에서 밀리초 단위 응답을 보장합니다. portelcore.com. ✓