Ir al contenido

最適化と分析的ストレージ(「どうやって改善するか」)

SHAPにおけるデータ最適化戦略、ボリューム削減および関係型データベース設計の高度なアプローチ、Portelcoreでの運用

0閲覧数

3.1. ボリュームの課題:細粒度のコスト

Sección titulada «3.1. El Desafío del Volumen: Coste de la Granularidad»

自動化された生産環境で継続的な予測が実行されている場合、SHAPによって生成されるデータ量は、適切に緩和されない限り持続不可能に増加します。

  • 指数行列: 1日10,000件の予測を処理し、80の予測変数を分析するモデルの場合、完全なSHAP分解は1日あたり800,000件のテレメトリ記録を生成します。
  • 関連する問題:
    • クエリの劣化: 10億行を超える集約分析クエリを処理する分析ダッシュボード(Grafana、Kibana、Power BI)は、深刻なレイテンシーを経験します。
    • 安定性の無意味さ: モデルが絶対的に確信している高安定予測の正確な分解を無期限に保存すると、高価なスペースを消費し、学習やデバッグの価値はゼロです。

分析ストレージの制御不能な増加を緩和するため、Portelcoreエンジニアリングチームはハイブリッドテレメトリ戦略を適用しています:

[ Entrada de Predicciones ]
|
{ ¿Es interesante? }
/ \
(Sí: Excepción o Muestra) (No: Operación Nominal)
/ \
[ Almacenar Desglose SHAP Completo ] [ Almacenar Solo Predicción Final ]
  1. エラー監査( golden rule ):
    • if prediccion_modelo != resultado_real
    • すべての偽陽性および偽陰性のSHAP自動解剖を格納します。これらの論理的な逸脱は、再トレーニングおよびデバッグの主要なデータソースです。
  2. 定期的な管理サンプリング:
    • if transaction_id % 100 == 0
    • 標準的な成功取引の100件に1件を保存します。これは、モデルの通常の動作を研究するための統計的ベースラインを提供し、ストレージをオーバーロードしません。
  3. 信頼度偏差によるフィルタリング(異常値):
    • if output_probability BETWEEN 0.45 AND 0.55
    • 決定の閾値に近い高レベルの不確実性を持つ詳細な予測を保存します。

3.3. 最適化された関係データベース設計

Sección titulada «3.3. Diseño de Base de Datos Relacional Optimizada»

SHAP帰属をフラットファイル形式(.csvや.json)で保存することは、検索パフォーマンスを低下させる悪習です。予測テレメトリの効率的な検索を保証するため、3階層の最適化されたリレーショナルスキーマを実装しています。

エンティティ-リレーショナルモデル(ERD)

Sección titulada «Modelo Entidad-Relación (ERD)»
erDiagram
EJECUCION {
VARCHAR run_id PK
TIMESTAMP started_at
VARCHAR model_version
}
PREDICCION {
VARCHAR prediction_id PK
VARCHAR run_id FK
TIMESTAMP predicted_at
VARCHAR portel_user_id
FLOAT output_probability
BOOLEAN actual_outcome
}
ATRIBUCION_SHAP {
BIGINT attribution_id PK
VARCHAR prediction_id FK
VARCHAR feature_name
FLOAT feature_value
FLOAT shap_value
}
EJECUCION ||--o{ PREDICCION : "genera"
PREDICCION ||--o{ ATRIBUCION_SHAP : "desglosa"

SQL DDLスクリプト(PostgreSQL & SQLite互換)

Sección titulada «Script DDL SQL (PostgreSQL & SQLite Compatible)»

次のスクリプトは、分析用テーブルを確立し、高速な大規模検索を保証するための連鎖参照整合性とインデックスを確保します:

-- 1. Tabla de Trazabilidad de Ejecuciones del Pipeline
CREATE TABLE IF NOT EXISTS model_runs (
run_id VARCHAR(64) PRIMARY KEY,
started_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
model_version VARCHAR(32) NOT NULL
);
-- 2. Tabla de Registro de Predicciones Guardadas (Híbrido)
CREATE TABLE IF NOT EXISTS model_predictions (
prediction_id VARCHAR(64) PRIMARY KEY,
run_id VARCHAR(64) REFERENCES model_runs(run_id) ON DELETE CASCADE,
predicted_at TIMESTAMP NOT NULL,
portel_user_id VARCHAR(64) NOT NULL,
output_probability REAL NOT NULL,
actual_outcome BOOLEAN, -- NULL si no se ha validado aún el resultado real
CONSTRAINT fk_run FOREIGN KEY (run_id) REFERENCES model_runs(run_id)
);
-- 3. Tabla Granular de Atribuciones SHAP
CREATE TABLE IF NOT EXISTS shap_attributions (
attribution_id INTEGER PRIMARY KEY AUTOINCREMENT, -- Utilizar BIGSERIAL en PostgreSQL
prediction_id VARCHAR(64) REFERENCES model_predictions(prediction_id) ON DELETE CASCADE,
feature_name VARCHAR(128) NOT NULL,
feature_value REAL NOT NULL,
shap_value REAL NOT NULL,
CONSTRAINT fk_prediction FOREIGN KEY (prediction_id) REFERENCES model_predictions(prediction_id)
);
-- Índices de Alto Rendimiento para Consultas del Equipo Analítico
CREATE INDEX IF NOT EXISTS idx_predictions_run ON model_predictions(run_id);
CREATE INDEX IF NOT EXISTS idx_attributions_prediction ON shap_attributions(prediction_id);
CREATE INDEX IF NOT EXISTS idx_attributions_feature ON shap_attributions(feature_name);

この最適化された設計により、単純な構造化クエリを使用して予測エラーを数秒で監査できます:

SELECT
p.prediction_id,
p.portel_user_id,
p.output_probability,
a.feature_name,
a.feature_value,
a.shap_value
FROM model_predictions p
JOIN shap_attributions a ON p.prediction_id = a.prediction_id
WHERE p.actual_outcome IS NOT NULL
AND (p.output_probability > 0.5) != p.actual_outcome -- Predicción fallida
ORDER BY ABS(a.shap_value) DESC
LIMIT 10;

3.5. ストレージ検証チェックリスト

Sección titulada «3.5. Checklist de Validación del Almacenamiento»

分析システムがテナントの最適化基準を満たしていることを確認してください:

  • ローカルな.jsonファイルへの永続化を廃止し、インデックス付きリレーショナルスキーマを採用しました。 ✓
  • 選択的な(ハイブリッド)保持ポリシーにより、毎日のデータ消費量が少なくとも80%削減されました。 ✓
  • 外部キーインデックスは、portelcore.com の企業ダッシュボードでサブ秒級の応答を保証するために正常に展開されています。✓