Ir al contenido

分析优化与存储(“如何改进”)

Portelcore 中 SHAP 的高级数据优化策略、体积减少和关系数据库设计。

0阅读

在执行持续预测的自动化生产环境中,若未适当缓解,SHAP 生成的数据量可能会不可持续地增长。

  • 指数矩阵: 如果模型每天处理 10,000 次预测并分析 80 个预测变量,完整的 SHAP 分解将生成 每天 800,000 条遥测记录。
  • 相关问题:
    • 查询降级: 分析仪表板(Grafana、Kibana、Power BI)在处理数十亿行的聚合分析查询时会出现严重延迟。
    • 稳定性无用: 无限存储高度稳定预测的精确分解(模型绝对准确时)会消耗昂贵的存储空间,且对学习或调试无任何价值。

为缓解分析存储的不可控增长,Portelcore 工程团队采用 混合遥测策略:

[ Entrada de Predicciones ]
|
{ ¿Es interesante? }
/ \
(Sí: Excepción o Muestra) (No: Operación Nominal)
/ \
[ Almacenar Desglose SHAP Completo ] [ Almacenar Solo Predicción Final ]
  1. 错误审计(黄金法则):
    • if prediccion_modelo != resultado_real
    • 存储所有假阳性及假阴性的完整 SHAP 自检。这些逻辑偏差是再训练和调试的主要数据来源。
  2. 定期对照采样:
    • if transaction_id % 100 == 0
    • 存储 1/100 的标准成功交易。这可提供统计基线以研究模型的常规行为,而不会饱和存储。
  3. 基于置信度偏差的过滤(异常):
    • if output_probability BETWEEN 0.45 AND 0.55
    • 存储高不确定性预测(接近决策阈值)的详细信息。

将 SHAP 归因存储在平面文件格式(.csv 或 .json)中是一种会降低搜索性能的糟糕做法。我们实现了一个三层优化的关系模式,以保证预测性遥测数据的高效检索。

erDiagram
EJECUCION {
VARCHAR run_id PK
TIMESTAMP started_at
VARCHAR model_version
}
PREDICCION {
VARCHAR prediction_id PK
VARCHAR run_id FK
TIMESTAMP predicted_at
VARCHAR portel_user_id
FLOAT output_probability
BOOLEAN actual_outcome
}
ATRIBUCION_SHAP {
BIGINT attribution_id PK
VARCHAR prediction_id FK
VARCHAR feature_name
FLOAT feature_value
FLOAT shap_value
}
EJECUCION ||--o{ PREDICCION : "genera"
PREDICCION ||--o{ ATRIBUCION_SHAP : "desglosa"

SQL DDL 脚本(兼容 PostgreSQL 和 SQLite)

Sección titulada «Script DDL SQL (PostgreSQL & SQLite Compatible)»

以下脚本设置分析表,确保级联参照完整性和索引以实现快速大规模搜索:

-- 1. Tabla de Trazabilidad de Ejecuciones del Pipeline
CREATE TABLE IF NOT EXISTS model_runs (
run_id VARCHAR(64) PRIMARY KEY,
started_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
model_version VARCHAR(32) NOT NULL
);
-- 2. Tabla de Registro de Predicciones Guardadas (Híbrido)
CREATE TABLE IF NOT EXISTS model_predictions (
prediction_id VARCHAR(64) PRIMARY KEY,
run_id VARCHAR(64) REFERENCES model_runs(run_id) ON DELETE CASCADE,
predicted_at TIMESTAMP NOT NULL,
portel_user_id VARCHAR(64) NOT NULL,
output_probability REAL NOT NULL,
actual_outcome BOOLEAN, -- NULL si no se ha validado aún el resultado real
CONSTRAINT fk_run FOREIGN KEY (run_id) REFERENCES model_runs(run_id)
);
-- 3. Tabla Granular de Atribuciones SHAP
CREATE TABLE IF NOT EXISTS shap_attributions (
attribution_id INTEGER PRIMARY KEY AUTOINCREMENT, -- Utilizar BIGSERIAL en PostgreSQL
prediction_id VARCHAR(64) REFERENCES model_predictions(prediction_id) ON DELETE CASCADE,
feature_name VARCHAR(128) NOT NULL,
feature_value REAL NOT NULL,
shap_value REAL NOT NULL,
CONSTRAINT fk_prediction FOREIGN KEY (prediction_id) REFERENCES model_predictions(prediction_id)
);
-- Índices de Alto Rendimiento para Consultas del Equipo Analítico
CREATE INDEX IF NOT EXISTS idx_predictions_run ON model_predictions(run_id);
CREATE INDEX IF NOT EXISTS idx_attributions_prediction ON shap_attributions(prediction_id);
CREATE INDEX IF NOT EXISTS idx_attributions_feature ON shap_attributions(feature_name);

通过此优化设计,我们可以通过结构化查询在几秒钟内审计预测失败:

SELECT
p.prediction_id,
p.portel_user_id,
p.output_probability,
a.feature_name,
a.feature_value,
a.shap_value
FROM model_predictions p
JOIN shap_attributions a ON p.prediction_id = a.prediction_id
WHERE p.actual_outcome IS NOT NULL
AND (p.output_probability > 0.5) != p.actual_outcome -- Predicción fallida
ORDER BY ABS(a.shap_value) DESC
LIMIT 10;

验证分析系统是否符合租户的优化标准:

  • 我已放弃使用 .json 文件的本地持久化,转而采用索引化关系模式。 ✓
  • 选择性保留策略(混合)将每日数据消耗减少至少 80%。 ✓
  • 外键索引已正确部署,以确保 portelcore.com 企业级仪表板的响应时间在亚秒级。 ✓