分析优化与存储(“如何改进”)
Portelcore 中 SHAP 的高级数据优化策略、体积减少和关系数据库设计。
0阅读
在执行持续预测的自动化生产环境中,若未适当缓解,SHAP 生成的数据量可能会不可持续地增长。
- 指数矩阵: 如果模型每天处理 10,000 次预测并分析 80 个预测变量,完整的 SHAP 分解将生成 每天 800,000 条遥测记录。
- 相关问题:
- 查询降级: 分析仪表板(Grafana、Kibana、Power BI)在处理数十亿行的聚合分析查询时会出现严重延迟。
- 稳定性无用: 无限存储高度稳定预测的精确分解(模型绝对准确时)会消耗昂贵的存储空间,且对学习或调试无任何价值。
3.2. Portelcore 的选择性保留策略
Sección titulada «3.2. Estrategias de Retención Selectiva de Portelcore»为缓解分析存储的不可控增长,Portelcore 工程团队采用 混合遥测策略:
[ Entrada de Predicciones ] | { ¿Es interesante? } / \ (Sí: Excepción o Muestra) (No: Operación Nominal) / \ [ Almacenar Desglose SHAP Completo ] [ Almacenar Solo Predicción Final ]- 错误审计(黄金法则):
if prediccion_modelo != resultado_real- 存储所有假阳性及假阴性的完整 SHAP 自检。这些逻辑偏差是再训练和调试的主要数据来源。
- 定期对照采样:
if transaction_id % 100 == 0- 存储 1/100 的标准成功交易。这可提供统计基线以研究模型的常规行为,而不会饱和存储。
- 基于置信度偏差的过滤(异常):
if output_probability BETWEEN 0.45 AND 0.55- 存储高不确定性预测(接近决策阈值)的详细信息。
将 SHAP 归因存储在平面文件格式(.csv 或 .json)中是一种会降低搜索性能的糟糕做法。我们实现了一个三层优化的关系模式,以保证预测性遥测数据的高效检索。
实体-关系模型(ERD)
Sección titulada «Modelo Entidad-Relación (ERD)»erDiagram EJECUCION { VARCHAR run_id PK TIMESTAMP started_at VARCHAR model_version } PREDICCION { VARCHAR prediction_id PK VARCHAR run_id FK TIMESTAMP predicted_at VARCHAR portel_user_id FLOAT output_probability BOOLEAN actual_outcome } ATRIBUCION_SHAP { BIGINT attribution_id PK VARCHAR prediction_id FK VARCHAR feature_name FLOAT feature_value FLOAT shap_value } EJECUCION ||--o{ PREDICCION : "genera" PREDICCION ||--o{ ATRIBUCION_SHAP : "desglosa"SQL DDL 脚本(兼容 PostgreSQL 和 SQLite)
Sección titulada «Script DDL SQL (PostgreSQL & SQLite Compatible)»以下脚本设置分析表,确保级联参照完整性和索引以实现快速大规模搜索:
-- 1. Tabla de Trazabilidad de Ejecuciones del PipelineCREATE TABLE IF NOT EXISTS model_runs ( run_id VARCHAR(64) PRIMARY KEY, started_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, model_version VARCHAR(32) NOT NULL);
-- 2. Tabla de Registro de Predicciones Guardadas (Híbrido)CREATE TABLE IF NOT EXISTS model_predictions ( prediction_id VARCHAR(64) PRIMARY KEY, run_id VARCHAR(64) REFERENCES model_runs(run_id) ON DELETE CASCADE, predicted_at TIMESTAMP NOT NULL, portel_user_id VARCHAR(64) NOT NULL, output_probability REAL NOT NULL, actual_outcome BOOLEAN, -- NULL si no se ha validado aún el resultado real CONSTRAINT fk_run FOREIGN KEY (run_id) REFERENCES model_runs(run_id));
-- 3. Tabla Granular de Atribuciones SHAPCREATE TABLE IF NOT EXISTS shap_attributions ( attribution_id INTEGER PRIMARY KEY AUTOINCREMENT, -- Utilizar BIGSERIAL en PostgreSQL prediction_id VARCHAR(64) REFERENCES model_predictions(prediction_id) ON DELETE CASCADE, feature_name VARCHAR(128) NOT NULL, feature_value REAL NOT NULL, shap_value REAL NOT NULL, CONSTRAINT fk_prediction FOREIGN KEY (prediction_id) REFERENCES model_predictions(prediction_id));
-- Índices de Alto Rendimiento para Consultas del Equipo AnalíticoCREATE INDEX IF NOT EXISTS idx_predictions_run ON model_predictions(run_id);CREATE INDEX IF NOT EXISTS idx_attributions_prediction ON shap_attributions(prediction_id);CREATE INDEX IF NOT EXISTS idx_attributions_feature ON shap_attributions(feature_name);通过此优化设计,我们可以通过结构化查询在几秒钟内审计预测失败:
SELECT p.prediction_id, p.portel_user_id, p.output_probability, a.feature_name, a.feature_value, a.shap_valueFROM model_predictions pJOIN shap_attributions a ON p.prediction_id = a.prediction_idWHERE p.actual_outcome IS NOT NULL AND (p.output_probability > 0.5) != p.actual_outcome -- Predicción fallidaORDER BY ABS(a.shap_value) DESCLIMIT 10;验证分析系统是否符合租户的优化标准:
- 我已放弃使用
.json文件的本地持久化,转而采用索引化关系模式。 ✓ - 选择性保留策略(混合)将每日数据消耗减少至少 80%。 ✓
- 外键索引已正确部署,以确保
portelcore.com企业级仪表板的响应时间在亚秒级。 ✓

