推送范式(ELT)
从传统ETL集成向Business Central中通过推送计算实现的ELT范式演变。
在我们的数据工程和DevSecOps操作中,将Dynamics 365 Business Central与Power BI集成时,我们面临的最大挑战之一是处理超过5年的历史数据量。
最初,提取这些数据会不断导致阻塞、极高的延迟以及令人头疼的网络错误:"El host remoto forzó la interrupción de la conexión"。为了解决这个问题,我们不得不放弃传统的 ETL 架构,并采用由下推计算(Pushdown Computation)理念驱动的ELT 范式(Extract, Load, Transform)。
1. 问题:页面(Web Services)的瓶颈
Sección titulada «1. El Problema: El cuello de botella de las “Páginas” (Web Services)»传统上,从Business Central提取数据的最简便方法是将< strong>页面(Page)</ strong>发布为OData Web服务(例如“产品移动”页面38)
然而,页面是为用户界面(UI)设计的,而非大规模数据处理。当我们请求350,000行时,会在服务器(NST - < em>Navision Server Tier</ em>)上引发致命的连锁反应:
- < strong>内存渲染:</ strong> 服务器尝试为每行构建页面的视觉设计到内存RAM中。
- 触发器执行:会触发图形界面事件(
OnOpenPage、OnAfterGetRecord)。 - < strong>FlowFields计算(沉默的杀手):</ strong> 页面会逐行实时计算复杂公式(如当前库存)
< strong>结果:</ strong> 服务器不堪重负,耗尽资源(超时),并在发送JSON之前断开HTTP连接。一次加载可能需要超过15分钟,或直接失败。
2. 解决方案:下推计算与 Query 对象
Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»为了将加载时间缩短至几秒钟,我们彻底改变了架构。我们决定不再让Power BI(目标工具)过滤和建模数据,而是将该工作负载“推送”(Pushdown)到Business Central的底层引擎(Microsoft SQL Server)
为了实现这一点,我们不再使用页面(Pages),而是开发了基于 AL Query 对象的本地 API。
- 零 UI:
Query对象完全跳过表示层。它不渲染窗口、不执行屏幕触发器,也不加载图形库。 - 纯 SQL:Business Central 引擎会编译我们的
Query对象,并直接转换为优化的 SQL ServerSELECT语句。 - < strong>减少负载:</ strong> 仅传输我们声明的严格必要列
通过将数据摄取从标准 Web 服务迁移到我们自己的、在服务器端嵌入了过滤器的 Query APIs,我们实现了以下指标:
- < strong>提取时间:</ strong> 从+15分钟(并伴有持续故障)减少到< strong>30秒</ strong>(100% 成功率)
- < strong>经济可行性:</ strong> 由于初始加载如此高效,我们消除了实施复杂混合架构(Power Automate + SharePoint)或支付Power BI服务高级许可证以使用原生增量更新的技术需求
- < strong>ERP稳定性:</ strong> 通过直接执行SQL加载,生产ERP节点几乎察觉不到大规模提取,确保物流和财务的其他用户不会在日常操作中遇到延迟
- ✓ ELT 方法:完整初始加载,将繁重过滤器(
WHERE)下推给 ERP 的 SQL Server 编排器。 - ✓ 跳过 UI:完全跳过作为 OData 公开的
Page对象,消除渲染延迟和图形线程。 - ✓ < strong>稳定性:</ strong> 显著减少生产交易NST的工作负载

