El Paradigma Pushdown (ELT)
Evolución arquitectónica desde integraciones ETL tradicionales hacia el paradigma ELT mediante Pushdown Computation en Business Central.
En nuestra operativa de Ingeniería de Datos y DevSecOps, uno de los mayores retos a los que nos enfrentamos al integrar Dynamics 365 Business Central con Power BI fue el volumen masivo de datos históricos (más de 5 años de registros).
Al principio, la extracción de estos datos generaba constantes bloqueos, la latencia extrema y el temido error de red: "El host remoto forzó la interrupción de la conexión". Para resolverlo, tuvimos que abandonar la arquitectura tradicional ETL y adoptar el Paradigma ELT (Extract, Load, Transform) impulsado por el concepto de Pushdown Computation.
1. El Problema: El cuello de botella de las “Páginas” (Web Services)
Sección titulada «1. El Problema: El cuello de botella de las “Páginas” (Web Services)»Tradicionalmente, la forma más fácil de extraer datos de Business Central es publicar una Página (Page) como un Web Service OData (por ejemplo, la Página 38 de “Movimientos de Producto”).
Sin embargo, las Páginas están diseñadas para la Interfaz de Usuario (UI), no para el procesamiento masivo de datos. Cuando solicitamos 350.000 filas a una Página, desencadenamos una reacción en cadena letal en el servidor (NST - Navision Server Tier):
- Renderizado en Memoria: El servidor intenta construir el diseño visual de la página en la memoria RAM para cada fila.
- Ejecución de Triggers: Se disparan eventos de la interfaz gráfica (
OnOpenPage,OnAfterGetRecord). - Cálculo de FlowFields (El asesino silencioso): La página intenta calcular en tiempo real fórmulas complejas (como el inventario actual) fila por fila.
Resultado: El servidor se ahoga, agota sus recursos (Timeouts) y corta la conexión HTTP antes de poder enviarnos el JSON. Una carga podía tardar más de 15 minutos o, directamente, fallar.
2. La Solución: Pushdown Computation y Objetos Query
Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»Para reducir el tiempo de carga a escasos segundos, nosotros cambiamos radicalmente la arquitectura. Decidimos dejar de pedirle a Power BI (la herramienta destino) que filtrara y modelara los datos, y “empujamos” (Pushdown) esa carga de trabajo al motor subyacente de Business Central (Microsoft SQL Server).
Para lograr esto, en lugar de consumir Páginas, desarrollamos APIs Nativas basadas en objetos Query de AL.
¿Por qué un Objeto Query es extremadamente rápido?
Sección titulada «¿Por qué un Objeto Query es extremadamente rápido?»- Cero UI: Un objeto
Queryse salta completamente la capa de presentación. No renderiza ventanas, no ejecuta triggers de pantalla y no carga librerías gráficas. - SQL Puro: El motor de Business Central compila nuestro objeto
Queryy lo traduce literalmente a una sentenciaSELECTde SQL Server optimizada. - Reducción de Payload: Solo transitan por la red HTTP las columnas estrictamente necesarias que nosotros hayamos declarado.
3. Impacto del Cambio Arquitectónico (Resultados)
Sección titulada «3. Impacto del Cambio Arquitectónico (Resultados)»Al migrar nuestra ingesta de datos desde los Web Services estándar hacia nuestras propias Query APIs con filtros embebidos en el servidor, logramos las siguientes métricas:
- Tiempo de Extracción: Reducido de +15 minutos (y fallos constantes) a 30 segundos (100% de tasa de éxito).
- Viabilidad Económica: Al ser tan eficiente la carga inicial completa, eliminamos la necesidad técnica de implementar arquitecturas híbridas complejas (Power Automate + SharePoint) o de pagar licencias Premium de Power BI Service para usar actualizaciones incrementales nativas.
- Estabilidad del ERP: Al ejecutar cargas directas SQL, el nodo de producción del ERP apenas nota la extracción masiva, garantizando que el resto de usuarios de logística y finanzas no sufran lentitud en su operativa diaria.
4. Checklist de Arquitectura y Buenas Prácticas
Sección titulada «4. Checklist de Arquitectura y Buenas Prácticas»- ✓ Enfoque ELT: Carga inicial completa delegando los filtros pesados (
WHERE) al orquestador SQL Server del ERP. - ✓ Salto de UI: Omisión absoluta de objetos
Pageexpuestos como OData, eliminando latencia de renderizado e hilos gráficos. - ✓ Estabilidad: Reducción drástica de la carga de trabajo en el NST transaccional de producción.

