Ir al contenido

El Paradigma Pushdown (ELT)

Evolució arquitectònica des d'integracions ETL tradicionals cap al paradigma ELT mitjançant Pushdown Computation a Business Central.

0lectures

En la nostra operativa d'Enginyeria de Dades i DevSecOps, un dels reptes més grans als quals ens vam enfrontar en integrar Dynamics 365 Business Central amb Power BI va ser el volum massiu de dades històriques (més de 5 anys de registres).

Al principio, la extracción de estos datos generaba constantes bloqueos, la latencia extrema y el temido error de red: "El host remoto forzó la interrupción de la conexión". Para resolverlo, tuvimos que abandonar la arquitectura tradicional ETL y adoptar el Paradigma ELT (Extract, Load, Transform) impulsado por el concepto de Pushdown Computation.

1. El Problema: El coll d'ampolla de les “Pàgines” (Web Services)

Sección titulada «1. El Problema: El cuello de botella de las “Páginas” (Web Services)»

Tradicionalmente, la forma más fácil de extraer datos de Business Central es publicar una Página (Page) como un Web Service OData (por ejemplo, la Página 38 de “Movimientos de Producto”).

Sin embargo, las Páginas están diseñadas para la Interfaz de Usuario (UI), no para el procesamiento masivo de datos. Cuando solicitamos 350.000 filas a una Página, desencadenamos una reacción en cadena letal en el servidor (NST - Navision Server Tier):

  1. Renderizado en Memoria: El servidor intenta construir el diseño visual de la página en la memoria RAM para cada fila.
  2. Ejecución de Triggers: Se disparan eventos de la interfaz gráfica (OnOpenPage, OnAfterGetRecord).
  3. Cálculo de FlowFields (El asesino silencioso): La página intenta calcular en tiempo real fórmulas complejas (como el inventario actual) fila por fila.

Resultado: El servidor se ahoga, agota sus recursos (Timeouts) y corta la conexión HTTP antes de poder enviarnos el JSON. Una carga podía tardar más de 15 minutos o, directamente, fallar.

2. La Solución: Pushdown Computation y Objetos Query

Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»

Per reduir el temps de càrrega a escassos segons, nosaltres vam canviar radicalment l'arquitectura. Vam decidir deixar de demanar a Power BI (l'eina de destí) que filtrés i modelés les dades, i vam “empènyer” (Pushdown) aquesta càrrega de treball al motor subjacent de Business Central (Microsoft SQL Server).

Para lograr esto, en lugar de consumir Páginas, desarrollamos APIs Nativas basadas en objetos Query de AL.

¿Por qué un Objeto Query es extremadamente rápido?

Sección titulada «¿Por qué un Objeto Query es extremadamente rápido?»
  • Cero UI: Un objeto Query se salta completamente la capa de presentación. No renderiza ventanas, no ejecuta triggers de pantalla y no carga librerías gráficas.
  • SQL Puro: El motor de Business Central compila nuestro objeto Query y lo traduce literalmente a una sentencia SELECT de SQL Server optimizada.
  • Reducción de Payload: Solo transitan por la red HTTP las columnas estrictamente necesarias que nosotros hayamos declarado.

Al migrar nuestra ingesta de datos desde los Web Services estándar hacia nuestras propias Query APIs con filtros embebidos en el servidor, logramos las siguientes métricas:

  • Tiempo de Extracción: Reducido de +15 minutos (y fallos constantes) a 30 segundos (100% de tasa de éxito).
  • Viabilidad Económica: Al ser tan eficiente la carga inicial completa, eliminamos la necesidad técnica de implementar arquitecturas híbridas complejas (Power Automate + SharePoint) o de pagar licencias Premium de Power BI Service para usar actualizaciones incrementales nativas.
  • Estabilidad del ERP: Al ejecutar cargas directas SQL, el nodo de producción del ERP apenas nota la extracción masiva, garantizando que el resto de usuarios de logística y finanzas no sufran lentitud en su operativa diaria.

4. Checklist d'Arquitectura i Bones Pràctiques

Sección titulada «4. Checklist de Arquitectura y Buenas Prácticas»
  • Enfoque ELT: Carga inicial completa delegando los filtros pesados (WHERE) al orquestador SQL Server del ERP.
  • Salto de UI: Omisión absoluta de objetos Page expuestos como OData, eliminando latencia de renderizado e hilos gráficos.
  • Estabilidad: Reducción drástica de la carga de trabajo en el NST transaccional de producción.