Het Pushdown Paradigma (ELT)
Architecturale evolutie van traditionele ETL-integraties naar het ELT-paradigma via Pushdown Computation in Business Central.
In onze Data Engineering en DevSecOps-operaties was een van de grootste uitdagingen bij het integreren van Dynamics 365 Business Central met Power BI het enorme volume aan historische gegevens (meer dan 5 jaar aan records).
Aanvankelijk veroorzaakte de extractie van deze gegevens constante blokkades, extreme latentie en de gevreesde netwerkfout: "El host remoto forzó la interrupción de la conexión". Om dit op te lossen, moesten we de traditionele ETL-architectuur verlaten en het ELT-paradigma (Extract, Load, Transform) omarmen, aangedreven door het concept van Pushdown Computation.
1. Het probleem: De bottleneck van "Pagina's" (Web Services)
Sección titulada «1. El Problema: El cuello de botella de las “Páginas” (Web Services)»Traditioneel is de eenvoudigste manier om gegevens uit Business Central te extraheren het publiceren van een Pagina (Page) als een OData Web Service (bijvoorbeeld Pagina 38 'Productbewegingen').
Pagina's zijn echter ontworpen voor de gebruikersinterface (UI) en niet voor massale gegevensverwerking. Wanneer we 350.000 rijen opvragen bij een Pagina, veroorzaken we een fatale kettingreactie op de server (NST - Navision Server Tier):
- Rendering in het geheugen: De server probeert de visuele lay-out van de pagina in het RAM-geheugen op te bouwen voor elke rij.
- Uitvoering van triggers: Grafische interface-events worden geactiveerd (
OnOpenPage,OnAfterGetRecord). - Berekening van FlowFields (de stille moordenaar): De pagina probeert in realtime complexe formules (zoals de huidige voorraad) rij voor rij te berekenen.
Resultaat: De server raakt overbelast, verbruikt al zijn middelen (Timeouts) en verbreekt de HTTP-verbinding voordat de JSON kan worden verzonden. Een laadproces kon meer dan 15 minuten duren of simpelweg mislukken.
2. De oplossing: Pushdown Computation en Objecten Query
Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»Om de laadtijd tot enkele seconden terug te brengen, hebben we de architectuur radicaal veranderd. We besloten om Power BI (de doeltool) niet langer te vragen de gegevens te filteren en te modelleren, en "duwden" (Pushdown) die werklast naar de onderliggende engine van Business Central (Microsoft SQL Server).
Om dit te bereiken, ontwikkelen we in plaats van Pages Native API's gebaseerd op Query AL-objecten.
Waarom is een Query object extreem snel?
Sección titulada «¿Por qué un Objeto Query es extremadamente rápido?»- Zero UI: Een
Queryobject slaat de presentatielaag volledig over. Het rendert geen vensters, voert geen schermtriggers uit en laadt geen grafische bibliotheken. - Pure SQL: De Business Central engine compileert ons
Queryobject en vertaalt dit letterlijk naar een geoptimaliseerdeSELECTSQL Server-instructie. - Payload-reductie: Alleen de strikt noodzakelijke kolommen die wij hebben gedeclareerd, worden over het HTTP-netwerk verzonden.
3. Impact van de architectuurwijziging (Resultaten)
Sección titulada «3. Impacto del Cambio Arquitectónico (Resultados)»Door onze data-ingestie te migreren van de standaard Web Services naar onze eigen Query APIs met filters die op de server zijn ingebed, hebben we de volgende metrics behaald:
- Extractietijd: Verminderd van +15 minuten (en constante fouten) naar 30 seconden (100% succespercentage).
- Economische levensvatbaarheid: Omdat de volledige initiële load zo efficiënt is, elimineren we de technische noodzaak voor complexe hybride architecturen (Power Automate + SharePoint) of het betalen voor Premium licenties van Power BI Service om gebruik te maken van native incrementele updates.
- ERP-stabiliteit: Door directe SQL-loads uit te voeren, merkt de productie-node van de ERP de massale extractie nauwelijks op, waardoor wordt gegarandeerd dat de overige logistieke en financiële gebruikers geen vertraging ervaren in hun dagelijkse werkzaamheden.
4. Architectuurchecklist en best practices
Sección titulada «4. Checklist de Arquitectura y Buenas Prácticas»- ✓ ELT-aanpak: Volledige initiële load waarbij de zware filters (
WHERE) worden gedelegeerd aan de SQL Server-orchestrator van de ERP. - ✓ UI-skip: Volledige omzeiling van
Pageobjecten die als OData worden geëxposeerd, waardoor rendering-latentie en grafische threads worden geëlimineerd. - ✓ Stabiliteit: Drastische vermindering van de werklast op de transactionele productie-NST.

