Ir al contenido

Das Pushdown-Paradigma (ELT)

Architektonische Entwicklung von traditionellen ETL-Integrationen hin zum ELT-Paradigma mittels Pushdown Computation in Business Central.

0Lesungen

In unserem Data Engineering und DevSecOps-Betrieb war eine der größten Herausforderungen bei der Integration von Dynamics 365 Business Central mit Power BI das massive Volumen an historischen Daten (mehr als 5 Jahre an Aufzeichnungen).

Zu Beginn verursachte die Extraktion dieser Daten ständige Sperren, extreme Latenzzeiten und den gefürchteten Netzwerkfehler: "El host remoto forzó la interrupción de la conexión". Um dies zu lösen, mussten wir die traditionelle ETL-Architektur aufgeben und das ELT-Paradigma (Extract, Load, Transform) einführen, das auf dem Konzept der Pushdown Computation basiert.

1. Das Problem: Der Flaschenhals der „Seiten“ (Web Services)

Sección titulada «1. El Problema: El cuello de botella de las “Páginas” (Web Services)»

Traditionell ist der einfachste Weg, Daten aus Business Central zu extrahieren, eine Seite (Page) als OData-Webservice zu veröffentlichen (zum Beispiel Seite 38 „Produktbewegungen“).

Seiten sind jedoch für die Benutzeroberfläche (UI) konzipiert, nicht für die Massendatenverarbeitung. Wenn wir 350.000 Zeilen von einer Seite abrufen, lösen wir eine fatale Kettenreaktion auf dem Server (NST - Navision Server Tier) aus:

  1. In-Memory-Rendering: Der Server versucht, das visuelle Layout der Seite für jede Zeile im RAM aufzubauen.
  2. Trigger-Ausführung: Ereignisse der grafischen Benutzeroberfläche werden ausgelöst (OnOpenPage, OnAfterGetRecord ).
  3. FlowField-Berechnung (Der stille Killer): Die Seite versucht, komplexe Formeln (wie den aktuellen Lagerbestand) in Echtzeit Zeile für Zeile zu berechnen.

Ergebnis: Der Server wird überlastet, erschöpft seine Ressourcen (Timeouts) und bricht die HTTP-Verbindung ab, bevor er das JSON senden kann. Ein Ladevorgang konnte mehr als 15 Minuten dauern oder direkt fehlschlagen.

2. Die Lösung: Pushdown-Berechnung und Query Objekte

Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»

Um die Ladezeit auf wenige Sekunden zu reduzieren, haben wir die Architektur radikal geändert. Wir haben beschlossen, Power BI (das Zielwerkzeug) nicht mehr zu bitten, die Daten zu filtern und zu modellieren, und haben diese Arbeitslast auf die zugrunde liegende Engine von Business Central (Microsoft SQL Server) „geschoben“ (Pushdown).

Um dies zu erreichen, entwickeln wir anstelle des Konsumierens von Seiten native APIs, die auf Query AL-Objekten basieren.

  • Kein Benutzerinterface: Ein Query-Objekt umgeht komplett die Präsentationsschicht. Es rendert keine Fenster, führt keine Bildschirm-Trigger aus und lädt keine Grafikbibliotheken.
  • Reiner SQL: Der Motor von Business Central kompiliert unser Query-Objekt und übersetzt es wörtlich in eine optimierte SELECT-SQL-Abfrage.
  • Payload-Reduzierung: Nur die streng notwendigen Spalten, die wir deklariert haben, werden über das HTTP-Netzwerk übertragen.

3. Auswirkungen der Architekturänderung (Ergebnisse)

Sección titulada «3. Impacto del Cambio Arquitectónico (Resultados)»

Durch die Migration unserer Datenaufnahme von den Standard-Webservices zu unseren eigenen Query APIs mit serverseitig eingebetteten Filtern haben wir die folgenden Kennzahlen erreicht:

  • Extraktionszeit: Reduziert von +15 Minuten (und ständigen Fehlern) auf 30 Sekunden (100% Erfolgsrate).
  • Viabilidad Económica: Al ser tan eficiente la carga inicial completa, eliminamos la necesidad técnica de implementar arquitecturas híbridas complejas (Power Automate + SharePoint) o de pagar licencias Premium de Power BI Service para usar actualizaciones incrementales nativas.
  • Estabilidad del ERP: Al ejecutar cargas directas SQL, el nodo de producción del ERP apenas nota la extracción masiva, garantizando que el resto de usuarios de logística y finanzas no sufran lentitud en su operativa diaria.
  • ✓ Enfoque ELT: Carga inicial completa delegando los filtros pesados (WHERE) al orquestador SQL Server del ERP.
  • ✓ Salto de UI: Omisión absoluta de objetos Page expuestos como OData, eliminando latencia de renderizado e hilos gráficos.
  • ✓ Estabilidad: Reducción drástica de la carga de trabajo en el NST transaccional de producción.