Ir al contenido

Paradygmat Pushdown (ELT)

Ewolucja architektoniczna od tradycyjnych integracji ETL w kierunku paradygmatu ELT za pomocą Pushdown Computation w Business Central.

0odwiedzin

W naszej operacyjnej inżynierii danych i DevSecOps jednym z największych wyzwań, z którymi się zmagaliśmy podczas integracji Dynamics 365 Business Central z Power BI, był ogromny wolumen danych historycznych (ponad 5 lat rekordów).

Na początku wyodrębnianie tych danych powodowało stałe blokowanie, ekstremalną opóźnienie i straszny błąd sieciowy: "El host remoto forzó la interrupción de la conexión". Aby rozwiązać ten problem, musieliśmy porzucić tradycyjną architekturę ETL i przyjąć paradygmat ELT (Extract, Load, Transform) napędzany przez pojęcie obliczeń pushdown.

Tradycyjnie, najłatwiejszym sposobem pobierania danych z Business Central jest opublikowanie Strony (Page) jako usługi internetowej OData (na przykład strony 38 dotyczącej „ruchu produktów”).

Jednak strony są zaprojektowane z myślą o interfejsie użytkownika (UI), a nie o przetwarzaniu dużych ilości danych. Gdy żądamy 350 000 wierszy ze strony, wywołujemy śmiertelną reakcję łańcuchową na serwerze (NST - warstwa serwera Navision):

  1. Renderowanie w pamięci: Serwer próbuje zbudować wizualny projekt strony w pamięci RAM dla każdego wiersza.
  2. Uruchamianie triggerów: Uruchamiane są zdarzenia interfejsu graficznego (OnOpenPage, OnAfterGetRecord).
  3. Obliczanie pól przepływu (cichy zabójca): Strona próbuje obliczyć w czasie rzeczywistym złożone formuły (takie jak bieżący stan magazynu) wiersz po wierszu.

Wynik: Serwer zostaje uduszony, wyczerpuje swoje zasoby (limit czasu) i przerywa połączenie HTTP przed możliwością wysłania nam JSON. Ładunek mógł trwać ponad 15 minut lub po prostu się nie powieść.

2. Rozwiązanie: Pushdown Computation i obiekty Query

Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»

Aby skrócić czas ładowania do kilku sekund, radykalnie zmieniliśmy architekturę. Postanowiliśmy przestać prosić Power BI (narzędzie docelowe) o filtrowanie i modelowanie danych i "popychnęliśmy" (Pushdown) to obciążenie pracą do podstawowego silnika Business Central (Microsoft SQL Server).

Aby to osiągnąć, zamiast konsumować strony, opracowaliśmy rodzime API oparte na obiektach Query AL.

  • Zero UI: Obiekt Query całkowicie pomija warstwę prezentacji. Nie renderuje okien, nie uruchamia triggerów ekranu i nie ładuje bibliotek graficznych.
  • Czysty SQL: Silnik Business Central kompiluje nasz obiekt Query i tłumaczy go dosłownie na zoptymalizowaną instrukcję SELECT SQL Server.
  • Reducowanie ładunku: Przez sieć HTTP przesyłane są tylko kolumny ściśle niezbędne, które zostały przez nas zadeklarowane.

Przez migrację naszego pobierania danych z standardowych usług internetowych do naszych własnych Query APIs z filtrem osadzonym na serwerze, osiągnęliśmy następujące wskaźniki:

  • Czas Ekstrakcji: Zmniejszony z +15 minut (i stałych awarii) do 30 sekund (100% wskaźnik powodzenia).
  • Opłacalność Ekonomiczna: Dzięki tak wydajnej pełnej ładowaniu, wyeliminowaliśmy techniczną potrzebę wdrożenia złożonych architektur hybrydowych (Power Automate + SharePoint) lub płacenia za licencje Premium usługi Power BI Service w celu korzystania z natywnych aktualizacji przyrostowych.
  • Stabilność ERP: Wykonując bezpośrednie ładunki SQL, węzeł produkcyjny ERP praktycznie nie zauważa masowej ekstrakcji, gwarantując, że pozostali użytkownicy logistyki i finansów nie doświadczają spowolnienia w codziennych operacjach.

4. Lista kontrolna architektury i dobrych praktyk

Sección titulada «4. Checklist de Arquitectura y Buenas Prácticas»
  • ✓ Podejście ELT: Pełna ładowanie początkowe, delegując ciężkie filtry (WHERE) do orkiestratora SQL Server ERP.
  • ✓ Pominięcie UI: Całkowite pominięcie obiektów Page udostępnianych jako OData, eliminując opóźnienia renderowania i wątki graficzne.
  • ✓ Stabilność: Gwałtowne zmniejszenie obciążenia pracy w transakcyjnym NST produkcji.