Paradygmat Pushdown (ELT)
Ewolucja architektoniczna od tradycyjnych integracji ETL w kierunku paradygmatu ELT za pomocą Pushdown Computation w Business Central.
W naszej operacyjnej inżynierii danych i DevSecOps jednym z największych wyzwań, z którymi się zmagaliśmy podczas integracji Dynamics 365 Business Central z Power BI, był ogromny wolumen danych historycznych (ponad 5 lat rekordów).
Na początku wyodrębnianie tych danych powodowało stałe blokowanie, ekstremalną opóźnienie i straszny błąd sieciowy: "El host remoto forzó la interrupción de la conexión". Aby rozwiązać ten problem, musieliśmy porzucić tradycyjną architekturę ETL i przyjąć paradygmat ELT (Extract, Load, Transform) napędzany przez pojęcie obliczeń pushdown.
1. Problem: Wąskie gardło "stron" (usług internetowych)
Sección titulada «1. El Problema: El cuello de botella de las “Páginas” (Web Services)»Tradycyjnie, najłatwiejszym sposobem pobierania danych z Business Central jest opublikowanie Strony (Page) jako usługi internetowej OData (na przykład strony 38 dotyczącej „ruchu produktów”).
Jednak strony są zaprojektowane z myślą o interfejsie użytkownika (UI), a nie o przetwarzaniu dużych ilości danych. Gdy żądamy 350 000 wierszy ze strony, wywołujemy śmiertelną reakcję łańcuchową na serwerze (NST - warstwa serwera Navision):
- Renderowanie w pamięci: Serwer próbuje zbudować wizualny projekt strony w pamięci RAM dla każdego wiersza.
- Uruchamianie triggerów: Uruchamiane są zdarzenia interfejsu graficznego (
OnOpenPage,OnAfterGetRecord). - Obliczanie pól przepływu (cichy zabójca): Strona próbuje obliczyć w czasie rzeczywistym złożone formuły (takie jak bieżący stan magazynu) wiersz po wierszu.
Wynik: Serwer zostaje uduszony, wyczerpuje swoje zasoby (limit czasu) i przerywa połączenie HTTP przed możliwością wysłania nam JSON. Ładunek mógł trwać ponad 15 minut lub po prostu się nie powieść.
2. Rozwiązanie: Pushdown Computation i obiekty Query
Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»Aby skrócić czas ładowania do kilku sekund, radykalnie zmieniliśmy architekturę. Postanowiliśmy przestać prosić Power BI (narzędzie docelowe) o filtrowanie i modelowanie danych i "popychnęliśmy" (Pushdown) to obciążenie pracą do podstawowego silnika Business Central (Microsoft SQL Server).
Aby to osiągnąć, zamiast konsumować strony, opracowaliśmy rodzime API oparte na obiektach Query AL.
Dlaczego obiekt Query jest niezwykle szybki?
Sección titulada «¿Por qué un Objeto Query es extremadamente rápido?»- Zero UI: Obiekt
Querycałkowicie pomija warstwę prezentacji. Nie renderuje okien, nie uruchamia triggerów ekranu i nie ładuje bibliotek graficznych. - Czysty SQL: Silnik Business Central kompiluje nasz obiekt
Queryi tłumaczy go dosłownie na zoptymalizowaną instrukcjęSELECTSQL Server. - Reducowanie ładunku: Przez sieć HTTP przesyłane są tylko kolumny ściśle niezbędne, które zostały przez nas zadeklarowane.
3. Wpływ zmiany architektonicznej (wyniki)
Sección titulada «3. Impacto del Cambio Arquitectónico (Resultados)»Przez migrację naszego pobierania danych z standardowych usług internetowych do naszych własnych Query APIs z filtrem osadzonym na serwerze, osiągnęliśmy następujące wskaźniki:
- Czas Ekstrakcji: Zmniejszony z +15 minut (i stałych awarii) do 30 sekund (100% wskaźnik powodzenia).
- Opłacalność Ekonomiczna: Dzięki tak wydajnej pełnej ładowaniu, wyeliminowaliśmy techniczną potrzebę wdrożenia złożonych architektur hybrydowych (Power Automate + SharePoint) lub płacenia za licencje Premium usługi Power BI Service w celu korzystania z natywnych aktualizacji przyrostowych.
- Stabilność ERP: Wykonując bezpośrednie ładunki SQL, węzeł produkcyjny ERP praktycznie nie zauważa masowej ekstrakcji, gwarantując, że pozostali użytkownicy logistyki i finansów nie doświadczają spowolnienia w codziennych operacjach.
4. Lista kontrolna architektury i dobrych praktyk
Sección titulada «4. Checklist de Arquitectura y Buenas Prácticas»- ✓ Podejście ELT: Pełna ładowanie początkowe, delegując ciężkie filtry (
WHERE) do orkiestratora SQL Server ERP. - ✓ Pominięcie UI: Całkowite pominięcie obiektów
Pageudostępnianych jako OData, eliminując opóźnienia renderowania i wątki graficzne. - ✓ Stabilność: Gwałtowne zmniejszenie obciążenia pracy w transakcyjnym NST produkcji.

