Ir al contenido

El Paradigma Pushdown (ELT)

Architektonická evolúcia od tradičných ETL integrácií k paradigme ELT prostredníctvom Pushdown Computation v Business Central.

0lecturas

V našej operácii dátového inžinierstva a DevSecOps bol jedným z najväčších výziev, ktorým sme čelili pri integrácii Dynamics 365 Business Central s Power BI, masívny objem historických údajov (viac ako 5 rokov záznamov).

Spočiatku generovanie týchto dát viedlo k neustálemu zablokovaniu, extrémnej latencii a obávanej chybe siete: "El host remoto forzó la interrupción de la conexión". Aby sme to vyriešili, museli sme opustiť tradičnú ETL architektúru a prijať ELT (Extract, Load, Transform) paradigmu podporovanú konceptom Pushdown Computation.

Tradične, najľahší spôsob extrakcie dát z Business Central je publikovať Stránku (Page) ako Web Service OData (napríklad stránka 38 „Movimientos de Producto`).

Avšak stránky sú navrhnuté pre používateľské rozhranie (UI), nie pre masívne spracovanie dát. Keď požiadame o 350 000 riadkov zo stránky, spustíme reťazovú reakciu na serveri (NST - Navision Server Tier):

  1. Renderovanie v pamäti: Server sa snaží zostaviť vizuálny dizajn stránky v RAM pre každý riadok.
  2. Vykonávanie triggerov: Spúšťajú sa udalosti grafického rozhrania (OnOpenPage, OnAfterGetRecord).
  3. Výpočet FlowFields (tichý zabijak): Stránka sa snaží vypočítať komplexné vzorce v reálnom čase (ako súčasný inventár) riadok po riadku.

Výsledok: Server sa dusí, vyčerpané zdroje (Timeouts) a prerušuje HTTP spojenie predtým, ako nám pošle JSON. Jedna záťaž mohla trvať viac ako 15 minút alebo rovno zlyhať.

2. Riešenie: Pushdown Computation a Objekty Query

Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»

Aby sme znížili čas načítania na niekoľko sekúnd, radikálne sme zmenili architektúru. Rozhodli sme sa prestať žiadať Power BI (cieľový nástroj), aby filtroval a modeloval údaje, a 'posunuli' (Pushdown) túto záťaž do základného motora Business Central (Microsoft SQL Server).

Aby sme to dosiahli, namiesto spotreby stránok sme vyvinuli natívne API založené na objektoch Query v AL.

  • Nulové UI: Objekt Query úplne vynecháva prezentačnú vrstvu. Nerenderuje okná, nevykonáva spúšťače obrazovky a nenačítava grafické knižnice.
  • Čistý SQL: Motor Business Central kompiluje náš objekt Query a doslova ho prekladá do optimalizovaného SELECT SQL Server.
  • Zníženie Payload: Sieťou HTTP prechádzajú len striktne potrebné stĺpce, ktoré sme deklarovali.

Pri migrácii našej dátovej záťaže z webových služieb štandardu na naše vlastné Query APIs s vloženými filtrami na serveri sme dosiahli nasledujúce metriky:

  • Čas extrakcie: Znížený z +15 minút (a časté zlyhania) na 30 sekúnd (100% úspešnosť).
  • Ekonomická životaschopnosť: Vďaka vysokej účinnosti počiatočnej záťaže sme odstránili technickú potrebu implementácie zložitých hybridných architektúr (Power Automate + SharePoint) alebo platenia prémiových licencií Power BI Service pre použitie natívnych inkrementálnych aktualizácií.
  • Stabilita ERP: Pri vykonávaní priamych SQL záťaží uzol výroby ERP takmer nezaznamená masívnu extrakciu, čím sa zabezpečuje, že ostatní používatelia logistiky a financií netrpia spomalením svojej každodennnej činnosti.

4. Kontrolný zoznam architektúry a osvedčených postupov

Sección titulada «4. Checklist de Arquitectura y Buenas Prácticas»
  • ✓ Prístup ELT: Kompletné zaťaženie delegovaním ťažkých filtrov (WHERE) do SQL Server orchestra.
  • ✓ Skok z UI: Absolútne vynechanie objektov Page vystavených ako OData, odstránenie latencie vykresľovania a grafických vlákien.
  • ✓ Stabilita: Drastické zníženie pracovného zaťaženia transakčného uzla výroby.