El Paradigma Pushdown (ELT)
Architektonická evolúcia od tradičných ETL integrácií k paradigme ELT prostredníctvom Pushdown Computation v Business Central.
V našej operácii dátového inžinierstva a DevSecOps bol jedným z najväčších výziev, ktorým sme čelili pri integrácii Dynamics 365 Business Central s Power BI, masívny objem historických údajov (viac ako 5 rokov záznamov).
Spočiatku generovanie týchto dát viedlo k neustálemu zablokovaniu, extrémnej latencii a obávanej chybe siete: "El host remoto forzó la interrupción de la conexión". Aby sme to vyriešili, museli sme opustiť tradičnú ETL architektúru a prijať ELT (Extract, Load, Transform) paradigmu podporovanú konceptom Pushdown Computation.
1. Problém: Úzky hrdlo 'Stránok' (Web Services)
Sección titulada «1. El Problema: El cuello de botella de las “Páginas” (Web Services)»Tradične, najľahší spôsob extrakcie dát z Business Central je publikovať Stránku (Page) ako Web Service OData (napríklad stránka 38 „Movimientos de Producto`).
Avšak stránky sú navrhnuté pre používateľské rozhranie (UI), nie pre masívne spracovanie dát. Keď požiadame o 350 000 riadkov zo stránky, spustíme reťazovú reakciu na serveri (NST - Navision Server Tier):
- Renderovanie v pamäti: Server sa snaží zostaviť vizuálny dizajn stránky v RAM pre každý riadok.
- Vykonávanie triggerov: Spúšťajú sa udalosti grafického rozhrania (
OnOpenPage,OnAfterGetRecord). - Výpočet FlowFields (tichý zabijak): Stránka sa snaží vypočítať komplexné vzorce v reálnom čase (ako súčasný inventár) riadok po riadku.
Výsledok: Server sa dusí, vyčerpané zdroje (Timeouts) a prerušuje HTTP spojenie predtým, ako nám pošle JSON. Jedna záťaž mohla trvať viac ako 15 minút alebo rovno zlyhať.
2. Riešenie: Pushdown Computation a Objekty Query
Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»Aby sme znížili čas načítania na niekoľko sekúnd, radikálne sme zmenili architektúru. Rozhodli sme sa prestať žiadať Power BI (cieľový nástroj), aby filtroval a modeloval údaje, a 'posunuli' (Pushdown) túto záťaž do základného motora Business Central (Microsoft SQL Server).
Aby sme to dosiahli, namiesto spotreby stránok sme vyvinuli natívne API založené na objektoch Query v AL.
Prečo je objekt Query extrémne rýchly?
Sección titulada «¿Por qué un Objeto Query es extremadamente rápido?»- Nulové UI: Objekt
Queryúplne vynecháva prezentačnú vrstvu. Nerenderuje okná, nevykonáva spúšťače obrazovky a nenačítava grafické knižnice. - Čistý SQL: Motor Business Central kompiluje náš objekt
Querya doslova ho prekladá do optimalizovanéhoSELECTSQL Server. - Zníženie Payload: Sieťou HTTP prechádzajú len striktne potrebné stĺpce, ktoré sme deklarovali.
3. Vplyv architektonickej zmeny (výsledky)
Sección titulada «3. Impacto del Cambio Arquitectónico (Resultados)»Pri migrácii našej dátovej záťaže z webových služieb štandardu na naše vlastné Query APIs s vloženými filtrami na serveri sme dosiahli nasledujúce metriky:
- Čas extrakcie: Znížený z +15 minút (a časté zlyhania) na 30 sekúnd (100% úspešnosť).
- Ekonomická životaschopnosť: Vďaka vysokej účinnosti počiatočnej záťaže sme odstránili technickú potrebu implementácie zložitých hybridných architektúr (Power Automate + SharePoint) alebo platenia prémiových licencií Power BI Service pre použitie natívnych inkrementálnych aktualizácií.
- Stabilita ERP: Pri vykonávaní priamych SQL záťaží uzol výroby ERP takmer nezaznamená masívnu extrakciu, čím sa zabezpečuje, že ostatní používatelia logistiky a financií netrpia spomalením svojej každodennnej činnosti.
4. Kontrolný zoznam architektúry a osvedčených postupov
Sección titulada «4. Checklist de Arquitectura y Buenas Prácticas»- ✓ Prístup ELT: Kompletné zaťaženie delegovaním ťažkých filtrov (
WHERE) do SQL Server orchestra. - ✓ Skok z UI: Absolútne vynechanie objektov
Pagevystavených ako OData, odstránenie latencie vykresľovania a grafických vlákien. - ✓ Stabilita: Drastické zníženie pracovného zaťaženia transakčného uzla výroby.

