Paradigma Pushdown (ELT)
Architektonická evoluce od tradičních ETL integrací směrem k paradigmatu ELT pomocí Pushdown Computation v Business Central.
V našich operacích datového inženýrství a DevSecOps byla jednou z největších výzev, kterým jsme čelili při integraci Dynamics 365 Business Central s Power BI, masivní objem historických dat (více než 5 let záznamů).
Zpočátku extrakce těchto dat způsobovala neustálé blokování, extrémní latenci a obávanou síťovou chybu: "El host remoto forzó la interrupción de la conexión". Abychom to vyřešili, museli jsme opustit tradiční ETL architekturu a přijmout paradigma ELT (Extract, Load, Transform) poháněné konceptem Pushdown Computation.
1. Problém: Úzké hrdlo „Stránek“ (Web Services)
Sección titulada «1. El Problema: El cuello de botella de las “Páginas” (Web Services)»Tradičně je nejjednodušším způsobem, jak extrahovat data z Business Central, zveřejnit Stránku (Page) jako OData Web Service (například Stránku 38 „Pohyb zboží“).
Stránky jsou však navrženy pro uživatelské rozhraní (UI), nikoli pro masivní zpracování dat. Když požádáme o 350 000 řádků ze stránky, spustíme na serveru (NST – Navision Server Tier) smrtící řetězovou reakci:
- Renderování v paměti: Server se pro každý řádek pokouší v paměti RAM sestavit vizuální rozvržení stránky.
- Spouštění triggerů: Spouštějí se události grafického rozhraní (
OnOpenPage,OnAfterGetRecord). - Výpočet FlowFieldů (tichý vrah): Stránka se pokouší v reálném čase vypočítat složité vzorce (jako je aktuální skladový stav) řádek po řádku.
Výsledek: Server se uduší, vyčerpá své prostředky (Timeouts) a přeruší HTTP připojení dříve, než nám stihne odeslat JSON. Jeden požadavek mohl trvat déle než 15 minut nebo přímo selhat.
2. Řešení: Pushdown Computation a objekty Query
Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»Abychom zkrátili dobu načítání na pouhých několik sekund, radikálně jsme změnili architekturu. Rozhodli jsme se přestat žádat Power BI (cílový nástroj), aby filtroval a modeloval data, a „přesunuli“ (Pushdown) tuto zátěž na základní engine Business Central (Microsoft SQL Server).
Abychom toho dosáhli, místo konzumace Stránek vyvíjíme nativní API založená na objektech Query v jazyce AL.
Proč je objekt Query extrémně rychlý?
Sección titulada «¿Por qué un Objeto Query es extremadamente rápido?»- Žádné UI: Objekt
Queryzcela obchází prezentační vrstvu. Nevyrenderuje okna, nespouští grafické triggery a nenahrává grafické knihovny. - Čisté SQL: Motor Business Central náš objekt
Queryzkompiluje a doslova přeloží do optimalizovaného příkazuSELECTSQL Serveru. - Snížení payloadu: Přes HTTP síť protékají pouze ty sloupce, které jsme striktně deklarovali jako nezbytné.
3. Dopad architektonické změny (Výsledky)
Sección titulada «3. Impacto del Cambio Arquitectónico (Resultados)»Migrací našeho sběru dat ze standardních Web Services na naše vlastní Query APIs s filtry zabudovanými na serveru jsme dosáhli následujících metrik:
- Doba extrakce: Sníženo z +15 minut (a neustálých chyb) na 30 sekund (100% úspěšnost).
- Ekonomická proveditelnost: Díky vysoké efektivitě úplného počátečního načítání jsme eliminovali technickou potřebu implementovat složité hybridní architektury (Power Automate + SharePoint) nebo platit prémiové licence Power BI Service pro používání nativních inkrementálních aktualizací.
- Stabilita ERP: Prováděním přímých SQL načítání produkční uzel ERP téměř nepovšimne masivní extrakce, což zaručuje, že ostatní uživatelé logistiky a financí nebudou pociťovat zpomalení v jejich každodenní operativě.
4. Checklist architektury a osvědčené postupy
Sección titulada «4. Checklist de Arquitectura y Buenas Prácticas»- ✓ ELTv přístup: Kompletní počáteční načtení delegováním těžkých filtrů (
WHERE) orchestrátoru SQL Server ERP. - ✓ Skok UI: Absolutní vynechání vystavených objektů
Pagejako OData, odstranění latence vykreslování a grafických vláken. - ✓ Stabilita: Drastické snížení pracovní zátěže na transakčním NST produkčního prostředí.

