Ir al contenido

Paradigma Pushdown (ELT)

Architektonická evoluce od tradičních ETL integrací směrem k paradigmatu ELT pomocí Pushdown Computation v Business Central.

0čtení

V našich operacích datového inženýrství a DevSecOps byla jednou z největších výzev, kterým jsme čelili při integraci Dynamics 365 Business Central s Power BI, masivní objem historických dat (více než 5 let záznamů).

Zpočátku extrakce těchto dat způsobovala neustálé blokování, extrémní latenci a obávanou síťovou chybu: "El host remoto forzó la interrupción de la conexión". Abychom to vyřešili, museli jsme opustit tradiční ETL architekturu a přijmout paradigma ELT (Extract, Load, Transform) poháněné konceptem Pushdown Computation.

Tradičně je nejjednodušším způsobem, jak extrahovat data z Business Central, zveřejnit Stránku (Page) jako OData Web Service (například Stránku 38 „Pohyb zboží“).

Stránky jsou však navrženy pro uživatelské rozhraní (UI), nikoli pro masivní zpracování dat. Když požádáme o 350 000 řádků ze stránky, spustíme na serveru (NST – Navision Server Tier) smrtící řetězovou reakci:

  1. Renderování v paměti: Server se pro každý řádek pokouší v paměti RAM sestavit vizuální rozvržení stránky.
  2. Spouštění triggerů: Spouštějí se události grafického rozhraní (OnOpenPage, OnAfterGetRecord).
  3. Výpočet FlowFieldů (tichý vrah): Stránka se pokouší v reálném čase vypočítat složité vzorce (jako je aktuální skladový stav) řádek po řádku.

Výsledek: Server se uduší, vyčerpá své prostředky (Timeouts) a přeruší HTTP připojení dříve, než nám stihne odeslat JSON. Jeden požadavek mohl trvat déle než 15 minut nebo přímo selhat.

2. Řešení: Pushdown Computation a objekty Query

Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»

Abychom zkrátili dobu načítání na pouhých několik sekund, radikálně jsme změnili architekturu. Rozhodli jsme se přestat žádat Power BI (cílový nástroj), aby filtroval a modeloval data, a „přesunuli“ (Pushdown) tuto zátěž na základní engine Business Central (Microsoft SQL Server).

Abychom toho dosáhli, místo konzumace Stránek vyvíjíme nativní API založená na objektech Query v jazyce AL.

  • Žádné UI: Objekt Query zcela obchází prezentační vrstvu. Nevyrenderuje okna, nespouští grafické triggery a nenahrává grafické knihovny.
  • Čisté SQL: Motor Business Central náš objekt Query zkompiluje a doslova přeloží do optimalizovaného příkazu SELECT SQL Serveru.
  • Snížení payloadu: Přes HTTP síť protékají pouze ty sloupce, které jsme striktně deklarovali jako nezbytné.

Migrací našeho sběru dat ze standardních Web Services na naše vlastní Query APIs s filtry zabudovanými na serveru jsme dosáhli následujících metrik:

  • Doba extrakce: Sníženo z +15 minut (a neustálých chyb) na 30 sekund (100% úspěšnost).
  • Ekonomická proveditelnost: Díky vysoké efektivitě úplného počátečního načítání jsme eliminovali technickou potřebu implementovat složité hybridní architektury (Power Automate + SharePoint) nebo platit prémiové licence Power BI Service pro používání nativních inkrementálních aktualizací.
  • Stabilita ERP: Prováděním přímých SQL načítání produkční uzel ERP téměř nepovšimne masivní extrakce, což zaručuje, že ostatní uživatelé logistiky a financí nebudou pociťovat zpomalení v jejich každodenní operativě.

4. Checklist architektury a osvědčené postupy

Sección titulada «4. Checklist de Arquitectura y Buenas Prácticas»
  • ✓ ELTv přístup: Kompletní počáteční načtení delegováním těžkých filtrů (WHERE) orchestrátoru SQL Server ERP.
  • ✓ Skok UI: Absolutní vynechání vystavených objektů Page jako OData, odstranění latence vykreslování a grafických vláken.
  • ✓ Stabilita: Drastické snížení pracovní zátěže na transakčním NST produkčního prostředí.