Ir al contenido

Il Paradigma Pushdown (ELT)

Evoluzione architettonica dalle integrazioni ETL tradizionali verso il paradigma ELT tramite Pushdown Computation in Business Central.

0letture

Nella nostra operatività di Data Engineering e DevSecOps, una delle sfide più grandi che abbiamo affrontato nell'integrare Dynamics 365 Business Central con Power BI è stato il volume massiccio di dati storici (oltre 5 anni di registrazioni).

Inizialmente, l'estrazione di questi dati causava continui blocchi, latenza estrema e il temuto errore di rete: "El host remoto forzó la interrupción de la conexión". Per risolvere il problema, abbiamo dovuto abbandonare l'architettura ETL tradizionale e adottare il Paradigma ELT (Extract, Load, Transform) basato sul concetto di Pushdown Computation.

1. Il Problema: Il collo di bottiglia delle “Pagine” (Web Services)

Sección titulada «1. El Problema: El cuello de botella de las “Páginas” (Web Services)»

Tradizionalmente, il modo più semplice per estrarre dati da Business Central è pubblicare una Pagina (Page) come Web Service OData (ad esempio, la Pagina 38 di "Movimenti di Prodotto").

Tuttavia, le Pagine sono progettate per l'interfaccia utente (UI), non per l'elaborazione massiva di dati. Quando richiediamo 350.000 righe da una Pagina, inneschiamo una reazione a catena letale sul server (NST - Navision Server Tier):

  1. Rendering in Memoria: Il server tenta di costruire il layout visivo della pagina nella memoria RAM per ogni riga.
  2. Esecuzione di Trigger: Vengono attivati eventi dell'interfaccia grafica (OnOpenPage, OnAfterGetRecord).
  3. Calcolo dei FlowFields (l'assassino silenzioso): La pagina tenta di calcolare in tempo reale formule complesse (come l'inventario attuale) riga per riga.

Risultato: Il server va in affanno, esaurisce le risorse (Timeout) e interrompe la connessione HTTP prima di poterci inviare il JSON. Un caricamento poteva richiedere più di 15 minuti o, direttamente, fallire.

2. La Soluzione: Pushdown Computation e Oggetti Query

Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»

Per ridurre il tempo di caricamento a pochi secondi, abbiamo cambiato radicalmente l'architettura. Abbiamo deciso di smettere di chiedere a Power BI (lo strumento di destinazione) di filtrare e modellare i dati, e abbiamo “spinto” (Pushdown) quel carico di lavoro al motore sottostante di Business Central (Microsoft SQL Server).

Per ottenere questo, invece di consumare Pagine, abbiamo sviluppato API Native basate su oggetti Query di AL.

  • Zero UI: Un oggetto Query salta completamente lo strato di presentazione. Non renderizza finestre, non esegue trigger di schermata e non carica librerie grafiche.
  • SQL Puro: Il motore di Business Central compila il nostro oggetto Query e lo traduce letteralmente in un'istruzione SELECT di SQL Server ottimizzata.
  • Riduzione del Payload: Solo le colonne strettamente necessarie da noi dichiarate transitano sulla rete HTTP.

3. Impatto del Cambiamento Architetturale (Risultati)

Sección titulada «3. Impacto del Cambio Arquitectónico (Resultados)»

Migrando l'ingestione dei dati dai Web Services standard alle nostre Query APIs con filtri incorporati nel server, abbiamo ottenuto le seguenti metriche:

  • Tempo di Estrazione: Ridotto da oltre 15 minuti (e fallimenti costanti) a 30 secondi (tasso di successo del 100%).
  • Viabilità Economica: Grazie all'efficienza del caricamento iniziale completo, abbiamo eliminato la necessità tecnica di implementare architetture ibride complesse (Power Automate + SharePoint) o di pagare licenze Premium di Power BI Service per utilizzare aggiornamenti incrementali nativi.
  • Stabilità dell'ERP: Eseguendo caricamenti SQL diretti, il nodo di produzione dell'ERP nota appena l'estrazione massiva, garantendo che gli altri utenti di logistica e finanza non subiscano rallentamenti nella loro operativa quotidiana.
  • ✓ Approccio ELT: Caricamento iniziale completo delegando i filtri pesanti (WHERE) all'orchestratore SQL Server dell'ERP.
  • ✓ Salto UI: Omissione assoluta di oggetti Page esposti come OData, eliminando la latenza di rendering e i thread grafici.
  • ✓ Stabilità: Riduzione drastica del carico di lavoro sul NST transazionale di produzione.