Ir al contenido

Le paradigme Pushdown (ELT)

Évolution architecturale des intégrations ETL traditionnelles vers le paradigme ELT via le Pushdown Computation dans Business Central.

0vues

Dans nos opérations d'ingénierie des données et DevSecOps, l'un des plus grands défis auxquels nous avons été confrontés lors de l'intégration de Dynamics 365 Business Central avec Power BI a été le volume massif de données historiques (plus de 5 ans d'enregistrements).

Au début, l'extraction de ces données générait des blocages constants, une latence extrême et l'erreur réseau redoutée : "El host remoto forzó la interrupción de la conexión". Pour résoudre cela, nous avons dû abandonner l'architecture ETL traditionnelle et adopter le paradigme ELT (Extract, Load, Transform) propulsé par le concept de Pushdown Computation.

1. Le problème : Le goulot d'étranglement des « Pages » (Web Services)

Sección titulada «1. El Problema: El cuello de botella de las “Páginas” (Web Services)»

Traditionnellement, la façon la plus simple d'extraire des données de Business Central est de publier une Page (Page) en tant que service Web OData (par exemple, la Page 38 « Mouvements de produits »).

Cependant, les Pages sont conçues pour l'interface utilisateur (UI), et non pour le traitement massif de données. Lorsque nous demandons 350 000 lignes à une Page, nous déclenchons une réaction en chaîne fatale sur le serveur (NST - Navision Server Tier) :

  1. Rendu en mémoire : Le serveur tente de construire la mise en page visuelle de la page dans la mémoire RAM pour chaque ligne.
  2. Exécution de triggers : Des événements de l'interface graphique sont déclenchés (OnOpenPage, OnAfterGetRecord).
  3. Calcul des FlowFields (le tueur silencieux) : La page tente de calculer en temps réel des formules complexes (comme le stock actuel) ligne par ligne.

Résultat : Le serveur est submergé, épuise ses ressources (Timeouts) et coupe la connexion HTTP avant de pouvoir nous envoyer le JSON. Un chargement pouvait prendre plus de 15 minutes ou, tout simplement, échouer.

2. La solution : Pushdown Computation et objets Query

Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»

Pour réduire le temps de chargement à quelques secondes, nous avons radicalement changé l'architecture. Nous avons décidé d'arrêter de demander à Power BI (l'outil de destination) de filtrer et de modéliser les données, et nous avons « poussé » (Pushdown) cette charge de travail vers le moteur sous-jacent de Business Central (Microsoft SQL Server).

Pour y parvenir, au lieu de consommer des Pages, nous développons des API natives basées sur des objets Query AL.

Pourquoi un objet Query est-il extrêmement rapide ?

Sección titulada «¿Por qué un Objeto Query es extremadamente rápido?»
  • Zéro UI : Un objet Query ignore complètement la couche de présentation. Il ne rend pas de fenêtres, n'exécute pas de triggers d'écran et ne charge pas de bibliothèques graphiques.
  • SQL pur : Le moteur de Business Central compile notre objet Query et le traduit littéralement en une instruction SELECT SQL Server optimisée.
  • Réduction de la charge utile (Payload) : Seules les colonnes strictement nécessaires que nous avons déclarées transitent par le réseau HTTP.

3. Impact du changement architectural (Résultats)

Sección titulada «3. Impacto del Cambio Arquitectónico (Resultados)»

En migrant notre ingestion de données des services Web standard vers nos propres Query APIs avec des filtres intégrés au serveur, nous avons obtenu les métriques suivantes :

  • Temps d'extraction : Réduit de +15 minutes (et des échecs constants) à 30 secondes (taux de réussite de 100 %).
  • Viabilité économique : Grâce à l'efficacité du chargement initial complet, nous éliminons la nécessité technique de mettre en œuvre des architectures hybrides complexes (Power Automate + SharePoint) ou de payer des licences Premium de Power BI Service pour utiliser les mises à jour incrémentielles natives.
  • Stabilité de l'ERP : En exécutant des chargements SQL directs, le nœud de production de l'ERP remarque à peine l'extraction massive, garantissant que les autres utilisateurs de la logistique et de la finance ne subissent pas de ralentissements dans leurs opérations quotidiennes.

4. Checklist d'architecture et bonnes pratiques

Sección titulada «4. Checklist de Arquitectura y Buenas Prácticas»
  • ✓ Approche ELT : Chargement initial complet déléguant les filtres lourds (WHERE) à l'orchestrateur SQL Server de l'ERP.
  • ✓ Saut d'UI : Omission absolue des objets Page exposés via OData, éliminant la latence de rendu et les threads graphiques.
  • ✓ Stabilité : Réduction drastique de la charge de travail sur le NST transactionnel de production.