Configuration de l'extraction Delta

L'extraction delta permet des mises à jour incrémentales des données, réduisant le temps de traitement et la charge du système en n'extrayant que les enregistrements modifiés depuis la dernière mise à jour.

Prérequis généraux

• Exigences du système source

  • Champs d'horodatage : Date de modification, date de création ou champs de dernière mise à jour

  • Suivi des changements : Journaux d'audit au niveau du système ou documents de modification

  • Touches incrémentielles : Numéros de séquence ou champs de version

  • Prise en charge de l'API : Points d'extrémité compatibles avec Delta pour les sources basées sur l'API

• Prérequis JustPerform

  • Charge initiale complète : Extraction complète des données pour établir la base de référence

  • Gestion des filigranes : Suivi par le système du dernier point d'extraction

  • Gestion des erreurs : Mécanismes de récupération en cas d'échec des extractions delta

  • Contrôle : Suivi du volume de delta et des taux de réussite de l'extraction

Lignes directrices pour la mise en œuvre

1. Identifier les champs Delta :

   Type de champ	Paramètres
   Champs standard	LastModifiedDate LastUpdatedTimestamp ModifiedOn ChangedAt
   Champs spécifiques au système	SAP: ERSDA ERDAT AEDAT Salesforce: LastModifiedDate SystemModstamp Dynamics: modifiedon createdon

2. Configuration des règles Delta

   • Fenêtre temporelle: Définir la fréquence d'extraction (horaire, quotidienne, etc.)

   • Tampon de chevauchement: Inclure une petite période tampon pour éviter les enregistrements manquants

   • Taille maximale du delta: Fixer des limites pour éviter les extractions trop importantes

   • Stratégie de repli: Passage à la pleine charge si la taille du delta dépasse le seuil

3. Relever les défis du delta

   • Synchronisation de l'horloge: Tenir compte des différences de fuseaux horaires

   • Suppression d'enregistrements: Mettre en place un suivi des suppressions douces ou des journaux de suppression distincts

   • Données sur les retards: Configurer les fenêtres d'observation appropriées

   • Modifications du schéma: Contrôler les modifications structurelles

4. Contrôler les performances du delta

   • Volume d'extraction: Nombre d'enregistrements par cycle delta

   • Délai de traitement: Suivre l'évolution de la durée d'extraction

   • Taux d'erreur: Identifier et résoudre les problèmes spécifiques aux deltas

   • Qualité des données: Valider l'exhaustivité et l'exactitude des delta