Konfiguration der Delta-Extraktion

Die Delta-Extraktion ermöglicht inkrementelle Datenaktualisierungen und reduziert die Verarbeitungszeit und die Systembelastung, indem nur die seit der letzten Aktualisierung geänderten Datensätze extrahiert werden.

Allgemeine Voraussetzungen

• Quelle Systemanforderungen

  • Zeitstempel-Felder: Geändertes Datum, Erstellungsdatum oder zuletzt aktualisierte Felder

  • Verfolgung von Änderungen: Audit-Protokolle auf Systemebene oder Änderungsdokumente

  • Inkrementelle Schlüssel: Laufende Nummern oder Versionsfelder

  • API-Unterstützung: Delta-fähige Endpunkte für API-basierte Quellen

• JustPerform-Voraussetzungen

  • Anfängliche Volllast: Vollständige Datenextraktion zur Ermittlung der Ausgangssituation

  • Wasserzeichen-Management: Systemverfolgung der letzten Entnahmestelle

  • Fehlerbehandlung: Wiederherstellungsmechanismen für fehlgeschlagene Delta-Extraktionen

  • Überwachung: Verfolgung des Delta-Volumens und der Extraktionserfolgsraten

Leitlinien für die Umsetzung

1. Leitlinien für die Umsetzung

   Feldtyp	Verwalten
   Standard-Felder	LastModifiedDate LastUpdatedTimestamp ModifiedOn ChangedAt
   System-spezifische Felder	SAP: ERSDA ERDAT AEDAT Salesforce: LastModifiedDate SystemModstamp Dynamics: modifiedon createdon

2. Delta-Regeln konfigurieren

   • Zeitfenster: Definieren Sie die Häufigkeit der Extraktion (stündlich, täglich, usw.)

   • Überlappungspuffer: Einen kleinen Zeitpuffer einbauen, um fehlende Datensätze zu vermeiden

   • Maximale Delta-Größe: Setzen Sie Grenzen, um übergroße Extraktionen zu verhindern

   • Ausweichstrategie: Umschalten auf Volllast, wenn die Delta-Größe den Schwellenwert überschreitet

3. Umgang mit Delta-Herausforderungen

   • Synchronisierung der Uhr: Berücksichtigung von Zeitzonenunterschieden

   • Datensatz-Löschungen: Soft-Löschverfolgung oder separate Löschprotokolle einführen

   • Spät eintreffende Daten: Konfigurieren Sie geeignete Rückblickfenster

   • Schema-Änderungen: Monitor für strukturelle Änderungen

4. Delta-Leistung überwachen

   • Extraktionsvolumen: Anzahl der Datensätze pro Deltalauf

   • Bearbeitungszeit: Überwachung der Trends bei der Extraktionsdauer

   • Fehlerquoten: Identifizierung und Lösung von deltaspezifischen Problemen

   • Datenqualität: Validierung der Vollständigkeit und Genauigkeit von Deltas