v26.03: Utilisation des nœuds de transformation

Les nœuds de transformation (anciennement appelés « nœuds de calcul ») transforment les données provenant des nœuds en amont à l'aide de diverses méthodes.

Types de données disponibles

Type de données	Description
v26.03: Mapping	Transforme les données en appliquant des tables de correspondance prédéfinies aux ensembles de données d'entrée
v26.03: Script SQL	Offre des capacités de transformation des données basées sur SQL
Agrégation	Agrège les données en fonction du regroupement
Ajouter	Ajoute plusieurs ensembles de données
Déduplication	Supprime les enregistrements en double
Filtre	Filtre les données en fonction de conditions
Jointure	Joint plusieurs ensembles de données de saisie
Recherche	Effectue des opérations de recherche
Pivot	Réorganise la structure des données
Script Python	Crée des transformations basées sur Python
Recette	Applique des recettes de transformation en plusieurs étapes

v26.03: Nœud de mapping

Le nœud de mappage transforme les données en appliquant des tables de correspondance prédéfinies aux ensembles de données d'entrée.

Pour configurer un nœud de Mapping :

Cliquez sur + Ajouter un nœud dans l'en-tête de niveau 2. La boîte de dialogue Ajouter un nœud s'ouvre.
Sélectionnez Transformer dans le panneau de gauche.
Sélectionnez Mapping dans le panneau de droite. Le nœud apparaît sur le canevas et le panneau de configuration s'ouvre.

Remplissez les champs requis dans le panneau de configuration :

Paramètres	Description
Nom	Identifiant unique. La valeur par défaut est Mapping_[n].
Entrée	Sélectionnez un nœud en amont Read, Mapping ou SQL Script.
Étapes	Sélectionnez + Ajouter une étape pour créer des mappages. Chaque étape requiert les éléments suivants : Nom de l'étape (identifiant) Table de correspondance (la table de correspondance prédéfinie à appliquer) Mapping du champ source (les champs source à mapper)
v26.10: Première correspondance uniquement	Sélectionnez cette option pour ne renvoyer que la première ligne correspondante, dans l'ordre des lignes, lorsque la valeur source correspond à plusieurs lignes de la Table de correspondance. Lorsque la case est décochée (valeur par défaut), le nœud renvoie toutes les lignes correspondantes. Ce paramètre s’applique à toutes les étapes du nœud.
v26.05: Paramètres (Facultatif)	Configurez les nœuds Précédent et Suivant pour contrôler l'ordre d'exécution des nœuds. Voir Utilisation des paramètres de nœud pour plus de détails.

Sélectionnez Publier dans l’en-tête de niveau 2 pour enregistrer la configuration.

Une fois la publication effectuée, les commandes suivantes deviennent disponibles dans l'en-tête de niveau 2 :
- Actualiser : Recharge la grille pour prendre en compte les modifications.
- Exécuter : Exécute la requête lorsqu'elle est valide.

Accédez à l'onglet « Résultats de sortie » pour prévisualiser les données de la Table de correspondance. L'onglet « Résultats d'exécution » indique également un aperçu de la simulation des données en temps réel : les lignes mappées indiquent la valeur mappée, les lignes ayant échoué indiquent « N/A » et les lignes non mappées sont vides lorsque l'option « Échec en cas de source non mappée » n'est pas activée.

v26.04: Les utilisateurs peuvent réorganiser, modifier et supprimer des étapes via le menu des points de suspension. Le traitement des éléments non mappés hérite du paramètre « Échec en cas de source non mappée » de la Table de correspondance sélectionnée.

v26.10: Lorsqu’une exécution s’arrête ou se termine avec des valeurs non mappées, l’onglet Message de la sortie d’exécution indique le nombre d’enregistrements rejetés et les valeurs non mappées par dimension. Par exemple, 3 enregistrements ont été rejetés en raison des dimensions suivantes : Données de référence : [« EM », « AF », « DC »]

v26.10: Faire correspondre et ignorer des valeurs source

Le nœud de mapping compare chaque valeur source aux lignes de la table de correspondance, dans l'ordre des lignes. Les règles suivantes s'appliquent :

Règle	Comportement
*SKIP en tant que cible	Les valeurs sources qui correspondent à la ligne sont exclues de la sortie. Les valeurs ignorées ne sont pas mappées et ne sont pas comptabilisées comme rejetées. Une ligne SKIP s’applique dans l’ordre des lignes, que l’option Only Match First* soit sélectionnée ou non.
Caractères génériques dans la source et la cible	Lorsque le motif source et la valeur cible contiennent tous deux un caractère générique (), la partie de la valeur source qui correspond au caractère générique remplace celui-ci dans la cible. Par exemple, le motif source EC et la cible MC* mappent EC01 vers MC01.
Espaces	Les espaces en début et en fin de ligne sont supprimés de la valeur source et de la valeur de la Table de correspondance avant leur comparaison.

v26.03: Nœud « Script SQL »

Le nœud Script SQL offre des capacités de transformation des données basées sur le langage SQL.

Pour configurer un nœud Script SQL :

Cliquez sur + Ajouter un nœud dans l'en-tête de niveau 2. La boîte de dialogue Ajouter un nœud s'ouvre.
Sélectionnez Transformer dans le panneau de gauche.
Sélectionnez Script SQL dans le panneau de droite. Le nœud apparaît sur le canevas et le panneau de configuration s'ouvre.

Remplissez les champs requis dans le panneau de configuration :

Paramètres	Description
Nom	Identifiant unique. Le nom par défaut est « Script SQL_[n] ».
Entrée	Sélectionnez + Ajouter pour choisir les nœuds en amont. Plusieurs saisies sont prises en charge.
Requête	Saisissez la logique SQL. Sélectionnez Développer pour ouvrir la Vue avancée et effectuer des modifications.
v26.05: Paramètres (Facultatif)	Configurez les nœuds Précédent et Suivant pour contrôler l'ordre d'exécution des nœuds. Voir Utilisation des paramètres de nœud pour plus de détails.

(Facultatif) Sélectionnez Valider pour vérifier la syntaxe avant de publier.
Sélectionnez Publier dans l’en-tête de niveau 2 pour enregistrer la configuration.

Note: Les nœuds peuvent être publiés même si les requêtes ne sont pas valides — une icône d'avertissement est indiquée dans ce cas.

Après avoir publié, des commandes supplémentaires deviennent disponibles dans l'en-tête de niveau 2 :
- Actualiser : Recharge la grille pour prendre en compte les modifications.
- Exécuter : Exécute la requête lorsqu'elle est valide.

Le champ Requête prend en charge les éléments suivants :

Syntaxe de requête — {{node_name}} et ${dimension_description} avec des exemples.
Opérations SQL prises en charge — SELECT, JOIN, WHERE, GROUP BY, ORDER BY, fonctions.
Informations de validation — Sélectionnez Valider pour vérifier la syntaxe avant de publier.

Note: Les nœuds peuvent être publiés avec des requêtes non valides (une icône d’avertissement s’affiche)

v26.02: La requête est validée lors de la publication ou de l’actualisation. Le système indique une icône d’avertissement lorsque les requêtes SQL accèdent à des composants non autorisés.

v26.04: Syntaxe de la requête : Utilisez {{node_name}} pour les nœuds de saisie, {{node_name}}.DIM_NAME pour les dimensions.

v26.08: Validation de la saisie et sécurité

Les requêtes SQL ne peuvent désormais faire référence qu’aux tables explicitement ajoutées en tant que nœuds d’entrée (via des nœuds de lecture, des données de référence ou les Préférences).

Les ID ou noms directs des tables du backend sont bloqués tant au moment d’enregistrer qu’au moment de l’exécution.

Cela comble une faille qui permettait aux workflows de contourner les contrôles d’accès aux données au niveau de l’espace de travail, garantissant ainsi que tous les nœuds de script SQL respectent les politiques de sécurité au niveau de l’espace de travail.

v26.10: Pour lever cette restriction pour un workflow, sélectionnez Autoriser l’accès aux tables de l’espace de travail dans le panneau Détails du workflow. Cette option est désactivée par défaut.

v26.09: Normalisation de la syntaxe SQL

Le nœud « Script SQL » utilise désormais une syntaxe normalisée pour référencer les nœuds, les Colonnes et les Paramètres. Cela remplace les anciennes formes {{node_name}} et ${Node Name}.

Références aux nœuds et aux colonnes

Les colonnes sont référencées au format 'node_id'.'column_id', l'ID du nœud et l'ID de la colonne étant tous deux placés entre guillemets simples.

Une référence doit toujours inclure à la fois l'ID du nœud et l'ID de la colonne, séparés par un point. Une requête utilisant un nom de colonne nu, sans référence à un nœud, est rejetée avec un message d’erreur clair.
Un ID de nœud ou de colonne entre guillemets simples qui ne correspond à aucun nœud de saisie déclaré ni à l'une de ses colonnes est rejeté avec une erreur claire identifiant l'identifiant inconnu.
Les guillemets simples et doubles ne sont pas mélangés.

La syntaxe normalisée s’applique de manière cohérente à la rédaction des requêtes, à l’affichage de la structure de saisie/sortie et à l’aperçu des données. L’affichage de la structure indique le format ID (description), tandis que la requête utilise 'node_id'.'column_id'.

Références aux paramètres

Tous les paramètres sont référencés au format $'parameter_name'. L’ancienne forme ${Node Name} n’est plus utilisée ni indiquée nulle part.

Cela s’applique à tous les paramètres du panneau Paramètres disponibles, y compris les paramètres système (Date d’exécution, Période d’exécution, Utilisateur d’exécution) et les paramètres définis par l’utilisateur.

Comportement de l’éditeur

Cliquer sur un paramètre dans le panneau Paramètres disponibles l'insère à la position du curseur sous la forme $'parameter_name', au lieu de le copier dans le presse-papiers.
Lorsque vous tapez entre des guillemets simples, l’éditeur suggère des ID de nœuds de saisie correspondants. Après 'node_id'., il suggère les ID de colonnes de ce nœud, tirés uniquement des nœuds de saisie déclarés du nœud SQL. Sélectionner une suggestion insère la référence complète 'node_id'.'column_id'.

Impact sur les workflows existants

Les workflows existants ne sont pas mis à jour automatiquement. Les requêtes SQL existantes écrites selon l’ancienne syntaxe — utilisant {{node_name}}.column_name ou ${Node Name} — ne s’exécuteront pas tant qu’elles n’auront pas subi une actualisation selon la nouvelle syntaxe. Tous les nœuds dont la requête ne peut plus être résolue sont signalés comme non valides.

Note: Les nœuds existants conservent leurs noms et ID actuels. Aucune table n’est recréée et aucun ID n’est modifié par cette actualisation.

v26.10: Résolution des erreurs de requête

Lorsque vous validez, publiez ou exécutez un nœud « Script SQL », tout problème dans la requête est signalé dans la sortie d’exécution par un message spécifique. Le message utilise les noms qui s'affichent à l'écran, tels que les noms des nœuds de saisie que vous avez fournis, et indique la ligne et la colonne du problème dans la requête telle que vous l'avez saisie.

Les types de problèmes suivants sont signalés :

Type :	Ce que le message identifie
Syntax	Une partie inattendue ou manquante de la requête, telle qu’un mot-clé mal orthographié, une parenthèse, un guillemet ou un commentaire non fermé, une virgule manquante ou une clause incomplète.
Références inconnues	Un nœud d’entrée ou une colonne qui n’existe pas, ou un alias qui n’est pas encore disponible dans la même liste SELECT.
Paramètres	Un paramètre inconnu, un paramètre sans valeur sélectionnée, un paramètre comportant plusieurs valeurs comparées à l'opérateur =, ou un paramètre dont le type ne correspond pas à celui de la colonne.
Types et fonctions	Une comparaison, un opérateur, un transtypage ou une fonction non pris en charge par les types de données, par exemple la comparaison d’une chaîne de caractères avec un nombre, une fonction inexistante ou une division par zéro.
Contraintes	Une requête comportant plus de jointures ou de sous-requêtes que la limite autorisée, ou une requête qui ne s'exécute pas dans le délai imparti.
Colonnes de sortie	Des noms de colonnes dupliqués, une expression sans alias, un alias non valide, une sous-requête renvoyant plus d’une colonne alors qu’une seule est requise, ou un nombre de colonnes qui ne correspond pas au nœud d’écriture en aval.

Les erreurs survenant pendant l’exécution de la requête conservent leur texte d’origine, les noms de vos nœuds de saisie remplaçant les noms de tables internes.

Note: Un mot-clé interdit à l’intérieur d’une valeur textuelle, d’un commentaire ou d’un identifiant entre guillemets ne bloque pas la requête, et une requête peut se terminer par sa propre clause LIMIT.