AttributeValidator

Valide des attributs selon des conditions de tests définies par l'utilisateur puis dirige les entités selon le résultat du (ou des) test(s) et identifie les tests ayant échoué.

Aller à la configuration

Cas d'utilisation courants

Effectuer un test de qualité de données
Améliorer l'intégrité des données en testant des attributs contre un ensemble de conditions
Assure que les attributs répondent aux prérequis des contraintes et domaines des bases de données de destination.

Comment fonctionne-t-il ?

AttributeValidator reçoit des entités avec attributs destinés à être testés selon les Règles de validation définies par l'utilisateur.

Une grande variété de types de règles de validation est disponible. Les règles sont créées dans un tableau, et chaque ligne comprend l'attribut ou les attributs à valider, le type de test à effectuer et toute configuration requise. Un attribut peut être testé par rapport à un nombre quelconque de règles, et une règle peut être appliquée à un nombre quelconque d'attributs.

Il y a deux ports de sortie : Passed (réussi) et Failed (échoué).

Les entités sortant par le port Passed sont celles dont les attributs ont réussi toutes les tests définis.

Si un test échoue, les entités ressortiront par le port Failed avec la description des échecs :

Le premier test échoué sera documenté dans le nouvel attribut _fme_validation_message.
Le premier test échouant et tout test postérieur seront documentés dans un nouvel attribut de liste _fme_validation_message_list{}.

Les tests sont évalués dans l'ordre dans lequel ils sont listés dans la table Règles de validation des Paramètres du Transformer.

Création des règles de validation

Chaque règle se compose des attributs à tester et du test à effectuer. Les tests suivants sont disponibles.

Règles de validation

Règle de validation

Description

Configuration

Méthode

Teste si la valeur est compatible avec le Type choisi.

Vous pouvez tester plusieurs types en ajoutant des Règles de validation additionnelles.

Sélection du type à tester.

Booléen	Les valeurs booléennes valides sont les chaînes de caractères : TRUE, True, true, 1, YES, Yes, yes FALSE, False, false, 0, NO, No, no
Double	Nombre à virgule flottante
Entier	Entier
Numérique	Un nombre (même comportement que Double)
Alphanumérique	Tous les caractères sont soit un chiffre (0-9), soit une lettre (a-z, A-Z). Les espaces blancs, les zéros, les codes de contrôle, la ponctuation et les caractères accentués ou étendus ne sont pas inclus.
Chaîne de caractères	Une séquence de caractères. La valeur n'est pas nulle ou manquante, et ne contient pas de caractères nuls.
XML	Vérifie la validité de la syntaxe XML.
JSON	Vérifie la validité de la syntaxe JSON.
Date	Date sous la forme yyyymmdd, comme dans : 20170206
Date-Heure	Date et heure sous la forme [Date][Heure] comme dans : 20170206111730.135
Date-Heure avec décalage	Date et heure avec décalage UTC sous la forme [Date-Heure][Décalage UTC] comme dans : 20170206111730.135-08:00
Gestion du temps	Heure sous la forme hhmmss ou hhmmss.123456789 comme dans : 111730 111730.135
Heure avec décalage	Heure avec décalage UTC sous la forme [Heure][Décalage UTC], comme dans : 111730.135-08:00

Dans la plage

Teste si la valeur tombe dans une plage numérique spécifiée.

Les plages semi-bornées peuvent être définies en laissant la limite soit basse soit haute vierge.

Les valeurs de plage sont séparées par une virgule et incluses entre accolades.

Les accolades - [ ] - indiquent des limites inclusives (supérieur ou égal à, inférieur ou égal à).

Les accolades - ( ) - indiquent des limites exclusives (supérieur ou inférieur à).

Exemples de plages valides :

(1,9) Supérieur à 1 et inférieur à 9

[1,9] Supérieur ou égal à 1 et inférieur ou égal à 9

(1,9] Supérieur à 1 et inférieur ou égal à 9

(1,) Supérieur à 1

[,9] Inférieur ou égal à 9

Casse

Teste si la valeur correspond au motif de casse sélectionné.

Sélectionner un motif de casse.

	Exemple valide (test réussi)
MAJUSCULES	ARBUTUS VILLAGE PARK
minuscules	arbutus village park
Casse de titre	Arbutus village park
Casse de titre complète	Arbutus Village Park

Longueur minimum

Teste si le nombre de caractères dans la valeur est plus grande ou égale à la Longueur minimum.

Toutes les valeurs sont évaluées en tant que chaînes de caractères.

Entrer un entier.

Exemple :

Si la longueur minimum = 4

Bvd: Echoué

Blvd: Réussi

Boulevard: Réussi

Longueur maximum

Teste si le nombre de caractères dans la valeur est inférieure ou égale à la Longueur maximum.

Toutes les valeurs sont évaluées en tant que chaînes de caractères.

Entrer un entier.

Exemple :

Si Longueur maximum = 4

123: Réussi

1234: Réussi

999999: Echoué

In (dans)

Teste si la valeur peut être trouvée dans la liste de plages et valeurs possibles fournie.

Entrer une combinaison de chaînes séparées par des virgules, valeurs numériques et/ou plages (sous la forme de x-y).

Exemple de configuration valide :

1,10,100

1-99

cat

cat,dog,cats and dogs

dogs,1-9,7

Des plages de chaînes (par exemple, a-d ) peuvent être spécifiées. Pour tester les valeurs qui contiennent un trait d'union, placez la valeur entre guillemets : "LL-27","LL-83".

Pour tester les valeurs qui contiennent des guillemets simples (') ou doubles ("), placez la valeur entre les guillemets opposés : "Duncan's Lake" ou 'Say "Hello"'.

Encodé en

Teste si la valeur est encodable dans l'encodage spécifié sans perte de données.

Sélectionner dans une liste d'encodages standard.

Exemples d'encodages :

Unicode 32-bit(utf-32)
Windows Cyrillic (windows-12510
EBCDIC US (ibm037)

Non Nul

Teste que l'attribut existe dans l'entité et n'est pas nul.

<Inutilisé>

Unique

Teste si une valeur est unique (utilisée une seule fois) au sein du jeu d'entités.

La première occurrence d'une valeur réussira et toute occurrence suivante échouera.

<Inutilisé>

A une valeur

Teste que l'attribut a une valeur et n'est ni nul, ni absent, ni vide.

<Inutilisé>

Contient une expression régulière

Teste si la valeur contient une chaîne de caractères qui correspond au motif décrit par l'expression régulière.

Entrer une expression régulière.

L'Editeur Expression régulière est disponible via le bouton (...) et peut être utilisé pour construire et tester des expressions.

La regex à tester peut représenter une chaîne de caractères à trouver n'importe où dans la valeur, ou peut représenter la valeur entière (en créant une regex assez longue pour représenter la portée de la valeur souhaitée).

Exemple :

Si regex est \d

chats: Echoué

9 : Réussi

chats82 : Réussi

Exemples

Exemples : validation d'attributs

Dans cet exemple, nous avons une feuille de calcul de restaurateurs qu'il faut tester pour un contrôle qualité.

Les entités sont dirigées vers AttributeValidator.

Dans les Paramètres, nous construisons trois tests à effectuer :

A une valeur : tous les attributs sont testés pour l'existence de n'importe quelle valeur, ce qui identifiera toute donnée manquante.
Dans : L'attribut DESCRIPTION est testé pour vérifier si ses valeurs se trouvent dans une liste d'options valides. La liste est saisie, les éléments étant séparés par des virgules. Les éléments qui échouent à ce test peuvent contenir des informations erronées ou des erreurs de saisie, comme une casse ou une orthographe incorrectes.
Type : Les attributs LAT et LON sont testés pour voir s'ils contiennent des décimales. Comme ils contiennent l'emplacement des vendeurs, les éléments qui échouent à ce test peuvent avoir des coordonnées invalides.

Les entités qui échouent à l'un des tests sont publiées via le port Failed. Un nouvel attribut - _fme_validation_message - a été ajouté et contient les détails du premier test échoué pour chaque entité. Notez que les tests sont appliqués dans l'ordre où ils apparaissent dans le tableau des règles de validation.

Un nouvel attribut de liste a également été ajouté (qui n'est pas visible dans la vue Table) - _fme_validation_message_list{} . Tous les tests échoués sont ajoutés à l'attribut de liste.

Notes

L'ordre des entités peut être contrôlé avec le paramètre Avancé > Préserver l'ordre des entités.

Configuration

Ports d'entrée

Ports de sortie

Paramètres

Règles de validation

Voir Création de règles de validation ci-dessus pour plus de détails.

Attributs à valider

Sélectionner le (ou les) attribut(s) à tester.

Règle de validation

Sélectionnez le type de test à effectuer. Les options comprennent :

Méthode	Booléen Double Entier Numérique Alphanumérique Chaîne de caractères XML JSON Date Date-Heure Date-Heure avec décalage Heure Heure avec décalage
Dans la plage
Casse	MAJUSCULES minuscules Casse de titre Casse de titre complète
Longueur minimum
Longueur maximum
In (dans)
Encodé en
Non Nul
Unique
A une valeur
Contient une expression régulière

Configuration de la règle

Entrer une information de configuration supplémentaire pour le test sélectionné.

Avancé

Conserver l'ordre des entités

Ce paramètre contrôle l'ordre dans lequel les entités quittent un Transformer.

Lorsqu'un Transformer a plus d'un port de sortie, les entités sortent généralement d'un port à la fois. Parfois, il peut être utile de garder l'ordre dans lequel les entités sont arrivées, en passant d'un port à l'autre si nécessaire. Cela permet de préserver l'ordre des entités, mais au prix d'une perte potentielle d'efficacité du traitement.

Sélectionner une méthode pour l'ordre des entités :

Par port de sortie (défaut)

Conserve seulement l'ordre d'entrée des entités tel qu'elles interviennent dans le groupe d'entités sortant d'un port de sortie donné.

Toutes les entités sortant d'un port de sortie retienne leur ordre relativement entre elles (dans le groupe) mais pas relativement aux entités sortant par d'autres ports de sortie.

Cette option est généralement la plus efficace quand de grandes quantités de textures sortent d'un port de sortie ensemble (tirant parti du traitement par lots).

Comme les entités sortants par différents ports de sortie peuvent ne pas sortir strictement dans l'ordre dans lequel elles étaient arrivées, l'ordre des ports de sortie peut être imprévisible.

A travers plusieurs ports de sortie

Préserve strictement l'ordre d'entrée des entités, quel que soit le port de sortie. Les entités ressortent une par une dans l'ordre où elles sont arrivées, en passant d'un port à l'autre si nécessaire. Cette option est généralement moins efficace car les gains de traitement du mode traitement par lots sont moins susceptibles de s'appliquer - cependant, l'ordre des entités est prévisible.

Éditer les paramètres des Transformers

Les paramètres du Transformer peuvent être définis en saisissant directement des valeurs, en utilisant des expressions ou en faisant référence à d'autres éléments de l'espace de travail tels que des valeurs d'attributs ou des paramètres utilisateur. Divers éditeurs et menus contextuels sont disponibles pour vous aider. Pour voir ce qui est disponible, cliquez sur à côté du paramètre concerné.

Définir des valeurs de paramètres

Définir les valeurs

Il existe plusieurs façons de définir une valeur à utiliser dans un Transformer. La plus simple consiste à saisir simplement une valeur ou une chaîne de caractères, qui peut inclure des fonctions de différents types telles que des références d'attributs, des fonctions mathématiques et de chaînes de caractères, et des paramètres traitement.

Utilisation de l'éditeur de texte

L'éditeur de texte fournit un moyen efficace de construire des chaînes de textes (dont les expressions régulières) à partir de données source diverses, telles que des attributs, des paramètres et des constantes, et le résultat est directement utilisé dans le paramètre.

Editeur de texte

Utilisation de l'éditeur arithmétique

L'éditeur arithmétique fournit un moyen simple de construire des expressions mathématiques à partir de plusieurs données source, telles que des attributs et des fonctions, et le résultat est directement utilisé dans un paramètre.

Éditeur arithmétique

Valeur conditionnelle

Définit des valeurs selon un ou plusieurs tests.

Fenêtre de définition de conditions

Contenu

Les expressions et chaînes de caractères peuvent inclure des fonctions, caractères, paramètres et plus.

Lors du paramétrage des valeurs - qu'elles soient entrées directement dans un paramètre ou construites en utilisant l'un des éditeurs - les chaînes de caractères et les expressions contenant des fonctions Chaîne de caractères, Math, Date et heure ou Entité FME auront ces fonctions évaluées. Par conséquent, les noms de ces fonctions (sous la forme @<nom_de_fonction>) ne doivent pas être utilisés comme valeurs littérales de chaîne de caractères.

Types de contenu

Fonctions chaînes de caractères	Ces fonctions manipulent les chaînes de caractères.
Caractères spéciaux	Un ensemble de caractères de contrôle est disponible dans l'éditeur de texte.
Fonctions mathématiques	Plusieurs fonctions sont disponibles dans les deux éditeurs.
Fonctions Date/heure	Les fonctions de dates et heures sont disponibles dans l'Editeur texte.
Opérateurs mathématiques	Ces opérateur sont disponibles dans l'éditeur arithmétique.
Fonctions d'entités	Elles retournent des valeurs spécifiques aux entités.
Paramètres FME	Les paramètres FME et spécifiques au traitement peuvent être utilisés.
Créer et modifier un paramètre publié	Créer ses propres paramètres éditables.

Options - Tables

Outils de tableau

Les Transformers avec des paramètres de style table possèdent des outils additionnels pour remplir et manipuler des valeurs.

Réordonner

Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :

Ajouter une ligne
Supprimer une ligne
Déplacer la ligne en cours au dessus
Déplacer la ligne en cours en dessous
Déplacer la ligne en cours en haut de liste
Déplacer la ligne en cours en bas de liste

Couper, Copier et Coller

Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :

Couper une ligne - supprime et copie dans le presse-papiers.
Copie une ligne dans le presse-papiers.
Colle une ligne depuis le presse-papiers.

Copier, copier et coller peuvent être utilisés au sein d'un Transformer ou entre Transfromers.

Filtre

Commencez à taper une chaîne de caractères, et la matrice n'affichera que les lignes correspondant à ces caractères. Recherche dans toutes les colonnes. Cela n'affecte que l'affichage des attributs dans le Transformer - cela ne change pas les attributs qui sont sortis.

Importer

Le bouton d'import remplit la table avec un jeu de nouveaux attributs lus depuis un jeu de données. L'application spécifique varie selon les Transformers.

Réinitialiser/Rafraîchir

Réinitialise la table à son état initial, et peut fournir des options additionnelles pour supprimer des entrées invalides. Le comportement varie d'un Transformer à l'autre.

Note : Tous les outils ne sont pas disponibles dans tous les Transformers.

Pour plus d'information, consulter la section Options des Transformers.

Références

Comportement	Basé sur des entités
Stockage des entités	Non
Dépendances	Aucun
Alias	AttributeClassifier, StringClassifier
Historique	Ce Transformer remplace AttributeClassifier.

FME Community

FME Community dispose d'une mine de connaissances sur FME, avec plus de 20 000 membres actifs dans le monde entier. Obtenez de l'aide sur FME, partagez vos connaissances et entrez en contact avec des utilisateurs du monde entier.

Voir tous les résultats à propos de ce Transformer sur FME Community.

Examples may contain information licensed under the Open Government Licence – Vancouver, Open Government Licence - British Columbia, and/or Open Government Licence – Canada.