SchemaScanner

Produit un élément de schéma représentant la définition du type d'entité pour chaque groupe d'entités de données d'entrée.

Aller à la configuration

Cas d'utilisations typiques

Génération d'une entité de schéma pour les données destination dynamiques
Génération d'entités de schéma à des fins de comparaison pour la validation et la dérive des schémas
Générer des schémas après avoir fusionné ou manipulé des jeux de données

Comment fonctionne-t-il ?

SchemaScanner reçoit les entités et détermine leur schéma en recherchant les noms d'attributs et les types de données, sur la base de la structure et des valeurs d'attributs des entités.

Il analysera soit toutes les entités, soit un nombre spécifié d'entre elles, et peut exclure certains attributs en fonction des noms, tels que les attributs spécifiques au format ou les attributs internes de FME.

Le schéma résultant est édité sous la forme d'une nouvelle entité de schéma, qui possède une forme spécifique d'attribut de liste et sort via le port <Schema>. Elle reçoit également un attribut et une valeur spéciaux : fme_schema_handling = 'schema_only', qui indique à un Writer dynamique d'utiliser cette entité en tant que schéma et de la supprimer ensuite de la sortie.

Les entités d'entrée originales sont transmises via le port de sortie Output.

L'ordre de sortie des entités de schéma par rapport aux données (entités d'entrée) peut être contrôlé à l'aide de l'option Générer le schéma avant les entités de données. Pour une utilisation avec des données destinations dynamiques, les entités de schéma doivent être éditées en premier.

Génération d'attribut

Les schémas peuvent être générés avec des types de données standard ou explicitement définis, en fonction des paramètres de types de données Numerique et Chaîne de caractères :

Types standards produisent des types tels que fme_real64 , fme_int8 et fme_buffer.
Précision et largeur explicites produit des données comme :
- fme_decimal(a,b) où a est le nombre de chiffres avant la virgule et b le nombre après (précision).
- fme_varchar(a) où a est le nombre maximum de caractères dans une chaîne de caractères.

Lors de l'utilisation de précision et largeur explicites, il convient d'examiner toutes les entités (nombre d'entités à analyser) afin de s'assurer que toutes les longueurs de valeurs d'attributs existantes sont prises en compte.

Travailler avec des dates

Les dates et heures peuvent être analysées en option.

Si les chaînes correspondent au format de date FME %Y%m%d%H%M%S, elles peuvent être recherchées à l'aide de la fonction Détecter les dates FME.

Pour rechercher les chaînes qui correspondent à un autre format de date ou d'heure, utilisez l'option Convertir le format de date en entrée en date FME. Notez que cette option n'est disponible que si l'option Générer le schéma avant les entités de données est réglée sur Oui.

Voir Formats standards FME d'heure et de date pour les détails de formatage.

Exclure des attributs

SchemaScanner traite tous les attributs des entités entrantes, y compris les attributs fme et format. Il est possible d'ignorer des attributs à l'aide du paramètre Ignorer les attributs contenant.

Entrez une expression régulière, et les attributs correspondants seront ignorés.

Par exemple, si les données sources sont de type CSV, vous pouvez utiliser l'expression régulière ^fme_|^multi_|^csv_ pour ignorer tous les attributs commençant par fme_, multi_, ou csv_.

Entités schéma

Les entités de schéma peuvent être utilisées pour stocker ou transmettre des structures de schéma - à des données destinations, par exemple. Le schéma est stocké dans un attribut de liste nommé attribut , comme indiqué ici.

Chaque attribut a un nom et un type de données fme_data_type - notez que l'attribut LAT a un type de données correspondant fme_real64 .

Les types de données sont des types de données internes à FME.

Notes

Les entités de schéma peuvent également être générées manuellement, ou en utilisant les options de schéma de FeatureReader. Deux Readers génèrent également des schémas : le Reader Schema (Any Format) et le Reader Schema (From Table).
Lorsque le SchemaScanner est utilisé avec un Writer dynamique, le paramètre Générer le schéma avant les entités de données doit être réglé sur Oui, afin que le schéma arrive au Writer avant les entités de données.

Configuration

Ports d'entrée

Ports de sortie

Paramètres

Traitement par groupe

Regrouper par

Si les attributs Regrouper par sont sélectionnés, les entités ayant les mêmes valeurs dans les attributs Regrouper par sont regroupées, et un schéma par groupe sera produit.

Traitement des regroupements

Sélectionnez le moment du traitement où les groupes sont traités :

Quand toutes les entités sont reçues

Comportement par défaut. Le traitement ne se produira dans ce Transformer que lorsque toutes les entrées seront présentes.

Quand le groupe change (avancé)

Ce Transformer traitera les groupes en entrée dans l'ordre. Les changements de la valeur du paramètre Regrouper par sur le flux d'entrée déclencheront le traitement du groupe en cours de regroupement. Cela peut améliorer la vitesse globale (en particulier avec plusieurs groupes de taille égale), mais peut provoquer un comportement indésirable si les groupes en entrée ne sont pas ordonnés.

Général

Générer le schéma avant les données	Sélectionnez une option de commande pour les entités du schéma : Oui (par défaut) : Les entités de schéma sont émises avant les entités de données qui les accompagnent. Utilisé couramment avec les rédacteurs dynamiques. Non : Les entités de schéma ressortent au fil de leur complétion.
Nombre d'entités à analyser	Indiquer le nombre d'entités à analyser pour déterminer le schéma du jeu de données. Si ce champ est vide, toutes les entités sont analysées. Si ce nombre est supérieur au nombre d'entités reçues, toutes les entités sont analysées. Pour les très grands jeux de données, le réglage de ce paramètre peut améliorer les performances. La valeur par défaut est "blank" (vide), ce qui signifie que toutes les entités sont analysées.
Ignorer les attributs contenant	Saisir une expression régulière. Les attributs dont les noms correspondent seront exclus du schéma.
Inclure les attributs de format	Choisir les attributs de format doivent être inclus dans le schéma. Oui : Les attributs de format sont inclus. Non (par défaut) : les attributs de formats sont exclus. Les attributs de format sont déterminés à partir de l'attribut multi_reader_type de chaque entité, s'il est présent.
Ignorer les attributs	Choisir la sensibilité à la casse : Sensibilité à la casse ou Insensibilité à la casse pour les correspondances avec l'expression régulière indiquée dans le champ Ignorer les attributs contenant .

Types de données

Numérique

Sélectionner le type de gestion de valeur numérique à utiliser dans le schéma :

Types standards (comme fme_real64)
Précision et largeur explicites (comme fme_decimal(15,10))

Chaîne de caractères

Sélectionner le type de valeur de chaîne de caractères à utiliser pour le schéma :

Types standards (comme fme_buffer)
Précision et largeur explicites (comme fme_varchar(7))

Attributs Manquants/Nulls/Vides

Sélectionner une méthode pour le traitement des attributs sans valeur :

Ignorer
Utiliser le type de données par défaut
Interpréter le schéma en amont (avancé)

Gestion des dates

Sélectionner une méthode pour interpréter les chaîne de caractères de date et heure.

Voir aussi Formats standards FME d'heure et de date

Pas de détection de date	Ignorer les dates.
Détecter les dates FME (%Y%m%d%H%M%s$)	Détecter les chaînes de dates correspondant au format date/heure standard de FME.
Conversion du format de date en entrée en date FME	Lorsque l'option Générer le schéma avant les données est définie sur Oui, les formats de date/heure autres que ceux de FME peuvent être détectés et convertis. Sélectionnez un format unique parmi les options disponibles ou entrez une chaîne personnalisée. Note Les entités de sortie peuvent être modifiées (et pas seulement numérisées) à l'aide de cette option, et le schéma doit donc être sorti en premier. Envisagez d'utiliser le paramètre Nombre d'entités à analyser pour améliorer les performances.

Éditer les paramètres des Transformers

Les paramètres du Transformer peuvent être définis en saisissant directement des valeurs, en utilisant des expressions ou en faisant référence à d'autres éléments de l'espace de travail tels que des valeurs d'attributs ou des paramètres utilisateur. Divers éditeurs et menus contextuels sont disponibles pour vous aider. Pour voir ce qui est disponible, cliquez sur à côté du paramètre concerné.

Définir des valeurs de paramètres

Définir les valeurs

Il existe plusieurs façons de définir une valeur à utiliser dans un Transformer. La plus simple consiste à saisir simplement une valeur ou une chaîne de caractères, qui peut inclure des fonctions de différents types telles que des références d'attributs, des fonctions mathématiques et de chaînes de caractères, et des paramètres traitement.

Utilisation de l'éditeur de texte

L'éditeur de texte fournit un moyen efficace de construire des chaînes de textes (dont les expressions régulières) à partir de données source diverses, telles que des attributs, des paramètres et des constantes, et le résultat est directement utilisé dans le paramètre.

Editeur de texte

Utilisation de l'éditeur arithmétique

L'éditeur arithmétique fournit un moyen simple de construire des expressions mathématiques à partir de plusieurs données source, telles que des attributs et des fonctions, et le résultat est directement utilisé dans un paramètre.

Éditeur arithmétique

Valeur conditionnelle

Définit des valeurs selon un ou plusieurs tests.

Fenêtre de définition de conditions

Contenu

Les expressions et chaînes de caractères peuvent inclure des fonctions, caractères, paramètres et plus.

Lors du paramétrage des valeurs - qu'elles soient entrées directement dans un paramètre ou construites en utilisant l'un des éditeurs - les chaînes de caractères et les expressions contenant des fonctions Chaîne de caractères, Math, Date et heure ou Entité FME auront ces fonctions évaluées. Par conséquent, les noms de ces fonctions (sous la forme @<nom_de_fonction>) ne doivent pas être utilisés comme valeurs littérales de chaîne de caractères.

Types de contenu

Fonctions chaînes de caractères	Ces fonctions manipulent les chaînes de caractères.
Caractères spéciaux	Un ensemble de caractères de contrôle est disponible dans l'éditeur de texte.
Fonctions mathématiques	Plusieurs fonctions sont disponibles dans les deux éditeurs.
Fonctions Date/heure	Les fonctions de dates et heures sont disponibles dans l'Editeur texte.
Opérateurs mathématiques	Ces opérateur sont disponibles dans l'éditeur arithmétique.
Fonctions d'entités	Elles retournent des valeurs spécifiques aux entités.
Paramètres FME	Les paramètres FME et spécifiques au traitement peuvent être utilisés.
Créer et modifier un paramètre publié	Créer ses propres paramètres éditables.

Options - Tables

Outils de tableau

Les Transformers avec des paramètres de style table possèdent des outils additionnels pour remplir et manipuler des valeurs.

Réordonner

Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :

Ajouter une ligne
Supprimer une ligne
Déplacer la ligne en cours au dessus
Déplacer la ligne en cours en dessous
Déplacer la ligne en cours en haut de liste
Déplacer la ligne en cours en bas de liste

Couper, Copier et Coller

Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :

Couper une ligne - supprime et copie dans le presse-papiers.
Copie une ligne dans le presse-papiers.
Colle une ligne depuis le presse-papiers.

Copier, copier et coller peuvent être utilisés au sein d'un Transformer ou entre Transfromers.

Filtre

Commencez à taper une chaîne de caractères, et la matrice n'affichera que les lignes correspondant à ces caractères. Recherche dans toutes les colonnes. Cela n'affecte que l'affichage des attributs dans le Transformer - cela ne change pas les attributs qui sont sortis.

Importer

Le bouton d'import remplit la table avec un jeu de nouveaux attributs lus depuis un jeu de données. L'application spécifique varie selon les Transformers.

Réinitialiser/Rafraîchir

Réinitialise la table à son état initial, et peut fournir des options additionnelles pour supprimer des entrées invalides. Le comportement varie d'un Transformer à l'autre.

Note : Tous les outils ne sont pas disponibles dans tous les Transformers.

Pour plus d'information, consulter la section Options des Transformers.

Références

Comportement	Basé sur le regroupement
Stockage des entités	Si l'option Générer les entités de schéma avant les données est Oui, le Transformers bloquera toutes les entités des données entrantes. Cela est généralement nécessaire si vous utilisez l'entité schéma avec un Writer dynamique. L'option Nombre d'entités à analyser bloque également les entités de données - jusqu'au nombre d'entités sélectionné (ou toutes les entités, si l'option est laissée vide).
Dépendances	Aucun
Alias
Historique

FME Community

FME Community dispose d'une mine de connaissances sur FME, avec plus de 20 000 membres actifs dans le monde entier. Obtenez de l'aide sur FME, partagez vos connaissances et entrez en contact avec des utilisateurs du monde entier.

Voir tous les résultats à propos de ce Transformer sur FME Community.

Examples may contain information licensed under the Open Government Licence – Vancouver, Open Government Licence - British Columbia, and/or Open Government Licence – Canada.