HDFSConnector

Accède à HDFS (Hadoop Distributed File System) pour charger, télécharger ou supprimer des fichiers et des dossiers ou contenu de dossier depuis un service HDFS.

Aller à la configuration

Cas d'utilisation courants

Gestion de jeux de données sous HDFS en chargeant, téléchargeant et supprimant des fichiers ou des dossiers.
Transfert de contenu d'un fichier (tel qu'un XML ou un Raster) dans un attribut FME
Lecture de données HDFS téléchargées en utilisant FeatureReader, ou en chargeant des données écrites par FeatureWriter.
Récupération de noms de fichier ou dossier, de chemins et autres informations de HDFS pour les utiliser ailleurs dans un traitement.

Comment fonctionne-t-il ?

HDFSConnector utilise le compte HDFS (soit via une ancienne connexion web FME, soit en définissant une nouvelle connexion via le Transformer) pour accéder au service de stockage de fichiers.

En fonction des actions que vous avez choisies, il téléchargera des fichiers, des dossiers et des attributs, dressera la liste des informations du service ou supprimera des éléments du service. Pour les téléchargements, les attributs de chemin d'accès sont ajoutés aux entités de sortie. Pour les actions de liste, les informations sur les fichiers/dossiers sont ajoutées comme attributs.

Notes

Ce Transformer ne peut pas être utilisé pour déplacer ou copier directement des fichiers entre différents emplacements HDFS . Cependant, plusieurs HDFSConnector peuvent être utilisés pour accomplir ces tâches.
FeatureReader peut accéder directement à HDFS (sans utiliser HDFSConnector ), mais une copie locale du jeu de données ne sera pas créée.

Configuration

Ports d'entrée

Ports de sortie

Paramètres

Requête

Action HDFS

Le type d'opération à effectuer. Les choix comprennent :

Suppression
Téléchargement
Liste
Chargement

Compte HDFS

L'exécution d'opérations sur un compte HDFS nécessite l'utilisation d'un des trois mécanismes d'authentification disponibles (Simple, Token, Kerberos) en utilisant une connexion Web. Pour créer une connexion HDFS, cliquez sur la boîte déroulante Compte HDFS et sélectionnez Ajouter une connexion web.

La connexion pourra ensuite être gérée via Outils > Options FME > Connexions Web.

Les autres paramètres disponibles dépendent de la valeur du paramètre Requête > HDFS Action. Les paramètres de chaque action HDFS sont détaillés ci-dessous.

Paramètres - Téléchargement

Source HDFS

Télécharger à partir du chemin

Le chemin d'accès au HDFS du fichier/dossier à télécharger. Si des informations d'identification valides ont été fournies pour une connexion Web, vous pouvez naviguer vers un emplacement.

Destination

Télécharger en tant que	Sélectionner s'il faut stocker les données téléchargées dans un Fichier, dans un Répertoire ou dans un Attribut. Fichier : l'objet téléchargé sera stocké dans le répertoire spécifié. Répertoire : le répertoire téléchargé sera stocké dans le dossier spécifié. Attribut : L'objet téléchargé sera stocké dans l'attribut spécifié. Notez que cela suppose toujours un encodage système. Utilisez AttributeEncoder si votre contenu doit avoir un type d'encodage spécifique.
Télécharger dans le dossier	Indiquez le chemin d'accès au dossier qui stockera le fichier téléchargé. Valable pour le téléchargement en tant que fichier ou dossier.
Inclure les sous-dossiers	Choisissez de télécharger ou non les sous-dossiers de la source HDFS. Valable uniquement pour le téléchargement en tant que dossier.
Télécharger vers attribut	Spécifiez l'attribut qui stockera le contenu du fichier téléchargé. Valable uniquement pour le téléchargement en tant qu'attribut. Note FME tentera de convertir le contenu de l'attribut en une chaîne UTF-8. Si cela échoue, le contenu de l'attribut sera créé sous forme de binaire brut. Pour vous assurer que les octets d'origine sont toujours préservés et ne sont jamais convertis en UTF-8, utilisez plutôt Télécharger en tant que fichier.

Paramètres - Liste

Chemin HDFS

Chemin du service Dropbox

L'ID du dossier sur le serveur HDFS pour lister le contenu. Si des informations d'identification valides ont été fournies pour la connexion Web, vous pouvez naviguer vers un emplacement.

Attributs en sortie

Attributs à ajouter

Les attributs suivants seront ajoutés à l'entité en sortie.

_name	Nom d'un objet sur HDFS.
_full_path	Chemin d'accès à un objet sur HDFS.
_id	ID d'un objet sur HDFS.
_file_or_folder	Type (fichier ou dossier) d'un objet sur HDFS.
_file_size	Taille d'un objet fichier sur HDFS.
_file_last_modified	Date de dernière modification d'un objet sur HDFS.
_relative_path	Chemin relatif d'un objet sur HDFS.
_access_time	Date du dernier accès à un objet fichier sur HDFS.
_block_size	Taille de bloc d'un objet fichier sur HDFS.
_owner_group	Le groupe auquel appartient un objet sur HDFS.
_owner_user	Nom de l'utilisateur auquel appartient un objet sur HDFS.
_permissions	Code de permission octal d'un objet sur HDFS.
_replication_count	Nombre de réplications d'un objet fichier sur HDFS.

Paramètres - Chargement

Source

Chargement	Type de données devant être chargées. Fichier : le fichier spécifié sera téléversé. Dossier : le dossier spécifié et son contenu sera téléversé. Attribut : le contenu de l'attribut spécifié sera téléversé. Lorsque l'on travaille avec de gros objets, Fichier est un meilleur choix que Attribut car les données transitent directement via le disque et ne nécessitent pas que l'objet soit stocké entièrement dans l'entité. HDFS traite les fichiers de même nom dans un dossier spécifique comme dupliqués, donc vous pouvez charger plusieurs fichiers de même nom dans un dossier. Lorsque l'on veut télécharger le contenu d'un répertoire, il vaut mieux le télécharger en tant que répertoire au lieu d'installer un chemin fixe et d'envoyer des entités multiples dans le connecteur à télécharger en tant que fichier.
Fichier à charger	Fichier à charger sur HDFS si le paramètre 'Charger' vaut Fichier.
Dossier à charger	Répertoire à charger sur HDFS si le paramètre 'Charger' vaut Dossier.
Inclure les sous-dossiers	Choisir si l'on veut charger les sous-dossiers du dossier à télécharger ou non.
Attribut à télécharger en tant que fichier	Les données à charger, fournies depuis un attribut si le paramètre 'Charger depuis' vaut Attribut.

Destination HDFS

Télécharger vers le chemin	Le chemin sur HDFS où charger le fichier source. Pour charger dans le répertoire racine, entrez "/".
Charger avec le nom de fichier	Le nom du fichier créé à partir des données fournies dans Attribut à télécharger en tant que fichier. Le nom doit inclure une extension de nom de fichier (par exemple, .txt, .jpg, .doc).

Options de téléversement

Si le fichier existe à la destination	Choisir soit d'écraser, attacher ou ne rien faire si un fichier existe dans le dossier de destination du téléversement.
Permission de fichier/dossier	La valeur de permission octale (format UNIX) à définir pour l'objet téléchargé. Ce paramètre n'est pas disponible si "Attacher" est choisi pour le paramètre précédent. Dans ce cas, l'objet conserve sa valeur d'autorisation initiale.

Attributs en sortie

Attributs à ajouter

Les attributs suivants seront ajoutés à l'entité en sortie.

_full_path	Chemin d'accès au fichier sur HDFS.
_id	ID du fichier/dossier qui a été téléversé.

Éditer les paramètres des Transformers

Les paramètres du Transformer peuvent être définis en saisissant directement des valeurs, en utilisant des expressions ou en faisant référence à d'autres éléments de l'espace de travail tels que des valeurs d'attributs ou des paramètres utilisateur. Divers éditeurs et menus contextuels sont disponibles pour vous aider. Pour voir ce qui est disponible, cliquez sur à côté du paramètre concerné.

Définir des valeurs de paramètres

Définir les valeurs

Il existe plusieurs façons de définir une valeur à utiliser dans un Transformer. La plus simple consiste à saisir simplement une valeur ou une chaîne de caractères, qui peut inclure des fonctions de différents types telles que des références d'attributs, des fonctions mathématiques et de chaînes de caractères, et des paramètres traitement.

Utilisation de l'éditeur de texte

L'éditeur de texte fournit un moyen efficace de construire des chaînes de textes (dont les expressions régulières) à partir de données source diverses, telles que des attributs, des paramètres et des constantes, et le résultat est directement utilisé dans le paramètre.

Editeur de texte

Utilisation de l'éditeur arithmétique

L'éditeur arithmétique fournit un moyen simple de construire des expressions mathématiques à partir de plusieurs données source, telles que des attributs et des fonctions, et le résultat est directement utilisé dans un paramètre.

Éditeur arithmétique

Valeur conditionnelle

Définit des valeurs selon un ou plusieurs tests.

Fenêtre de définition de conditions

Contenu

Les expressions et chaînes de caractères peuvent inclure des fonctions, caractères, paramètres et plus.

Lors du paramétrage des valeurs - qu'elles soient entrées directement dans un paramètre ou construites en utilisant l'un des éditeurs - les chaînes de caractères et les expressions contenant des fonctions Chaîne de caractères, Math, Date et heure ou Entité FME auront ces fonctions évaluées. Par conséquent, les noms de ces fonctions (sous la forme @<nom_de_fonction>) ne doivent pas être utilisés comme valeurs littérales de chaîne de caractères.

Types de contenu

Fonctions chaînes de caractères	Ces fonctions manipulent les chaînes de caractères.
Caractères spéciaux	Un ensemble de caractères de contrôle est disponible dans l'éditeur de texte.
Fonctions mathématiques	Plusieurs fonctions sont disponibles dans les deux éditeurs.
Fonctions Date/heure	Les fonctions de dates et heures sont disponibles dans l'Editeur texte.
Opérateurs mathématiques	Ces opérateur sont disponibles dans l'éditeur arithmétique.
Fonctions d'entités	Elles retournent des valeurs spécifiques aux entités.
Paramètres FME	Les paramètres FME et spécifiques au traitement peuvent être utilisés.
Créer et modifier un paramètre publié	Créer ses propres paramètres éditables.

Options - Tables

Outils de tableau

Les Transformers avec des paramètres de style table possèdent des outils additionnels pour remplir et manipuler des valeurs.

Réordonner

Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :

Ajouter une ligne
Supprimer une ligne
Déplacer la ligne en cours au dessus
Déplacer la ligne en cours en dessous
Déplacer la ligne en cours en haut de liste
Déplacer la ligne en cours en bas de liste

Couper, Copier et Coller

Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :

Couper une ligne - supprime et copie dans le presse-papiers.
Copie une ligne dans le presse-papiers.
Colle une ligne depuis le presse-papiers.

Copier, copier et coller peuvent être utilisés au sein d'un Transformer ou entre Transfromers.

Filtre

Commencez à taper une chaîne de caractères, et la matrice n'affichera que les lignes correspondant à ces caractères. Recherche dans toutes les colonnes. Cela n'affecte que l'affichage des attributs dans le Transformer - cela ne change pas les attributs qui sont sortis.

Importer

Le bouton d'import remplit la table avec un jeu de nouveaux attributs lus depuis un jeu de données. L'application spécifique varie selon les Transformers.

Réinitialiser/Rafraîchir

Réinitialise la table à son état initial, et peut fournir des options additionnelles pour supprimer des entrées invalides. Le comportement varie d'un Transformer à l'autre.

Note : Tous les outils ne sont pas disponibles dans tous les Transformers.

Pour plus d'information, consulter la section Options des Transformers.

Références

Comportement	Basé sur des entités
Stockage des entités	Non
Dépendances	Compte HDFS
Alias
Historique	Implémenté dans FME 2018.0

FME Community

FME Community dispose d'une mine de connaissances sur FME, avec plus de 20 000 membres actifs dans le monde entier. Obtenez de l'aide sur FME, partagez vos connaissances et entrez en contact avec des utilisateurs du monde entier.

Voir tous les résultats à propos de ce Transformer sur FME Community.