GoogleCloudStorageConnector

Accède au service de stockage de fichiers Google Cloud Storage pour téléverser ou télécharger des fichiers ou lister des informations de fichiers ou dossiers depuis un compte Google Cloud Storage.

Aller à la configuration

Cas d'utilisation courants

Gérer des jeux de données sur Google Cloud Storage en chargeant, téléchargeant ou supprimant fichiers ou dossiers.
Transfert de contenu d'un fichier (tel qu'un XML ou un Raster) dans un attribut FME
Lire des données téléchargées sur Google Cloud Storage en utilisant FeatureReader ou mettre les à jour les données par FeatureWriter sur Google Cloud Storage.
Récupérer des noms, chemins, liens ou autres informations de fichiers ou dossiers depuis Google Cloud Storage pour les utiliser dans le traitement.

Comment fonctionne-t-il ?

GoogleCloudStorageConnector utilise votre compte Google Cloud Storage (soit via une ancienne connexion web FME, soit en définissant une nouvelle connexion via le Transformer) pour accéder au service de stockage de fichiers.

En fonction de l'action spécifiée, il téléchargera des blobs et des attributs, listera les informations du service ou supprimera des blobs du service. Pour les téléchargements, des attributs de lien peuvent être ajoutés aux entités de sortie. Pour les actions de liste, les informations sur les fichiers/dossiers sont ajoutées comme attributs.

Notes

Ce Transformer ne peut pas être utilisé pour déplacer ou copier directement des fichiers entre différents emplacements de Google Cloud Storage. Cependant, plusieurs GoogleCloudStorageConnectors peuvent être utilisés pour accomplir ces tâches.
FeatureReader peut accéder directement à Google Cloud Storage, sans utiliser le GoogleCloudStorageConnector. Dans ce cas, une copie locale permanente du jeu de données ne sera pas créée.

Configuration

Ports d'entrée

Ports de sortie

Paramètres

Authentification

Source des identifiants

Le GoogleCloudStorageConnector peut utiliser des informations d'identification provenant de différentes sources. L'utilisation d'une connexion Web s'intègre le mieux à FME, mais dans certains cas, vous pouvez souhaiter utiliser l'une des autres sources.

Connexion web: - utiliser une connexion web Google Storage enregistrée dans la base de données de connexions FME.
Anonyme - accède aux compartiments publics sans authentification
Fichier de clé de compte de service : utilise les identifiants déjà configurés sur le système, dans le fichier de clé spécifié dans la variable d'environnement GOOGLE_APPLICATION_CREDENTIALS

Compte

Disponible lorsque la source d'informations d'identification est une connexion Web. Pour créer une connexion à Google Cloud Storage, cliquez sur la liste déroulante "Compte" et sélectionnez "Ajouter une connexion Web...".

La connexion pourra ensuite être gérée via Outils -> Options FME... -> Connexions Web.

ID Projet

L'identifiant du projet Google Cloud. Uniquement requis lorsque la source d'accréditation est Connexion web.

Les autres paramètres disponibles dépendent de la valeur du paramètre Requête > Action. Les paramètres de chaque action sont détaillés ci-dessous.

Paramètres - Téléchargement

Options de téléchargement

Compartiment	Le container dans lequel le fichier ou le répertoire se trouve. Si des paramètres d'authentification valides ont été fournis en tant que connexion web, vous pouvez choisir un container.
Chemin	Le chemin complet d'un fichier ou d'un dossier à télécharger. Si des informations d'identification valides ont été fournies en tant que connexion Web, vous pouvez rechercher un emplacement.

Destination

Télécharger en tant que	Sélectionner s'il faut stocker les données téléchargées dans un Fichier, dans un Répertoire ou dans un Attribut. Fichier : l'objet téléchargé sera stocké dans le répertoire spécifié. Répertoire : le répertoire téléchargé sera stocké dans le dossier spécifié. Attribut : l'objet téléchargé sera stocké dans l'attribut spécifié.
Télécharger vers attribut	Spécifiez l'attribut qui stockera le contenu du fichier téléchargé. Valable uniquement pour le téléchargement en tant qu'attribut.
Encodage de la réponse	Pour télécharger en tant qu'attribut, vous pouvez indiquer un jeu d'encodage de caractères pour vous assurez que le résultat soit lisible par un individu. Si Détection automatique depuis l'en-tête HTTP est défini mais qu'il n'y a pas d'encodage dans le paramètre de métadonnées Content-Type associé avec la donnée, le résultat est retourné en tant qu'octets bruts .
Télécharger dans le dossier	Indiquez le chemin d'accès au dossier qui stockera le fichier téléchargé. Valable pour le téléchargement en tant que fichier ou dossier.
Si le fichier existe	Indiquez ce qu'il faut faire si le fichier existe déjà localement. Valable pour Télécharger en tant que fichier ou dossier. Rejeter - Si vous téléchargez un fichier, l'entité d'entrée sera rejetée. Si vous téléchargez un dossier, une entité rejetée sera générée pour chaque fichier rejeté. Écraser: tout fichier local ou répertoire existant sera remplacé par la nouvelle copie.
Inclure les sous-dossiers	Choisissez de télécharger ou non les sous-dossiers de la source Google Cloud Storage. Valable uniquement pour le téléchargement en tant que dossier.

Attributs en sortie

Les attributs suivants seront ajoutés à l'entité en sortie.

_download_path

Chemin de l'objet téléchargé sur le système de fichiers local. Cet attribut ne sera pas ajouté pour le téléchargement en tant qu'attribut.

Paramètres - Liste

Options de liste

Compartiment	Le compartiment dans lequel se trouve le dossier. Si des informations d'identification valides ont été fournies pour la connexion web, ainsi qu'un identifiant de projet valide, vous pouvez rechercher un compartiment.
Chemin	Le chemin complet du dossier à lister. Si des informations d'identification valides ont été fournies sous forme de connexion Web, vous pouvez rechercher un emplacement. L'identifiant du projet n'est pas nécessaire pour parcourir les chemins d'un seau valide. Les seaux portent un nom unique et sont associés à des projets.
Inclure les sous-dossiers	Si défini sur Oui, alors les sous-répertoires sont récursivement parcourus et leur contenu est inclus dans le résultat.

Attributs en sortie

Les attributs suivants seront ajoutés à l'entité en sortie.

_name	Nom du fichier ou répertoire
_full_path	Chemin entier du fichier ou répertoire
_url	URL du fichier ou répertoire.
_file_or_folder	Si l'objet est un fichier ou un dossier.
_file_size	Taille du fichier (absent pour les répertoires)
_created	Date et heure de création du fichier
_last_modified	Date et heure de dernière modification du fichier
_relative_path	Chemin de l'objet relatif au chemin de la liste

Paramètres - Chargement

Source de données

Chargement	Type de données devant être chargées. Fichier : le fichier spécifié sera téléversé. Dossier : le dossier spécifié et son contenu sera téléversé. Attribut : le contenu de l'attribut spécifié sera téléversé. Lorsque l'on travaille avec de gros objets, Fichier est un meilleur choix que Attribut car les données transitent directement via le disque et ne nécessitent pas que l'objet soit stocké entièrement dans l'entité. Lorsque l'on veut télécharger le contenu d'un répertoire, il vaut mieux le télécharger en tant que répertoire au lieu d'installer un chemin fixe et d'envoyer des entités multiples dans le connecteur à télécharger en tant que fichier.
Fichier à charger	Fichier à charger sur le stockage Google Storage si Chargement est défini sur Fichier.
Dossier à charger	Fichier à charger sur le stockage Google Storage si Chargement est défini sur Fichier.
Inclure les sous-dossiers	Choisir s'il faut charger les sous-dossiers du Répertoire à charger ou non.
Contenu uniquement	Oui : télécharger uniquement le contenu du dossier vers la destination distante. Non : télécharger le dossier vers la destination distante.
Attribut à télécharger en tant que fichier	Données à charger, fournies par un attribut si Chargement est défini sur Attribut.

Options de téléversement

Compartiment	Le container dans lequel le répertoire se trouve. Si des paramètres d'authentification valides ont été fournis en tant que connexion web, vous pouvez choisir un container.
Chemin	Le chemin d'accès complet au dossier de Google Cloud Storage vers lequel effectuer le téléchargement. Si des informations d'identification valides ont été fournies en tant que connexion Web, vous pouvez rechercher un emplacement.
Charger avec le nom de fichier	Le nom du fichier créé à partir des données fournies dans Attribut à télécharger en tant que fichier. Le nom doit inclure une extension de nom de fichier (par exemple, .txt, .jpg, .doc).
Si le fichier existe	Spécifier que faire si le fichier existe déjà sur le stockage Google Storage. Rejeter - Si vous téléchargez un fichier, l'entité d'entrée sera rejetée. Si vous téléchargez un dossier, les fichiers rejetés seront répertoriés dans l'attribut Rejected Files. Écraser: tout fichier ou répertoire existant sur le stockage Google Storage sera remplacé par la copie locale.
Droits	Spécifier les droits d'accès au fichier ou dossier chargé. Privé : seul le propriétaire du compartiment peut lire ou modifier. Lecture publique : n'importe qui sur Internet peut lire le fichier ou dossier.

Métadonnées

Il est possible de spécifier des paires nom-valeur personnalisées qui sont associées aux entités chargées.

Attributs en sortie

Les attributs sélectionnés seront ajoutés à l'entité de sortie. Disponible uniquement pour les téléchargements de fichiers et de dossiers.

_name	Nom du fichier ou répertoire
_full_path	Chemin entier du fichier ou répertoire
_url	URL du fichier ou répertoire.

Éditer les paramètres des Transformers

Les paramètres du Transformer peuvent être définis en saisissant directement des valeurs, en utilisant des expressions ou en faisant référence à d'autres éléments de l'espace de travail tels que des valeurs d'attributs ou des paramètres utilisateur. Divers éditeurs et menus contextuels sont disponibles pour vous aider. Pour voir ce qui est disponible, cliquez sur à côté du paramètre concerné.

Définir des valeurs de paramètres

Définir les valeurs

Il existe plusieurs façons de définir une valeur à utiliser dans un Transformer. La plus simple consiste à saisir simplement une valeur ou une chaîne de caractères, qui peut inclure des fonctions de différents types telles que des références d'attributs, des fonctions mathématiques et de chaînes de caractères, et des paramètres traitement.

Utilisation de l'éditeur de texte

L'éditeur de texte fournit un moyen efficace de construire des chaînes de textes (dont les expressions régulières) à partir de données source diverses, telles que des attributs, des paramètres et des constantes, et le résultat est directement utilisé dans le paramètre.

Editeur de texte

Utilisation de l'éditeur arithmétique

L'éditeur arithmétique fournit un moyen simple de construire des expressions mathématiques à partir de plusieurs données source, telles que des attributs et des fonctions, et le résultat est directement utilisé dans un paramètre.

Éditeur arithmétique

Valeur conditionnelle

Définit des valeurs selon un ou plusieurs tests.

Fenêtre de définition de conditions

Contenu

Les expressions et chaînes de caractères peuvent inclure des fonctions, caractères, paramètres et plus.

Lors du paramétrage des valeurs - qu'elles soient entrées directement dans un paramètre ou construites en utilisant l'un des éditeurs - les chaînes de caractères et les expressions contenant des fonctions Chaîne de caractères, Math, Date et heure ou Entité FME auront ces fonctions évaluées. Par conséquent, les noms de ces fonctions (sous la forme @<nom_de_fonction>) ne doivent pas être utilisés comme valeurs littérales de chaîne de caractères.

Types de contenu

Fonctions chaînes de caractères	Ces fonctions manipulent les chaînes de caractères.
Caractères spéciaux	Un ensemble de caractères de contrôle est disponible dans l'éditeur de texte.
Fonctions mathématiques	Plusieurs fonctions sont disponibles dans les deux éditeurs.
Fonctions Date/heure	Les fonctions de dates et heures sont disponibles dans l'Editeur texte.
Opérateurs mathématiques	Ces opérateur sont disponibles dans l'éditeur arithmétique.
Fonctions d'entités	Elles retournent des valeurs spécifiques aux entités.
Paramètres FME	Les paramètres FME et spécifiques au traitement peuvent être utilisés.
Créer et modifier un paramètre publié	Créer ses propres paramètres éditables.

Options - Tables

Outils de tableau

Les Transformers avec des paramètres de style table possèdent des outils additionnels pour remplir et manipuler des valeurs.

Réordonner

Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :

Ajouter une ligne
Supprimer une ligne
Déplacer la ligne en cours au dessus
Déplacer la ligne en cours en dessous
Déplacer la ligne en cours en haut de liste
Déplacer la ligne en cours en bas de liste

Couper, Copier et Coller

Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :

Couper une ligne - supprime et copie dans le presse-papiers.
Copie une ligne dans le presse-papiers.
Colle une ligne depuis le presse-papiers.

Copier, copier et coller peuvent être utilisés au sein d'un Transformer ou entre Transfromers.

Filtre

Commencez à taper une chaîne de caractères, et la matrice n'affichera que les lignes correspondant à ces caractères. Recherche dans toutes les colonnes. Cela n'affecte que l'affichage des attributs dans le Transformer - cela ne change pas les attributs qui sont sortis.

Importer

Le bouton d'import remplit la table avec un jeu de nouveaux attributs lus depuis un jeu de données. L'application spécifique varie selon les Transformers.

Réinitialiser/Rafraîchir

Réinitialise la table à son état initial, et peut fournir des options additionnelles pour supprimer des entrées invalides. Le comportement varie d'un Transformer à l'autre.

Note : Tous les outils ne sont pas disponibles dans tous les Transformers.

Pour plus d'information, consulter la section Options des Transformers.

Références

Comportement	Basé sur des entités
Stockage des entités	Non
Dépendances	Compte Google Cloud Storage
Alias
Historique	Implémenté dans FME 2019.0

FME Community

FME Community dispose d'une mine de connaissances sur FME, avec plus de 20 000 membres actifs dans le monde entier. Obtenez de l'aide sur FME, partagez vos connaissances et entrez en contact avec des utilisateurs du monde entier.

Voir tous les résultats à propos de ce Transformer sur FME Community.

Examples may contain information licensed under the Open Government Licence – Vancouver, Open Government Licence - British Columbia, and/or Open Government Licence – Canada.

GoogleCloudStorageConnector

Cas d'utilisation courants

Comment fonctionne-t-il ?

Notes

Configuration

Ports d'entrée

Ports de sortie

Paramètres

Options de suppression

Options de téléchargement

Destination

Attributs en sortie

Options de liste

Attributs en sortie

Source de données

Options de téléversement

Métadonnées

Attributs en sortie

Éditer les paramètres des Transformers

Définir les valeurs

Utilisation de l'éditeur de texte

Utilisation de l'éditeur arithmétique

Valeur conditionnelle

Contenu

Outils de tableau

Références

FME Community