Accède au service de stockage de fichiers Google Cloud Storage pour téléverser ou télécharger des fichiers ou lister des informations de fichiers ou dossiers depuis un compte Google Cloud Storage.
Utilisations typiques
- Gérer des jeux de données sur Google Cloud Storage en chargeant, téléchargeant ou supprimant fichiers ou dossiers.
- Transfert de contenu d'un fichier (tel qu'un XML ou un Raster) dans un attribut FME
- Lire des données téléchargées sur Google Cloud Storage en utilisant FeatureReader ou mettre les à jour les données par FeatureWriter sur Google Cloud Storage.
- Récupérer des noms, chemins, liens ou autres informations de fichiers ou dossiers depuis Google Cloud Storage pour les utiliser dans le traitement
Comment fonctionne-t-il ?
GoogleCloudStorageConnector utilise votre compte Google Cloud Storage (soit via une ancienne connexion web FME, soit en définissant une nouvelle connexion via le Transformer) pour accéder au service de stockage de fichiers.
En fonction de l'action spécifiée, il téléchargera des blobs et des attributs, listera les informations du service ou supprimera des blobs du service. Pour les téléchargements, des attributs de lien peuvent être ajoutés aux entités de sortie. Pour les actions de liste, les informations sur les fichiers/dossiers sont ajoutées comme attributs.
Exemples
Exemple : Téléchargement de jeu de données
Dans cet exemple, le GoogleCloudStorageConnector est utilisé pour télécharger une géodatabase Esri depuis Google Cloud Storage. Après avoir créé une connexion Web valide à un compte Google Cloud Storage (ce qui peut être fait directement dans le paramètre Compte), et avoir navigué jusqu'au dossier de la géodatabase, le Bucket et le Path de l'objet sont récupérés, et une destination pour le téléchargement est sélectionnée.
Un FeatureReader est ajouté pour lire le jeu de données nouvellement téléchargé. Ici, le type d'entités PostalAddress sera traité ailleurs dans l'espace de travail.
En exécutant le téléchargement ici dans le projet, la géodatabase sera rafraîchie chaque fois que le projet est exécuté.
Exemple : Télécharger et utiliser un raster comme un attribut
Dans cet exemple, GoogleCloudStorageConnector est utilisé pour télécharger une orthoimage raster d'un Google Cloud Storage dans un attribut.
Le fichier est lu depuis Google Cloud Storage, et son contenu est stocké sous forme d'attribut blob. Ensuite, un RasterReplacer est utilisé pour interpréter le blob dans un format raster utilisable.
La combinaison de ces deux Transformers évite le téléchargement d'une image en local pour une relecture. Une technique similaire peut être utilisée pour les fichiers de nuages de points, à l'aide du Transformer PointCloudReplacer.
Notes
- Ce Transformer ne peut pas être utilisé pour déplacer ou copier directement des fichiers entre différents emplacements de Google Cloud Storage. Cependant, plusieurs GoogleCloudStorageConnectors peuvent être utilisés pour accomplir ces tâches.
- FeatureReader peut accéder directement à Google Cloud Storage, sans utiliser le GoogleCloudStorageConnector. Dans ce cas, une copie locale permanente du jeu de données ne sera pas créée.
Configuration
Ports d'entrée
Input
Ce Transformer accepte tous types d'entités.
Ports de sortie
Output
La sortie de ce Transformer varie selon l'action à effectuer.
- Après un Chargement, les informations sélectionnées du fichier seront disponibles en tant qu'attributs.
- Le Téléchargement mettra en sortie l'entité entrante en sortie et peut sauvegarder vers un fichier, un répertoire ou vers un attribut.
- Supprimer mettra en sortie l'entité entrante.
- Une action Lister produira une nouvelle entité pour chaque fichier/dossier trouvé dans le chemin spécifié. Chacune de ces nouvelles entités aura des attributs listant diverses informations sur l'objet.
Initiator
L'entité entrante ressort par ce port.
<Rejected>
Les entités qui provoquent l'échec de l'opération ressortent par ce port. Un attribut fme_rejection_code, ayant la valeur ERROR_DURING_PROCESSING, sera ajouté, ainsi qu'un attribut fme_rejection_message plus descriptif qui contient des détails plus spécifiques sur la raison de l'échec.
Note: Si une entité arrive dans GoogleCloudStorageConnector en ayant déjà une valeur pour fme_rejection_code, celle-ci sera retirée.
Gestion des entités rejetées : ce paramètre permet d'interrompre la traduction ou de la poursuivre lorsqu'elle rencontre une entité rejetée. Ce paramètre est disponible à la fois comme option par défaut de FME et comme paramètre de traitement.
Paramètres
Authentification
| Source des identifiants |
Le GoogleCloudStorageConnector peut utiliser des informations d'identification provenant de différentes sources. L'utilisation d'une connexion Web s'intègre le mieux à FME, mais dans certains cas, vous pouvez souhaiter utiliser l'une des autres sources.
|
| Compte |
Disponible lorsque la source d'informations d'identification est une connexion Web. Pour créer une connexion à Google Cloud Storage, cliquez sur la liste déroulante "Compte" et sélectionnez "Ajouter une connexion Web...". La connexion pourra ensuite être gérée via Outils -> Options FME... -> Connexions Web. |
| ID Projet | L'identifiant du projet Google Cloud. Uniquement requis lorsque la source d'accréditation est Connexion web. |
Requête
| Action |
Le type d'opération à effectuer. Les choix comprennent :
|
Les autres paramètres disponibles dépendent de la valeur du paramètre Requête > Action. Les paramètres de chaque action sont détaillés ci-dessous.
Paramètres - Suppression
Options de suppression
| Compartiment | Le container dans lequel le fichier ou le répertoire se trouve. Si des paramètres d'authentification valides ont été fournis en tant que connexion web, vous pouvez choisir un container. |
| Chemin | Le chemin d'accès complet d'un fichier ou d'un dossier à supprimer sur Google Cloud Storage. Si des informations d'identification valides ont été fournies en tant que connexion Web, vous pouvez rechercher un emplacement. |
Paramètres - Téléchargement
Options de téléchargement
| Compartiment | Le container dans lequel le fichier ou le répertoire se trouve. Si des paramètres d'authentification valides ont été fournis en tant que connexion web, vous pouvez choisir un container. |
| Chemin | Le chemin complet d'un fichier ou d'un dossier à télécharger. Si des informations d'identification valides ont été fournies en tant que connexion Web, vous pouvez rechercher un emplacement. |
Destination
| Télécharger en tant que |
Sélectionner s'il faut stocker les données téléchargées dans un Fichier, dans un Répertoire ou dans un Attribut.
|
| Télécharger vers attribut |
Spécifiez l'attribut qui stockera le contenu du fichier téléchargé. Valable uniquement pour le téléchargement en tant qu'attribut. |
| Encodage de la réponse |
Pour télécharger en tant qu'attribut, vous pouvez indiquer un jeu d'encodage de caractères pour vous assurez que le résultat soit lisible par un individu. Si Détection automatique depuis l'en-tête HTTP est défini mais qu'il n'y a pas d'encodage dans le paramètre de métadonnées Content-Type associé avec la donnée, le résultat est retourné en tant qu'octets bruts . |
| Télécharger dans le dossier | Indiquez le chemin d'accès au dossier qui stockera le fichier téléchargé. Valable pour le téléchargement en tant que fichier ou dossier. |
| Si le fichier existe |
Indiquez ce qu'il faut faire si le fichier existe déjà localement. Valable pour Télécharger en tant que fichier ou dossier.
|
| Inclure les sous-dossiers | Choisissez de télécharger ou non les sous-dossiers de la source Google Cloud Storage. Valable uniquement pour le téléchargement en tant que dossier. |
Attributs en sortie
Les attributs suivants seront ajoutés à l'entité en sortie.
|
_download_path |
Chemin de l'objet téléchargé sur le système de fichiers local. Cet attribut ne sera pas ajouté pour le téléchargement en tant qu'attribut. |
Paramètres - Liste
Options de liste
| Compartiment | Le compartiment dans lequel se trouve le dossier. Si des informations d'identification valides ont été fournies pour la connexion web, ainsi qu'un identifiant de projet valide, vous pouvez rechercher un compartiment. |
| Chemin | Le chemin complet du dossier à lister. Si des informations d'identification valides ont été fournies sous forme de connexion Web, vous pouvez rechercher un emplacement. L'identifiant du projet n'est pas nécessaire pour parcourir les chemins d'un seau valide. Les seaux portent un nom unique et sont associés à des projets. |
| Inclure les sous-dossiers | Si défini sur Oui, alors les sous-répertoires sont récursivement parcourus et leur contenu est inclus dans le résultat. |
Attributs en sortie
Les attributs suivants seront ajoutés à l'entité en sortie.
|
_name |
Nom du fichier ou répertoire |
|
_full_path |
Chemin entier du fichier ou répertoire |
|
_url |
URL du fichier ou répertoire. |
|
_file_or_folder |
Si l'objet est un fichier ou un dossier. |
|
_file_size |
Taille du fichier (absent pour les répertoires) |
|
_created |
Date et heure de création du fichier |
|
_last_modified |
Date et heure de dernière modification du fichier |
|
_relative_path |
Chemin de l'objet relatif au chemin de la liste |
Paramètres - Chargement
Source de données
|
Chargement |
Type de données devant être chargées.
Lorsque l'on travaille avec de gros objets, Fichier est un meilleur choix que Attribut car les données transitent directement via le disque et ne nécessitent pas que l'objet soit stocké entièrement dans l'entité. Lorsque l'on veut télécharger le contenu d'un répertoire, il vaut mieux le télécharger en tant que répertoire au lieu d'installer un chemin fixe et d'envoyer des entités multiples dans le connecteur à télécharger en tant que fichier. |
|
Fichier à charger |
Fichier à charger sur le stockage Google Storage si Chargement est défini sur Fichier. |
|
Dossier à charger |
Fichier à charger sur le stockage Google Storage si Chargement est défini sur Fichier. |
|
Inclure les sous-dossiers |
Choisir s'il faut charger les sous-dossiers du Répertoire à charger ou non. |
|
Contenu uniquement |
|
|
Attribut à télécharger en tant que fichier |
Données à charger, fournies par un attribut si Chargement est défini sur Attribut. |
Options de téléversement
| Compartiment | Le container dans lequel le répertoire se trouve. Si des paramètres d'authentification valides ont été fournis en tant que connexion web, vous pouvez choisir un container. |
| Chemin | Le chemin d'accès complet au dossier de Google Cloud Storage vers lequel effectuer le téléchargement. Si des informations d'identification valides ont été fournies en tant que connexion Web, vous pouvez rechercher un emplacement. |
| Charger avec le nom de fichier | Le nom du fichier créé à partir des données fournies dans Attribut à télécharger en tant que fichier. Le nom doit inclure une extension de nom de fichier (par exemple, .txt, .jpg, .doc). |
| Si le fichier existe |
Spécifier que faire si le fichier existe déjà sur le stockage Google Storage.
|
| Droits |
Spécifier les droits d'accès au fichier ou dossier chargé.
|
Métadonnées
Il est possible de spécifier des paires nom-valeur personnalisées qui sont associées aux entités chargées.
Attributs en sortie
Les attributs sélectionnés seront ajoutés à l'entité de sortie. Disponible uniquement pour les téléchargements de fichiers et de dossiers.
| _name |
Nom du fichier ou répertoire |
| _full_path | Chemin entier du fichier ou répertoire |
|
_url |
URL du fichier ou répertoire. |
Éditer les paramètres des Transformers
À l'aide d'un ensemble d'options de menu, les paramètres du Transformer peuvent être attribués en faisant référence à d'autres éléments du traitement. Des fonctions plus avancées, telles qu'un éditeur avancé et un éditeur arithmétique, sont également disponibles dans certains Transformers. Pour accéder à un menu de ces options, cliquez sur 
à côté du paramètre applicable. Pour plus d'informations, voir Options de menus et paramètres de Transformer.
Définir les valeurs
Il existe plusieurs façons de définir une valeur à utiliser dans un Transformer. La plus simple est de simplement taper une valeur ou une chaîne de caractères, qui peut inclure des fonctions de différents types comme des références d'attributs, des fonctions mathématiques et de chaînes de caractères, et des paramètres d'espace de travail. Il existe un certain nombre d'outils et de raccourcis qui peuvent aider à construire des valeurs, généralement disponibles dans le menu contextuel déroulant adjacent au champ de valeur.
Définir des valeurs de paramètres
Utilisation de l'éditeur de texte
L'éditeur de texte fournit un moyen efficace de construire des chaînes de textes (dont les expressions régulières) à partir de données source diverses, telles que des attributs, des paramètres et des constantes, et le résultat est directement utilisé dans le paramètre.
Utilisation de l'éditeur arithmétique
L'éditeur arithmétique fournit un moyen simple de construire des expressions mathématiques à partir de plusieurs données source, telles que des attributs et des fonctions, et le résultat est directement utilisé dans un paramètre.
Valeur conditionnelle
Définit des valeurs selon un ou plusieurs tests.
Fenêtre de définition de conditions
Contenu
Les expressions et chaînes de caractères peuvent inclure des fonctions, caractères, paramètres et plus.
Lors du paramétrage des valeurs - qu'elles soient entrées directement dans un paramètre ou construites en utilisant l'un des éditeurs - les chaînes de caractères et les expressions contenant des fonctions Chaîne de caractères, Math, Date et heure ou Entité FME auront ces fonctions évaluées. Par conséquent, les noms de ces fonctions (sous la forme @<nom_de_fonction>) ne doivent pas être utilisés comme valeurs littérales de chaîne de caractères.
Types de contenu
| Ces fonctions manipulent les chaînes de caractères. | |
|
Caractères spéciaux |
Un ensemble de caractères de contrôle est disponible dans l'éditeur de texte. |
| Plusieurs fonctions sont disponibles dans les deux éditeurs. | |
| Fonctions Date/heure | Les fonctions de dates et heures sont disponibles dans l'Editeur texte. |
| Ces opérateur sont disponibles dans l'éditeur arithmétique. | |
| Elles retournent des valeurs spécifiques aux entités. | |
| Les paramètres FME et spécifiques au projet peuvent être utilisés. | |
| Créer et modifier un paramètre publié | Créer ses propres paramètres éditables. |
Options - Tables
Les Transformers avec des paramètres de style table possèdent des outils additionnels pour remplir et manipuler des valeurs.
Outils de tableau
|
Réordonner
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
|
|
Couper, Copier et Coller
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
Copier, copier et coller peuvent être utilisés au sein d'un Transformer ou entre Transfromers. |
|
Filtre
|
Commencez à taper une chaîne de caractères, et la matrice n'affichera que les lignes correspondant à ces caractères. Recherche dans toutes les colonnes. Cela n'affecte que l'affichage des attributs dans le Transformer - cela ne change pas les attributs qui sont sortis. |
|
Importer
|
Le bouton d'import remplit la table avec un jeu de nouveaux attributs lus depuis un jeu de données. L'application spécifique varie selon les Transformers. |
|
Réinitialiser/Rafraîchir
|
Réinitialise la table à son état initial, et peut fournir des options additionnelles pour supprimer des entrées invalides. Le comportement varie d'un Transformer à l'autre. |
Note : Tous les outils ne sont pas disponibles dans tous les Transformers.
Références
|
Comportement |
|
|
Stockage des entités |
Non |
| Dépendances | Compte Google Cloud Storage |
| Alias | |
| Historique | Implémenté dans FME 2019.0 |
FME Community
FME Community iest l'endroit où trouver des démos, des tutoriaux, des articles, des FAQ et bien plus encore. Obtenez des réponses à vos questions, apprenez des autres utilisateurs et suggérez, votez et commentez de nouvelles entités.
Rechercher tous les résultats sur ce Transformer sur FME Community.
Les exemples peuvent contenir des informations sous licence Open Government - Vancouver et/ou Open Government - Canada.