Accède au service de stockage de fichiers Azure Blob Storage pour téléverser ou télécharger des fichiers ou lister des informations de fichiers ou dossiers depuis un compte Azure.
Utilisations typiques
- Gestion de jeux de données sous stockage Blob en chargeant, téléchargeant et supprimant des fichiers ou des répertoires.
- Transfert de contenu d'un fichier (tel qu'un XML ou un Raster) dans un attribut FME
- Lit les données du stockage Blob téléchargées en utilisant le Transformer FeatureReader, ou téléverse les données écrites par FeatureWriter vers le stockage Blob
- Récupération de noms de fichier ou répertoire, de chemins et autres informations du stockage Blob pour les utiliser ailleurs dans un projet.
Comment fonctionne-t-il ?
AzureBlobStorageConnector utilise votre compte Azure Storage (soit via une ancienne connexion web FME, soit en définissant une nouvelle connexion via le Transformer) pour accéder au service de stockage de fichiers.
En fonction des actions que vous avez choisies, il téléchargera des fichiers, des dossiers et des attributs, dressera la liste des informations du service ou supprimera des éléments du service. Pour les téléchargements, les attributs de chemin d'accès sont ajoutés aux entités de sortie. Pour les actions de liste, les informations sur les fichiers/dossiers sont ajoutées comme attributs.
Exemples
Exemple : Téléchargement de jeu de données
Dans cet exemple, le Connector AzureBlobStorageConnector est utilisé pour télécharger une géodatabase Esri depuis Blob Storage. Après avoir créé une connexion Web valide à un compte Azure Storage (ce qui peut être fait directement dans le paramètre Account), et navigué jusqu'au dossier de la geodatabase, le conteneur et le chemin d'accès à l'objet sont récupérés, et une destination pour le téléchargement est sélectionnée.
Un FeatureReader est ajouté pour lire le jeu de données nouvellement téléchargé. Ici, le type d'entités PostalAddress sera traité ailleurs dans l'espace de travail.
En exécutant le téléchargement ici dans le projet, la géodatabase sera rafraîchie chaque fois que le projet est exécuté.
Exemple : Télécharger et utiliser un raster comme un attribut
Dans cet exemple, Azure Storage est utilisé pour télécharger une orthoimage raster d'un stockage Blob dans un attribut.
Le fichier est lu à partir de Blob Storage, et son contenu est stocké sous forme d'attribut blob. Ensuite, un RasterReplacer est utilisé pour interpréter le blob dans un format raster utilisable.
La combinaison de ces deux Transformers évite le téléchargement d'une image en local pour une relecture. Une technique similaire peut être utilisée pour les fichiers de nuages de points, à l'aide du Transformer PointCloudReplacer.
Exemple : Authentification par jeton SAS
L'authentification par jeton SAS nécessite un nom de compte et un jeton SAS avec les politiques d'accès correctes. Il est recommandé d'affecter des politiques de service, de conteneur et d'objet à ce jeton.
Pour en savoir plus sur la configuration des jetons SAS, consultez le site Web de Microsoft.
Un exemple de jeton SAS est le suivant :
Sélectionnez "Authentification SAS" comme source d'accréditation, puis saisissez le nom du compte et le jeton SAS comme suit :
Notes
- Ce Transformer ne peut pas être utilisé pour déplacer ou copier directement des fichiers entre différents emplacements Azure Storage. Cependant, plusieurs AzureBlobStorageConnectors peuvent être utilisés pour accomplir ces tâches.
- FeatureReader peut accéder à Azure Blob Storage directement, sans utiliser le connecteur AzureBlobStorageConnector. Dans ce cas, une copie locale permanente du jeu de données ne sera pas créée.
Configuration
Ports d'entrée
Input
Ce Transformer accepte tous types d'entités.
Ports de sortie
Output
La sortie de ce Transformer varie selon l'action à effectuer.
- Après un Chargement, les informations sélectionnées du fichier seront disponibles en tant qu'attributs.
- Le Téléchargement mettra en sortie l'entité entrante en sortie et peut sauvegarder vers un fichier, un répertoire ou vers un attribut.
- Supprimer mettra en sortie l'entité entrante.
- Une action Lister produira une nouvelle entité pour chaque fichier/dossier trouvé dans le chemin spécifié. Chacune de ces nouvelles entités aura des attributs listant diverses informations sur l'objet.
Initiator
L'entité entrante ressort par ce port.
<Rejected>
Les entités qui provoquent l'échec de l'opération ressortent par ce port. Un attribut fme_rejection_code, ayant la valeur ERROR_DURING_PROCESSING, sera ajouté, ainsi qu'un attribut fme_rejection_message plus descriptif qui contient des détails plus spécifiques sur la raison de l'échec.
Note: Si une entité entrant dans AzureBlobStorageConnector possède déjà une valeur pour fme_rejection_code, cette dernière sera supprimée.
Gestion des entités rejetées : ce paramètre permet d'interrompre la traduction ou de la poursuivre lorsqu'elle rencontre une entité rejetée. Ce paramètre est disponible à la fois comme option par défaut de FME et comme paramètre de traitement.
Paramètres
Authentification
| Source des identifiants |
Le connecteur AzureBlobStorageConnector peut utiliser des informations d'identification provenant de différentes sources. L'utilisation d'une connexion Web s'intègre mieux à FME, mais dans certains cas, vous pouvez souhaiter utiliser l'une des autres sources.
|
| Compte |
Disponible lorsque la source d'accréditation est Connexion web. Pour créer une connexion Azure Storage, cliquez sur le menu déroulant "Compte" et sélectionnez "Ajouter une connexion web…". La connexion pourra ensuite être gérée via Outils -> Options FME... -> Connexions Web. |
| Nom de compte et clé de compte | Disponible lorsque la source d'accréditation est Intégrée. Un nom de compte et une clé d'accès peuvent être spécifiés directement dans le Transformer au lieu d'une connexion web. |
| Nom du compte et jeton de signature d'accès partagé | Disponible lorsque la source d'accréditation est SAS. Un nom de compte et une signature d'accès partagé peuvent être spécifiés directement dans le Transformer. |
Requête
| Action |
Le type d'opération à effectuer. Les choix comprennent :
|
Les autres paramètres disponibles dépendent de la valeur du paramètre Requête > Action. Les paramètres de chaque action sont détaillés ci-dessous.
Paramètres - Suppression
Options de suppression
| Container | Le container dans lequel le fichier ou le répertoire se trouve. Si des paramètres d'authentification valides ont été fournis en tant que connexion web, vous pouvez choisir un container. |
| Chemin | Le chemin complet d'un fichier ou d'un dossier sur Blob Storage à supprimer. Si des informations d'identification valides ont été fournies en tant que connexion Web, vous pouvez rechercher un emplacement. |
Paramètres - Téléchargement
Options de téléchargement
| Container | Le container dans lequel le fichier ou le répertoire se trouve. Si des paramètres d'authentification valides ont été fournis en tant que connexion web, vous pouvez choisir un container. |
| Chemin | Le chemin complet d'un fichier ou d'un dossier sur Blob Storage à télécharger. Si des informations d'identification valides ont été fournies pour une connexion Web, vous pouvez rechercher un emplacement. |
|
Début de la plage d'octets |
Début de la plage d'octets à utiliser pour télécharger une section du blob. Si aucune plage de fin n'est donnée, tous les octets après la plage de début seront téléchargés. Les paramètres start_range et end_range sont inclusifs. Ex : start_range=0, end_range=511 téléchargera les 512 premiers octets du blob. |
|
Fin de la plage d'octets |
Fin de la plage d'octets à utiliser pour télécharger une section du blob. Si end_range est donné, start_range doit être fourni. Les paramètres start_range et end_range sont inclusifs. Ex : start_range=0, end_range=511 téléchargera les 512 premiers octets du blob. |
Destination
| Télécharger en tant que |
Sélectionner s'il faut stocker les données téléchargées dans un Fichier, dans un Répertoire ou dans un Attribut.
|
| Télécharger vers attribut |
Spécifiez l'attribut qui stockera le contenu du fichier téléchargé. Valable uniquement pour le téléchargement en tant qu'attribut. |
| Encodage de la réponse |
Pour télécharger en tant qu'attribut, vous pouvez indiquer un jeu d'encodage de caractères pour vous assurez que le résultat soit lisible par un individu. Si Détection automatique depuis l'en-tête HTTP est défini mais qu'il n'y a pas d'encodage dans le paramètre de métadonnées Content-Type associé avec la donnée, le résultat est retourné en tant qu'octets bruts . |
| Télécharger dans le dossier | Indiquez le chemin d'accès au dossier qui stockera le fichier téléchargé. Valable pour le téléchargement en tant que fichier ou dossier. |
| Si le fichier existe |
Indiquez ce qu'il faut faire si le fichier existe déjà localement. Valable pour Télécharger en tant que fichier ou dossier.
|
| Inclure les sous-dossiers |
Choisissez de télécharger ou non les sous-dossiers de la source Blob Storage. Valable uniquement pour le téléchargement en tant que dossier. |
Attributs en sortie
Les attributs suivants seront ajoutés à l'entité en sortie.
|
_download_path |
Chemin de l'objet téléchargé sur le système de fichiers local. Cet attribut ne sera pas ajouté pour le téléchargement en tant qu'attribut. |
Paramètres - Liste
Options de liste
| Container | Le container dans lequel le répertoire se trouve. Si des paramètres d'authentification valides ont été fournis en tant que connexion web, vous pouvez choisir un container. |
| Chemin | Le chemin d'accès complet au dossier du Blob Storage à lister. Si des informations d'identification valides ont été fournies en tant que connexion Web, vous pouvez rechercher un emplacement. |
| Inclure les sous-dossiers | Si défini sur Oui, alors les sous-répertoires sont récursivement parcourus et leur contenu est inclus dans le résultat. |
Attributs en sortie
Les attributs suivants seront ajoutés à l'entité en sortie.
|
_name |
Nom du fichier ou répertoire |
|
_full_path |
Chemin entier du fichier ou répertoire |
|
_url |
URL du fichier ou répertoire. |
|
_file_or_folder |
Si l'objet est un fichier ou un répertoire |
|
_file_size |
Taille du fichier (absent pour les répertoires) |
|
_created |
Date et heure de création du fichier |
|
_last_modified |
Date et heure de dernière modification du fichier |
|
_relative_path |
Chemin de l'objet relatif au chemin de la liste |
Paramètres - Chargement
Source de données
|
Chargement |
Type de données devant être chargées.
Lorsque l'on travaille avec de gros objets, Fichier est un meilleur choix que Attribut car les données transitent directement via le disque et ne nécessitent pas que l'objet soit stocké entièrement dans l'entité. Lorsque l'on veut télécharger le contenu d'un répertoire, il vaut mieux le télécharger en tant que répertoire au lieu d'installer un chemin fixe et d'envoyer des entités multiples dans le connecteur à télécharger en tant que fichier. |
|
Fichier à charger |
Fichier à charger sur le stockage Blob si Charger est défini sur Fichier. |
|
Dossier à charger |
Répertoire à charger sur le stockage Blob si Charger est défini sur Répertoire. |
|
Inclure les sous-dossiers |
Choisissez de télécharger ou non les sous-dossiers du dossier à télécharger. |
|
Contenu uniquement |
|
|
Attribut à télécharger en tant que fichier |
Données à charger, fournies par un attribut si Chargement est défini sur Attribut. |
Options de téléversement
| Container | Le container dans lequel le répertoire se trouve. Si des paramètres d'authentification valides ont été fournis en tant que connexion web, vous pouvez choisir un container. |
| Chemin | Le chemin d'accès complet au dossier du Blob Storage à télécharger. Si des informations d'identification valides ont été fournies en tant que connexion Web, vous pouvez rechercher un emplacement. |
| Charger avec le nom de fichier | Le nom du fichier créé à partir des données fournies dans Attribut à télécharger en tant que fichier. Le nom doit inclure une extension de nom de fichier (par exemple, .txt, .jpg, .doc). |
| Si le fichier existe |
Spécifier que faire si le fichier existe déjà sur le stockage Blob.
|
| Taille maximale de bloc (MB) |
La taille des blocs à créer lors du téléchargement (à condition que le fichier soit supérieur à 4 Mo). La taille maximale des blocs prise en charge par Azure Blob Storage est de 100 Mo. Pour plus d'information sur la taille des blocs, consulter https://docs.microsoft.com/en-us/rest/api/storageservices/understanding-block-blobs--append-blobs--and-page-blobs |
Métadonnées
Il est possible de spécifier des paires nom-valeur personnalisées qui sont associées aux entités chargées.
Générer une Signature d'Accès Partagé
Si cette option est cochée, une signature d'accès partagé (SAS) sera générée pour le fichier téléchargé. Les attributs _sas_url et _sas_token seront ajoutés à l'entité de sortie. Cette option n'est disponible que pour le téléchargement de fichiers et d'attributs. Pour plus d'informations sur SAS, veuillez consulter la documentation Microsoft Azure.
| Date d'expiration du jeton SAS |
Quand le jeton doit expirer. |
| Adresse IP ou ensemble | S'il est fourni, restreindre l'accès à une adresse IP ou à une plage d'adresses IP. Les plages sont indiquées au format "203.0.113.0-203.0.113.255". |
|
Restreindre au HTTPS |
Si Oui, le jeton ne peut être que via HTTPS. |
Attributs en sortie
Les attributs sélectionnés seront ajoutés à l'entité de sortie. Disponible uniquement pour les téléchargements de fichiers et de dossiers.
| _name |
Nom du fichier ou répertoire |
| _full_path | Chemin entier du fichier ou répertoire |
|
_url |
URL du fichier ou répertoire. |
Éditer les paramètres des Transformers
À l'aide d'un ensemble d'options de menu, les paramètres du Transformer peuvent être attribués en faisant référence à d'autres éléments du traitement. Des fonctions plus avancées, telles qu'un éditeur avancé et un éditeur arithmétique, sont également disponibles dans certains Transformers. Pour accéder à un menu de ces options, cliquez sur 
à côté du paramètre applicable. Pour plus d'informations, voir Options de menus et paramètres de Transformer.
Définir les valeurs
Il existe plusieurs façons de définir une valeur à utiliser dans un Transformer. La plus simple est de simplement taper une valeur ou une chaîne de caractères, qui peut inclure des fonctions de différents types comme des références d'attributs, des fonctions mathématiques et de chaînes de caractères, et des paramètres d'espace de travail. Il existe un certain nombre d'outils et de raccourcis qui peuvent aider à construire des valeurs, généralement disponibles dans le menu contextuel déroulant adjacent au champ de valeur.
Définir des valeurs de paramètres
Utilisation de l'éditeur de texte
L'éditeur de texte fournit un moyen efficace de construire des chaînes de textes (dont les expressions régulières) à partir de données source diverses, telles que des attributs, des paramètres et des constantes, et le résultat est directement utilisé dans le paramètre.
Utilisation de l'éditeur arithmétique
L'éditeur arithmétique fournit un moyen simple de construire des expressions mathématiques à partir de plusieurs données source, telles que des attributs et des fonctions, et le résultat est directement utilisé dans un paramètre.
Valeur conditionnelle
Définit des valeurs selon un ou plusieurs tests.
Fenêtre de définition de conditions
Contenu
Les expressions et chaînes de caractères peuvent inclure des fonctions, caractères, paramètres et plus.
Lors du paramétrage des valeurs - qu'elles soient entrées directement dans un paramètre ou construites en utilisant l'un des éditeurs - les chaînes de caractères et les expressions contenant des fonctions Chaîne de caractères, Math, Date et heure ou Entité FME auront ces fonctions évaluées. Par conséquent, les noms de ces fonctions (sous la forme @<nom_de_fonction>) ne doivent pas être utilisés comme valeurs littérales de chaîne de caractères.
Types de contenu
| Ces fonctions manipulent les chaînes de caractères. | |
|
Caractères spéciaux |
Un ensemble de caractères de contrôle est disponible dans l'éditeur de texte. |
| Plusieurs fonctions sont disponibles dans les deux éditeurs. | |
| Fonctions Date/heure | Les fonctions de dates et heures sont disponibles dans l'Editeur texte. |
| Ces opérateur sont disponibles dans l'éditeur arithmétique. | |
| Elles retournent des valeurs spécifiques aux entités. | |
| Les paramètres FME et spécifiques au projet peuvent être utilisés. | |
| Créer et modifier un paramètre publié | Créer ses propres paramètres éditables. |
Options - Tables
Les Transformers avec des paramètres de style table possèdent des outils additionnels pour remplir et manipuler des valeurs.
Outils de tableau
|
Réordonner
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
|
|
Couper, Copier et Coller
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
Copier, copier et coller peuvent être utilisés au sein d'un Transformer ou entre Transfromers. |
|
Filtre
|
Commencez à taper une chaîne de caractères, et la matrice n'affichera que les lignes correspondant à ces caractères. Recherche dans toutes les colonnes. Cela n'affecte que l'affichage des attributs dans le Transformer - cela ne change pas les attributs qui sont sortis. |
|
Importer
|
Le bouton d'import remplit la table avec un jeu de nouveaux attributs lus depuis un jeu de données. L'application spécifique varie selon les Transformers. |
|
Réinitialiser/Rafraîchir
|
Réinitialise la table à son état initial, et peut fournir des options additionnelles pour supprimer des entrées invalides. Le comportement varie d'un Transformer à l'autre. |
Note : Tous les outils ne sont pas disponibles dans tous les Transformers.
Références
|
Comportement |
|
|
Stockage des entités |
Non |
| Dépendances | Compte Azure Storage |
| Alias | |
| Historique | Implémenté dans FME 2019.0 |
FME Community
FME Community iest l'endroit où trouver des démos, des tutoriaux, des articles, des FAQ et bien plus encore. Obtenez des réponses à vos questions, apprenez des autres utilisateurs et suggérez, votez et commentez de nouvelles entités.
Rechercher tous les résultats sur ce Transformer sur FME Community.
Les exemples peuvent contenir des informations sous licence Open Government - Vancouver et/ou Open Government - Canada.