Accède au service de stockage Amazon Simple Storage Service (S3) pour charger, télécharger ou supprimer des fichiers et des dossiers ou contenu de dossier depuis un compte S3.
Cas d'utilisation courants
- gérer des jeux de données sur S3 en téléchargeant, chargeant, supprimer des fichiers ou des dossiers.
- Transfert de contenu d'un fichier (tel qu'un XML ou un Raster) dans un attribut FME
- Lecture de données S3 téléchargées en utilisant FeatureReader, ou en chargeant des données écrites par FeatureWriter.
- Récupération de noms de fichier ou dossier, de chemins et autres informations de S3 pour les utiliser ailleurs dans un traitement.
Comment fonctionne-t-il ?
S3Connector utilise votre compte Amazon S3 (soit via une ancienne connexion web FME, soit en définissant une nouvelle connexion via le Transformer) pour accéder au service de stockage de fichiers.
En fonction des actions que vous avez choisies, il téléchargera des fichiers, des dossiers et des attributs, dressera la liste des informations du service ou supprimera des éléments du service. Pour les téléchargements, les attributs de chemin d'accès sont ajoutés aux entités de sortie. Pour les actions de liste, les informations sur les fichiers/dossiers sont ajoutées comme attributs.
Notes
- Ce Transformer ne peut pas être utilisé pour déplacer ou copier directement des fichiers entre différents emplacements S3. Cependant, plusieurs S3Connectors peuvent être utilisés pour déplacer ou copier des fichiers avec un téléchargement intermédiaire.
- FeatureReader peut accéder à S3 directement, sans utiliser le S3Connector. Dans ce cas, une copie locale du jeu de données ne sera pas créée.
Configuration
Ports en entrée
Input
Ce Transformer accepte tous types d'entités.
Ports de sortie
Output
La sortie de ce Transformer varie selon l'action S3 effectuée.
- Après une action Chargement, les URL vers le fichier peuvent être sauvegardées directement dans l'attribut Lien direct, et le compartiment et le chemin vers l'objet seront sauvegardés dans l'attribut Chemin complet.
- Le Téléchargement mettra en sortie l'entité entrante en sortie et peut sauvegarder vers un fichier, un répertoire ou vers un attribut.
- Suppression mettra en sortie une nouvelle entité.
- Une action Lister produira une nouvelle entité pour chaque fichier/dossier trouvé dans le chemin spécifié. Chacune de ces nouvelles entités aura des attributs listant diverses informations sur l'objet.
<Rejected>
Les entités qui provoquent l'échec de l'opération ressortent par ce port. Un attribut fme_rejection_code, ayant la valeur ERROR_DURING_PROCESSING, sera ajouté, ainsi qu'un attribut fme_rejection_message plus descriptif qui contient des détails plus spécifiques sur la raison de l'échec.
Si une entité entrant dans S3Connector possède déjà une valeur pour fme_rejection_code, cette dernière sera supprimée.
Gestion des entités rejetées : ce paramètre permet d'interrompre la traduction ou de la poursuivre lorsqu'elle rencontre une entité rejetée. Ce paramètre est disponible à la fois comme option par défaut de FME et comme paramètre de traitement.
Paramètres
Authentification
|
Source des identifiants |
Le S3Connector peut utiliser des informations d'identification provenant de différentes sources. L'utilisation d'une connexion web s'intègre mieux à FME, mais dans certains cas, vous pouvez souhaiter utiliser l'une des autres sources.
|
|
Compte |
Disponible lorsque la source d'accréditation est une connexion Web. Pour créer une connexion S3, cliquez sur le menu déroulant "Compte" et sélectionnez "Ajouter une connexion Web...". La connexion pourra ensuite être gérée via Outils -> Options FME... -> Connexions Web. |
|
Région
|
La région AWS dans laquelle le compartiment spécifié réside. Si la valeur par défaut, US East, N. Virginia (us-east-1), est spécifiée, et que le compartiment spécifié n'y réside pas, l'opération réussira quand même. Toutefois, pour optimiser la latence, il est préférable de spécifier la région correcte. |
|
Autre critère d'évaluation |
Si cela est spécifié, utilisez une autre API compatible avec S3. Il s'agit généralement de services de stockage d'objets de fournisseurs autres qu'AWS, ou de solutions sur site. |
|
Vérifier les certificats SSL |
|
|
AWS CA Bundle |
L'AWS CA Bundle spécifie le chemin d'accès à un ensemble de certificats à utiliser pour la validation des certificats. Si elle est définie, elle a la priorité sur la valeur de la variable d'environnement AWS_CA_BUNDLE. |
|
Le demandeur paye |
Certains compartiments publics exigent que le demandeur paie le coût des opérations effectuées. En définissant ce paramètre sur Oui, AWS pourra facturer le compte associé aux informations d'identification fournies. |
|
ID Clé d'accès ou Clé d'accès secrète |
Disponible lorsque la source d'accréditation est Intégrée. Un ID de clé d'accès et une clé d'accès secrète peuvent être spécifiés directement dans le Transformer au lieu d'une connexion web. |
|
Jeton de session |
Facultatif. Disponible lorsque la source d'informations d'identification est Intégrée. Si cette option est spécifiée, les informations d'identification temporaires sont utilisées pour se connecter à S3. |
Requête
|
Action |
Le type d'opération à effectuer. Les choix possibles sont :
|
Les autres paramètres disponibles dépendent de la valeur du paramètre Requête > Action. Les paramètres de chaque action sont détaillés ci-dessous.
Paramètres - Suppression
Options de suppression
|
Compartiment |
Le container dans lequel le fichier ou le répertoire se trouve. Si des paramètres d'authentification valides ont été fournis en tant que connexion web, vous pouvez choisir un container. |
|
Chemin |
Le chemin complet d'un fichier ou d'un dossier sur S3 à supprimer. Si des informations d'identification valides ont été fournies en tant que connexion Web, vous pouvez rechercher un emplacement. |
Paramètres - Téléchargement
Options de téléchargement
|
Compartiment |
Le container dans lequel le fichier ou le répertoire se trouve. Si des paramètres d'authentification valides ont été fournis en tant que connexion web, vous pouvez choisir un container. |
|
Chemin |
Le chemin complet d'un fichier ou d'un dossier sur S3 à télécharger. Si des informations d'identification valides ont été fournies dans le cadre d'une connexion Web, vous pouvez rechercher un emplacement. |
|
Acceleration S3 |
Si Oui, permet l'accélération du transfert Amazon S3 sur le compartiment, si elle est activée. Pour activer l'accélération, voir https://docs.aws.amazon.com/AmazonS3/latest/UG/enable-bucket-transfer-acceleration.html. Lors de l'autorisation de l'accélération S3, gardez à l'esprit que :
|
Destination
|
Télécharger en tant que |
Sélectionner s'il faut stocker les données téléchargées dans un Fichier, dans un Répertoire ou dans un Attribut.
|
|
Télécharger vers attribut |
Spécifiez l'attribut qui stockera le contenu du fichier téléchargé. Valable uniquement pour le téléchargement en tant qu'attribut. |
|
Encodage de la réponse |
Pour télécharger en tant qu'attribut, vous pouvez indiquer un jeu d'encodage de caractères pour vous assurez que le résultat soit lisible par un individu. Si Détection automatique depuis l'en-tête HTTP est défini mais qu'il n'y a pas d'encodage dans le paramètre de métadonnées Content-Type associé avec la donnée, le résultat est retourné en tant qu'octets bruts . |
|
Télécharger dans le dossier |
Indiquez le chemin d'accès au dossier qui stockera le fichier téléchargé. Valable pour le téléchargement en tant que fichier ou dossier. |
|
Si le fichier existe |
Indiquez ce qu'il faut faire si le fichier existe déjà localement. Valable pour Télécharger en tant que fichier ou dossier.
|
|
Inclure les sous-dossiers |
Choisissez de télécharger ou non les sous-dossiers de la source S3. Valable uniquement pour le téléchargement en tant que dossier. Défaut : Non. |
Attributs en sortie
Les attributs suivants seront ajoutés à l'entité en sortie.
|
_download_path |
Chemin de l'objet téléchargé sur le système de fichiers local. Cet attribut ne sera pas ajouté pour le téléchargement en tant qu'attribut. |
Paramètres - Liste
Options de liste
|
Compartiment |
Le container dans lequel le répertoire se trouve. Si des paramètres d'authentification valides ont été fournis en tant que connexion web, vous pouvez choisir un container. |
|
Chemin |
Le chemin d'accès complet au dossier sur S3 à lister. Si des informations d'identification valides ont été fournies en tant que connexion web, vous pouvez rechercher un emplacement. |
|
Inclure les sous-dossiers |
Si défini sur Oui, alors les sous-répertoires sont récursivement parcourus et leur contenu est inclus dans le résultat. Défaut : Non. |
Attributs en sortie
Des noms d'attributs par défaut sont fournis automatiquement et peuvent être écrasés.
|
Nom de fichier ou de dossier |
Spécifier l'attribut qui stockera le nom d'un objet sur S3. |
|
Nom du compartiment |
Spécifier l'attribut qui stockera l'ID d'un objet sur S3. |
|
Chemin entier |
Spécifier l'attribut devant contenir le chemin entier d'un objet sur S3. |
|
URL |
Spécifier l'attribut qui stockera le nom d'un objet sur S3. |
|
Taille de fichier |
Spécifier l'attribut devant contenir la taille d'un objet sur S3. |
|
Dernière modification |
Spécifier l'attribut devant contenir la date de dernière modification d'un objet sur S3. |
|
Marqueur de fichier ou dossier |
Spécifier l'attribut devant contenir le type (fichier ou dossier) d'un objet sur S3. |
|
Chemin relatif |
Spécifier l'attribut devant contenir le chemin relatif d'un objet sur S3. |
Paramètres - Chargement
Source de données
|
Chargement |
Type de données devant être chargées.
Lorsque l'on travaille avec de gros objets, Fichier est un meilleur choix que Attribut car les données transitent directement via le disque et ne nécessitent pas que l'objet soit stocké entièrement dans l'entité. S3 traite les téléchargements de fichiers de même nom, dans un dossier spécifique, comme des doublons, mais n'autorise pas les instances multiples dans un dossier spécifique. Vous devez télécharger le fichier dans un dossier différent de celui qui existe déjà, sinon l'original sera écrasé. Lorsque l'on veut télécharger le contenu d'un répertoire, il vaut mieux le télécharger en tant que répertoire au lieu d'installer un chemin fixe et d'envoyer des entités multiples dans le connecteur à télécharger en tant que fichier. |
|
Fichier à charger |
Fichier à charger sur S3 si le paramètre Charger vers vaut Fichier. |
|
Dossier à charger |
Dossier à charger sur S3 si le paramètre Charger vers vaut Dossier. |
|
Inclure les sous-dossiers |
Choisissez de télécharger ou non les sous-dossiers du dossier à télécharger. |
|
Contenu uniquement |
|
|
Attribut à télécharger en tant que fichier |
Données à charger, fournies par un attribut si Chargement est défini sur Attribut. |
Options de téléversement
|
Compartiment |
Le container dans lequel le répertoire se trouve. Si des paramètres d'authentification valides ont été fournis en tant que connexion web, vous pouvez choisir un container. |
|
Chemin |
Le chemin d'accès complet au dossier sur S3 à télécharger. Si des informations d'identification valides ont été fournies en tant que connexion Web, vous pouvez rechercher un emplacement. |
|
Charger avec le nom de fichier |
Le nom du fichier créé à partir des données fournies dans Attribut à télécharger en tant que fichier. Le nom doit inclure une extension de nom de fichier (par exemple, .txt, .jpg, .doc). |
|
Si le fichier existe |
Spécifier que faire si le fichier existe déjà sur S3.
|
|
Acceleration S3 |
Si Oui, permet l'accélération du transfert Amazon S3 sur le compartiment, si elle est activée. Pour activer l'accélération, voir https://docs.aws.amazon.com/AmazonS3/latest/UG/enable-bucket-transfer-acceleration.html. Lors de l'autorisation de l'accélération S3, gardez à l'esprit que :
|
|
Encodage |
|
|
Droits |
L'ensemble prédéfini de bénéficiaires et de permissions à stocker avec chaque objet téléchargé. Pour plus d'informations, voir https://docs.aws.amazon.com/AmazonS3/latest/dev/ACLOverview.html#CannedACL. |
|
Générer une URL présignée |
Si cette option est activée, une URL présignée est générée pour le fichier téléchargé, et stockée dans l'attribut _presigned_url. Cela permet d'accéder au fichier sans avoir besoin d'informations d'identification pour le seau. Pour plus d'informations, voir https://docs.aws.amazon.com/AmazonS3/latest/dev/ShareObjectPreSignedURL.html. |
|
Expiration |
Lors de la génération d'une URL présignée, spécifie optionnellement un nombre de secondes durant lesquelles le lien reste valide. |
|
Métadonnées |
Vous pouvez spécifier des champs d'en-tête dans la demande de téléchargement HTTP. Sous Nom, spécifiez un champ d'en-tête. Vous pouvez choisir dans une liste déroulante de champs prédéfinis qui incluent des paramètres de métadonnées et de permissions ACL. Vous pouvez également saisir les champs manuellement. Sous Valeur, indiquez une valeur de champ. Les champs de métadonnées personnalisés seront automatiquement préfixés par AWS avec 'x-amz-meta-'. |
Attributs en sortie
|
Nom de fichier ou de dossier |
Spécifiez l'attribut de sortie qui stockera le nom du fichier ou du dossier. Par exemple, l'attribut peut contenir 'CityParks.gml'. |
|
Chemin entier |
Spécifiez l'attribut de sortie qui stockera le chemin complet du fichier/dossier qui vient d'être téléchargé. Par exemple, l'attribut peut contenir 'city_data/GML/CityParks.gml'. |
|
Nom du compartiment |
Spécifie l'attribut en sortie qui stockera le nom du compartiment dans lequel le fichier a été chargé. |
|
URL |
Spécifie l'attribut de sortie qui contiendra l'URL du fichier ou dossier dans S3. |
Éditer les paramètres des Transformers
À l'aide d'un ensemble d'options de menu, les paramètres du Transformer peuvent être attribués en faisant référence à d'autres éléments de traitement. Des fonctions plus avancées, telles qu'un éditeur avancé et un éditeur arithmétique, sont également disponibles dans certains Transformers. Pour accéder à un menu de ces options, cliquez sur 
à côté du paramètre applicable. Pour plus d'informations, voir Options de menus et paramètres de Transformer.
Définir les valeurs
Il existe plusieurs façons de définir une valeur à utiliser dans un Transformer. La plus simple est de simplement taper une valeur ou une chaîne de caractères, qui peut inclure des fonctions de différents types comme des références d'attributs, des fonctions mathématiques et de chaînes de caractères, et des paramètres de traitement. Il existe un certain nombre d'outils et de raccourcis qui peuvent aider à construire des valeurs, généralement disponibles dans le menu contextuel déroulant adjacent au champ de valeur.
Définir des valeurs de paramètres
Utilisation de l'éditeur de texte
L'éditeur de texte fournit un moyen efficace de construire des chaînes de textes (dont les expressions régulières) à partir de données source diverses, telles que des attributs, des paramètres et des constantes, et le résultat est directement utilisé dans le paramètre.
Utilisation de l'éditeur arithmétique
L'éditeur arithmétique fournit un moyen simple de construire des expressions mathématiques à partir de plusieurs données source, telles que des attributs et des fonctions, et le résultat est directement utilisé dans un paramètre.
Valeur conditionnelle
Définit des valeurs selon un ou plusieurs tests.
Fenêtre de définition de conditions
Contenu
Les expressions et chaînes de caractères peuvent inclure des fonctions, caractères, paramètres et plus.
Lors du paramétrage des valeurs - qu'elles soient entrées directement dans un paramètre ou construites en utilisant l'un des éditeurs - les chaînes de caractères et les expressions contenant des fonctions Chaîne de caractères, Math, Date et heure ou Entité FME auront ces fonctions évaluées. Par conséquent, les noms de ces fonctions (sous la forme @<nom_de_fonction>) ne doivent pas être utilisés comme valeurs littérales de chaîne de caractères.
Types de contenu
| Ces fonctions manipulent les chaînes de caractères. | |
|
Caractères spéciaux |
Un ensemble de caractères de contrôle est disponible dans l'éditeur de texte. |
| Plusieurs fonctions sont disponibles dans les deux éditeurs. | |
| Fonctions Date/heure | Les fonctions de dates et heures sont disponibles dans l'Editeur texte. |
| Ces opérateur sont disponibles dans l'éditeur arithmétique. | |
| Elles retournent des valeurs spécifiques aux entités. | |
| Les paramètres FME et spécifiques au traitement peuvent être utilisés. | |
| Créer et modifier un paramètre publié | Créer ses propres paramètres éditables. |
Options - Tables
Les Transformers avec des paramètres de style table possèdent des outils additionnels pour remplir et manipuler des valeurs.
Outils de tableau
|
Réordonner
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
|
|
Couper, Copier et Coller
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
Copier, copier et coller peuvent être utilisés au sein d'un Transformer ou entre Transfromers. |
|
Filtre
|
Commencez à taper une chaîne de caractères, et la matrice n'affichera que les lignes correspondant à ces caractères. Recherche dans toutes les colonnes. Cela n'affecte que l'affichage des attributs dans le Transformer - cela ne change pas les attributs qui sont sortis. |
|
Importer
|
Le bouton d'import remplit la table avec un jeu de nouveaux attributs lus depuis un jeu de données. L'application spécifique varie selon les Transformers. |
|
Réinitialiser/Rafraîchir
|
Réinitialise la table à son état initial, et peut fournir des options additionnelles pour supprimer des entrées invalides. Le comportement varie d'un Transformer à l'autre. |
Note : Tous les outils ne sont pas disponibles dans tous les Transformers.
Références
|
Comportement |
|
|
Stockage des entités |
Non |
| Dépendances | Compte S3 |
| Alias | S3Deleter, S3Downloader, S3ObjectLister, S3Uploader |
| Historique | Implémenté dans FME 2019.0 |
FME Community
FME Community est l'endroit où trouver des démos, des tutoriaux, des articles, des FAQ et bien plus encore. Obtenez des réponses à vos questions, apprenez des autres utilisateurs et suggérez, votez et commentez de nouvelles entités.
Voir tous les résultats à propos de ce Transformer sur FME Community.
Les exemples peuvent contenir des informations sous licence Open Government - Vancouver et/ou Open Government - Canada.