GoogleCloudPubSubConnector
Se connecte au service Google Pub/Sub pour créer des sujets et abonnements ou envoyer et recevoir des messages.
Utilisations typiques
- Traitement de log des événements
- L'interopérabilité des les plateformes d'analyse Big Data
Configuration
Ports d'entrée
Ce Transformer accepte tous types d'entités.
Ports de sortie
La sortie de ce Transformer varie en fonction de l'action effectuée. Les données de message et les métadonnées sont présentées comme des attributs d'entité.
- Après une action Réception, les entités en sortie représentent les messages reçus depuis l'abonnement.
- Après une action Envoi, les entités en sortie représentent les messages envoyés au sujet.
L'entité entrante ressort par ce port.
Les entités qui provoquent l'échec de l'opération ressortent par ce port. Un attribut fme_rejection_code, ayant la valeur ERROR_DURING_PROCESSING, sera ajouté, ainsi qu'un attribut fme_rejection_message plus descriptif qui contient des détails plus spécifiques sur la raison de l'échec.
Note: Si une entité arrive dans GoogleCloudPubSubConnector en ayant déjà une valeur pour fme_rejection_code, celle-ci sera retirée.
Gestion des entités rejetées : ce paramètre permet d'interrompre la traduction ou de la poursuivre lorsqu'elle rencontre une entité rejetée. Ce paramètre est disponible à la fois comme option par défaut de FME et comme paramètre de traitement.
Paramètres
Source des identifiants |
Requis pour l'authentification. L'utilisation d'une connexion web s'intègre le mieux à FME, mais dans certains cas, vous pouvez souhaiter utiliser un fichier clé.
|
Compte |
Disponible lorsque la source d'accréditation est une connexion Web. Pour créer une connexion Google Cloud, cliquez sur la boîte déroulante "Compte" et sélectionnez "Ajouter une connexion Web...". La connexion pourra ensuite être gérée via Outils > Options FME... > Connexions Web. |
ID Projet | L'ID de projet Google Cloud. |
Action |
Le type d'opération à effectuer. Les choix possibles sont :
|
Les autres paramètres disponibles dépendent de la valeur du paramètre Requête > Action. Les paramètres de chaque action sont détaillés ci-dessous.
Abonnement
Abonnement |
L'abonnement pour s'abonner aux messages. Un sujet peut avoir plusieurs abonnements. |
Créer un abonnement |
Si Oui, l'abonnement sera créé automatiquement selon les options d'abonnement. |
Créer des options d'abonnement
Topic |
Le sujet auquel s'abonner. |
Date limite d'accusé de réception (secondes) |
Le temps approximatif pendant lequel le service attend que l'abonné accuse réception du message avant de le renvoyer. La valeur par défaut et minimale est de 10 secondes. Le maximum est de 10 minutes. |
Options de réception des messages
Mode |
Deux options de réception de messages sont disponibles :
|
Nombre maximum de messages |
En mode Batch, jusqu'au nombre de messages spécifié. Souvent, le service en renverra moins. |
Encodage |
Par défaut, l'attribut _value contient les octets bruts reçus du serveur. Si un encodage est sélectionné, le connecteur tentera plutôt de décoder la valeur du message reçu en une chaîne de caractères utilisant l'encodage sélectionné. |
Sujets
Sujets |
Les sujets où le message est envoyé. Les sujets multiples sont séparés par des espaces. |
Créer des sujets manquants |
Si Oui est sélectionné, les sujets seront automatiquement créés s'ils n'existent pas. |
Options d'envoi des messages
Valeur du message |
Les données réelles du message. Il doit s'agir d'une chaîne ou d'une valeur binaire. La valeur doit correspondre au type de codage. |
Encodage |
Le codage de la valeur du message. Le codage doit être approprié à la valeur du message. |
Attributs |
Attributs supplémentaires pour le message. Un attribut possède une clé et une valeur, qui peuvent être des chaînes de texte ou des chaînes d'octets. |
Les attributs suivants peuvent être sélectionnés pour être inclus dans les entités de sortie. Chaque entité de sortie représente un message qui a été soit envoyé, soit reçu.
_id |
L'id du message. |
_value |
La valeur du message |
_timestamp |
L'horodatage de la création du message. Notez que les horodatages des messages envoyés ne sont pas disponibles. |
_partition |
La partition dans laquelle le message est stockée. |
_attributes{}.name |
Attributs de liste structurée contenant les clés et les valeurs d'en-tête d'un message reçu. Notez que l'ordre des attributs peut être arbitraire. |
Éditer les paramètres des Transformers
À l'aide d'un ensemble d'options de menu, les paramètres du Transformer peuvent être attribués en faisant référence à d'autres éléments du traitement. Des fonctions plus avancées, telles qu'un éditeur avancé et un éditeur arithmétique, sont également disponibles dans certains Transformers. Pour accéder à un menu de ces options, cliquez sur à côté du paramètre applicable. Pour plus d'informations, voir Options de menus et paramètres de Transformer.
Définir les valeurs
Il existe plusieurs façons de définir une valeur à utiliser dans un Transformer. La plus simple est de simplement taper une valeur ou une chaîne de caractères, qui peut inclure des fonctions de différents types comme des références d'attributs, des fonctions mathématiques et de chaînes de caractères, et des paramètres d'espace de travail. Il existe un certain nombre d'outils et de raccourcis qui peuvent aider à construire des valeurs, généralement disponibles dans le menu contextuel déroulant adjacent au champ de valeur.
Utilisation de l'éditeur de texte
L'éditeur de texte fournit un moyen efficace de construire des chaînes de textes (dont les expressions régulières) à partir de données source diverses, telles que des attributs, des paramètres et des constantes, et le résultat est directement utilisé dans le paramètre.
Utilisation de l'éditeur arithmétique
L'éditeur arithmétique fournit un moyen simple de construire des expressions mathématiques à partir de plusieurs données source, telles que des attributs et des fonctions, et le résultat est directement utilisé dans un paramètre.
Valeur conditionnelle
Définit des valeurs selon un ou plusieurs tests.
Fenêtre de définition de conditions
Contenu
Les expressions et chaînes de caractères peuvent inclure des fonctions, caractères, paramètres et plus.
Lors du paramétrage des valeurs - qu'elles soient entrées directement dans un paramètre ou construites en utilisant l'un des éditeurs - les chaînes de caractères et les expressions contenant des fonctions Chaîne de caractères, Math, Date et heure ou Entité FME auront ces fonctions évaluées. Par conséquent, les noms de ces fonctions (sous la forme @<nom_de_fonction>) ne doivent pas être utilisés comme valeurs littérales de chaîne de caractères.
Ces fonctions manipulent les chaînes de caractères. | |
Caractères spéciaux |
Un ensemble de caractères de contrôle est disponible dans l'éditeur de texte. |
Plusieurs fonctions sont disponibles dans les deux éditeurs. | |
Fonctions Date/heure | Les fonctions de dates et heures sont disponibles dans l'Editeur texte. |
Ces opérateur sont disponibles dans l'éditeur arithmétique. | |
Elles retournent des valeurs spécifiques aux entités. | |
Les paramètres FME et spécifiques au projet peuvent être utilisés. | |
Créer et modifier un paramètre publié | Créer ses propres paramètres éditables. |
Options - Tables
Les Transformers avec des paramètres de style table possèdent des outils additionnels pour remplir et manipuler des valeurs.
Réordonner
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
|
Couper, Copier et Coller
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
Copier, copier et coller peuvent être utilisés au sein d'un Transformer ou entre Transfromers. |
Filtre
|
Commencez à taper une chaîne de caractères, et la matrice n'affichera que les lignes correspondant à ces caractères. Recherche dans toutes les colonnes. Cela n'affecte que l'affichage des attributs dans le Transformer - cela ne change pas les attributs qui sont sortis. |
Importer
|
Le bouton d'import remplit la table avec un jeu de nouveaux attributs lus depuis un jeu de données. L'application spécifique varie selon les Transformers. |
Réinitialiser/Rafraîchir
|
Réinitialise la table à son état initial, et peut fournir des options additionnelles pour supprimer des entrées invalides. Le comportement varie d'un Transformer à l'autre. |
Note : Tous les outils ne sont pas disponibles dans tous les Transformers.
Références
Comportement |
|
Stockage des entités |
Non |
Dépendances | Compte Google Cloud |
Alias | |
Historique | Implémenté dans FME 2019.0 |
FME Community
FME Community iest l'endroit où trouver des démos, des tutoriaux, des articles, des FAQ et bien plus encore. Obtenez des réponses à vos questions, apprenez des autres utilisateurs et suggérez, votez et commentez de nouvelles entités.
Rechercher tous les résultats sur ce Transformer sur FME Community.
Les exemples peuvent contenir des informations sous licence Open Government - Vancouver et/ou Open Government - Canada.