Accède aux Azure Event Hubs pour envoyer, recevoir ou vérifier des messages.
Cas d'utilisations typiques
- Recevoir et envoyer des messages à partir d'un hub d'événements
- Interopérabilité avec des plateformes d'analyse Big Data
Comment fonctionne-t-il ?
Le connecteur AzureEventHubsConnector se connecte aux Event Hubs d'Azure via le protocole Kafka en utilisant le SDK Azure Event Hub. Il prend en charge la publication, la réception et le contrôle des messages. Dans la documentation Azure, un message est également appelé "événement".
Configuration
Ports d'entrée
Input
Ce Transformer accepte tous types d'entités.
Ports de sortie
Output
La sortie de ce Transformer varie en fonction de l'action effectuée. Les données de message et les métadonnées sont présentées comme des attributs d'entité.
- Après une action Réception, les entités en sortie représentent les messages reçus depuis Azure Event Hub.
- Après une action Envoi, les entités en sortie représentent les messages envoyés à Azure Event Hub.
Initiator
L'entité entrante ressort par ce port.
<Rejected>
Les entités qui provoquent l'échec de l'opération ressortent par ce port. Un attribut fme_rejection_code, ayant la valeur ERROR_DURING_PROCESSING, sera ajouté, ainsi qu'un attribut fme_rejection_message plus descriptif qui contient des détails plus spécifiques sur la raison de l'échec.
Note: Si une entité entrant dans AzureEventHubsConnector possède déjà une valeur pour fme_rejection_code, cette dernière sera supprimée.
Gestion des entités rejetées : ce paramètre permet d'interrompre la traduction ou de la poursuivre lorsqu'elle rencontre une entité rejetée. Ce paramètre est disponible à la fois comme option par défaut de FME et comme paramètre de traitement.
Paramètres
Authentification
|
Source des identifiants |
Requis pour l'authentification. L'utilisation d'une connexion Web s'intègre le mieux à FME, mais dans certains cas, vous pouvez souhaiter utiliser l'une des autres sources.
|
|
Compte |
Disponible lorsque la source d'accréditation est Connexion web. Pour créer une connexion Azure Event Hubs, cliquez sur le menu déroulant "Compte" et sélectionnez "Ajouter une connexion web…". La connexion pourra ensuite être gérée via Outils -> Options FME... -> Connexions Web. |
Informations d'authentification intégrées
|
Chaîne de connexion du Hub d'événements |
Disponible lorsque la source d'authentification est intégrée. La chaîne de connexion se trouve dans l'espace de noms Azure Portal Event Hubs sous Shared Access Policies. |
Requête
|
Action |
Le type d'opération à effectuer. Les choix possibles sont :
|
|
Hubs d'événements |
Le hub de l'événement auquel se connecter. |
Certains paramètres sont variables, en fonction de la valeur du paramètre Requête > Action.
Paramètres - Envoi
Options d'envoi
|
Payload |
Contenu du message Il s'agit souvent de JSON, mais il peut s'agir de n'importe quelle chaîne, binaire, nombre entier ou valeur en virgule flottante. |
||||
|
ID de partition |
(Facultatif) L'ID de partition spécifique à envoyer. S'il est vide, un message sera assigné à une partition aléatoire en utilisant la méthode round-robin. |
||||
|
Propriétés du message |
(Facultatif) Propriétés supplémentaires à envoyer avec chaque message.
|
Paramètres - Réception
Réception de messages depuis le début de la file d'attente.
Le point de contrôle est également activé, mais il est facultatif.
Options de réception
|
Groupe de consommateurs |
Le nom du groupe de consommateurs qui doit visualiser le flux du hub d'événements. Les groupes de consommateurs sont créés dans le portail Azure. La valeur par défaut est "$Default". |
|
Mode de réception |
Deux options de réception de messages sont disponibles :
|
| Taille des lots |
La méthode Par lots (Batch) spécifie le nombre de messages à lire par lot. |
|
ID de partition |
(Facultatif) Si cette option est spécifiée, le client recevra uniquement des informations de cette partition. S'il est vide, le client recevra des informations de toutes les partitions. Il est recommandé qu'il n'y ait qu'un seul récepteur actif sur une partition par groupe de consommateurs. |
|
Nombre d'opérations de recherche (Prefetch) |
(Facultatif) Le nombre de message à prefetch à partir d'Azure. La valeur par défaut 300. |
|
Position de départ |
(Facultatif) Commencer la réception à partir de cette position d'événement s'il n'y a pas de données de point de contrôle pour la partition. Les données des points de contrôle seront utilisées si elles sont disponibles. La valeur par défaut (vide) est @latest qui ne reçoit que les nouveaux événements. -1 commence à recevoir au début du flux Peut être une chaîne, un entier ou une date. |
|
Mode de position de départ |
Détermine si la position de départ est inclusive ou non. La valeur par défaut est exclusive. |
Stockage de points de contrôle (Azure Blob) - Facultatif
Voir Paramètres - Action de point de contrôle pour plus de détails.
|
Nom de conteneur |
Le nom du conteneur pour le stockage de blob. |
|
Chaîne de connexion |
Chaîne de connexion à un compte Azure Storage. |
|
Intervalle entre les points de contrôle |
(Facultatif) Soumet un stockage de points de contrôle au blob Azure tous les N messages. Par défaut, les points de contrôle ne sont effectués qu'à la fin du flux. Il y aura toujours un point de contrôle à la fin d'un flux de messages. |
Paramètres - Action de point de contrôle
L'action point de contrôle vérifie manuellement un message à l'aide du stockage de points de contrôle Azure Blob.
Cette option est utilisée en cas de post-traitement d'un message dans le traitement dans lequel vous souhaitez que le point de contrôle soit effectué plus tard après la réception du message.
Options de point de contrôle
|
ID de message reçu |
L'attribut _receive_id d'un Transformers de réception (avec l'action Recevoir) utilisé pour identifier un message à contrôler. |
Stockage de points de contrôle (Azure Blob)
Le stockage de points de contrôle est facultatif pour l'action Recevoir et obligatoire pour l'action Point de contrôle. Il est utilisé pour stocker les données d'équilibrage de charge et de point de contrôle des partitions lors de la réception d'événements. L'équilibrage de la charge ne s'applique pas lors de la réception d'une seule partition.
Si un stockage de points de contrôle n'est pas fourni, le point de contrôle sera maintenu en interne dans la mémoire et le client recevra les événements sans équilibrage de la charge.
Lorsqu'il est utilisé, un stockage de points de contrôle utilise un conteneur de stockage Azure pour stocker les informations de décalage. Les informations de décalage sont utilisées pour commencer la réception à la même position lors de la réception suivante.
|
Nom de conteneur |
Le nom du conteneur pour le stockage de blob. |
|
Chaîne de connexion |
Chaîne de connexion à un compte Azure Storage. |
|
Intervalle entre les points de contrôle |
(Facultatif) Soumet un stockage de points de contrôle au blob Azure tous les N messages. Par défaut, les points de contrôle ne sont effectués qu'à la fin du flux. Il y aura toujours un point de contrôle à la fin d'un flux de messages. |
Attributs en sortie
Les attributs suivants peuvent être sélectionnés pour être inclus dans les entités de sortie. Chaque entité de sortie représente un message qui a été soit envoyé, soit reçu.
|
_payload |
La charge utile du message. Chaîne UTF-8 si possible à décoder, sinon binaire ou numérique. |
|
_enqueued_time |
L'heure à laquelle le message a été envoyé. |
|
_offset |
Le décalage du message |
|
_partition_key |
La partition du message |
|
_properties |
Une paire clé/valeur des propriétés du message. |
|
_receive_id |
Un identifiant généré pour identifier le message utilisé pour l'action Point de contrôle. |
|
_sequence_number |
Numéro de séquence du message. |
|
_system_properties |
Métadonnées définies par le service Event Hubs associé au message. |
Éditer les paramètres des Transformers
À l'aide d'un ensemble d'options de menu, les paramètres du Transformer peuvent être attribués en faisant référence à d'autres éléments de traitement. Des fonctions plus avancées, telles qu'un éditeur avancé et un éditeur arithmétique, sont également disponibles dans certains Transformers. Pour accéder à un menu de ces options, cliquez sur 
à côté du paramètre applicable. Pour plus d'informations, voir Options de menus et paramètres de Transformer.
Définir les valeurs
Il existe plusieurs façons de définir une valeur à utiliser dans un Transformer. La plus simple est de simplement taper une valeur ou une chaîne de caractères, qui peut inclure des fonctions de différents types comme des références d'attributs, des fonctions mathématiques et de chaînes de caractères, et des paramètres de traitement. Il existe un certain nombre d'outils et de raccourcis qui peuvent aider à construire des valeurs, généralement disponibles dans le menu contextuel déroulant adjacent au champ de valeur.
Définir des valeurs de paramètres
Utilisation de l'éditeur de texte
L'éditeur de texte fournit un moyen efficace de construire des chaînes de textes (dont les expressions régulières) à partir de données source diverses, telles que des attributs, des paramètres et des constantes, et le résultat est directement utilisé dans le paramètre.
Utilisation de l'éditeur arithmétique
L'éditeur arithmétique fournit un moyen simple de construire des expressions mathématiques à partir de plusieurs données source, telles que des attributs et des fonctions, et le résultat est directement utilisé dans un paramètre.
Valeur conditionnelle
Définit des valeurs selon un ou plusieurs tests.
Fenêtre de définition de conditions
Contenu
Les expressions et chaînes de caractères peuvent inclure des fonctions, caractères, paramètres et plus.
Lors du paramétrage des valeurs - qu'elles soient entrées directement dans un paramètre ou construites en utilisant l'un des éditeurs - les chaînes de caractères et les expressions contenant des fonctions Chaîne de caractères, Math, Date et heure ou Entité FME auront ces fonctions évaluées. Par conséquent, les noms de ces fonctions (sous la forme @<nom_de_fonction>) ne doivent pas être utilisés comme valeurs littérales de chaîne de caractères.
Types de contenu
| Ces fonctions manipulent les chaînes de caractères. | |
|
Caractères spéciaux |
Un ensemble de caractères de contrôle est disponible dans l'éditeur de texte. |
| Plusieurs fonctions sont disponibles dans les deux éditeurs. | |
| Fonctions Date/heure | Les fonctions de dates et heures sont disponibles dans l'Editeur texte. |
| Ces opérateur sont disponibles dans l'éditeur arithmétique. | |
| Elles retournent des valeurs spécifiques aux entités. | |
| Les paramètres FME et spécifiques au traitement peuvent être utilisés. | |
| Créer et modifier un paramètre publié | Créer ses propres paramètres éditables. |
Options - Tables
Les Transformers avec des paramètres de style table possèdent des outils additionnels pour remplir et manipuler des valeurs.
Outils de tableau
|
Réordonner
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
|
|
Couper, Copier et Coller
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
Copier, copier et coller peuvent être utilisés au sein d'un Transformer ou entre Transfromers. |
|
Filtre
|
Commencez à taper une chaîne de caractères, et la matrice n'affichera que les lignes correspondant à ces caractères. Recherche dans toutes les colonnes. Cela n'affecte que l'affichage des attributs dans le Transformer - cela ne change pas les attributs qui sont sortis. |
|
Importer
|
Le bouton d'import remplit la table avec un jeu de nouveaux attributs lus depuis un jeu de données. L'application spécifique varie selon les Transformers. |
|
Réinitialiser/Rafraîchir
|
Réinitialise la table à son état initial, et peut fournir des options additionnelles pour supprimer des entrées invalides. Le comportement varie d'un Transformer à l'autre. |
Note : Tous les outils ne sont pas disponibles dans tous les Transformers.
Références
|
Comportement |
|
|
Stockage des entités |
Non |
| Dépendances | Compte Microsoft Azure avec le service Event Hubs |
| Alias | |
| Historique |
FME Community
FME Community est l'endroit où trouver des démos, des tutoriaux, des articles, des FAQ et bien plus encore. Obtenez des réponses à vos questions, apprenez des autres utilisateurs et suggérez, votez et commentez de nouvelles entités.
Voir tous les résultats à propos de ce Transformer sur FME Community.
Les exemples peuvent contenir des informations sous licence Open Government - Vancouver et/ou Open Government - Canada.