KafkaConnector

Ce Transformer accepte tous types d'entités.

La sortie de ce Transformer varie en fonction de l'action effectuée. Les données du message sont présentées comme des attributs d'entité.

• Après une action Réception, les entités en sortie représentent les messages reçus depuis le cluster.
• Après une action Envoi, les entités en sortie représentent les messages envoyés au cluster.
• Après une action Obtenir les métadonnées, l'entité en sortie représente le statut du cluster.
• Après une action Commit, l'entité de sortie représente la partition et le décalage engagés.

L'entité entrante ressort par ce port.

Les entités qui provoquent l'échec de l'opération ressortent par ce port. Un attribut fme_rejection_code, ayant la valeur ERROR_DURING_PROCESSING, sera ajouté, ainsi qu'un attribut fme_rejection_message plus descriptif qui contient des détails plus spécifiques sur la raison de l'échec.

Note: Si une entité entrant dans KafkaConnector possède déjà une valeur pour fme_rejection_code, cette dernière sera supprimée.

Gestion des entités rejetées : ce paramètre permet d'interrompre la traduction ou de la poursuivre lorsqu'elle rencontre une entité rejetée. Ce paramètre est disponible à la fois comme option par défaut de FME et comme paramètre de traitement.

La liste des serveurs bootstrap (hôte et port) auxquels se connecter. Voir l'option de configuration "bootstrap.servers" à l'adresse https://kafka.apache.org/documentation.html pour plus d'informations.

Sujets

Comportement de réception

Options de réception

Sujets

Options d'envoi

La section "options de message" est disponible pour l'envoi et la réception de messages mais certaines options sont uniquement disponibles lors de l'envoi.

Options de métadonnées

L'obtention de métadonnées ne produit qu'un seul attribut de sortie : _metadata . Cet attribut contient des métadonnées au format JSON. Le format est une agrégation des métadonnées de cluster, de courtier, de sujet et de partition.

{

"cluster_id": < cluster ID > ,

"controller_broker_id": < controller broker ID > ,

"brokers": [

{

"id": < broker ID > ,

"host": < host > ,

"port": < port >

},

...

],

"topics": [

{

"name": < topic name > ,

"partitions": [

{

"id": < partition ID > ,

"leader_broker_id": < leader broker ID > ,

"replica_broker_ids": [< replica broker ID >, ...],

"in_sync_replicas": [< in-sync replica ID >, ...],

},

...

],

},

...

],

}

Topic

Options d'envoi

Pour toutes les actions, il est possible de fournir des options avancées supplémentaires. Pour l'envoi et la réception, ces options sont appelées respectivement producteur et consommateur.

Les options sont fournies sous forme d'objet JSON et correspondent aux options documentées à l'adresse https://docs.confluent.io/current/clients/librdkafka/CONFIGURATION_8md.html. Notez que toutes les options ne sont pas disponibles pour être utilisées dans le connecteur.

Exemples

{

"socket.timeout.ms": 100,

"check.crcs": true

}

Si des options fournies par l'utilisateur entrent en conflit avec celles générées en interne par le connecteur, les options fournies par l'utilisateur seront utilisées. Par exemple, FME définit généralement "bootstrap.servers" à partir du paramètre Brokers, mais si les options avancées contiennent également "bootstrap.servers", cette valeur sera utilisée à la place.

Les attributs suivants peuvent être sélectionnés pour être inclus dans les entités de sortie. Chaque entité de sortie représente un message qui a été soit envoyé, soit reçu.

Utilisation de l'éditeur de texte

L'éditeur de texte fournit un moyen efficace de construire des chaînes de textes (dont les expressions régulières) à partir de données source diverses, telles que des attributs, des paramètres et des constantes, et le résultat est directement utilisé dans le paramètre.

Editeur de texte

Utilisation de l'éditeur arithmétique

L'éditeur arithmétique fournit un moyen simple de construire des expressions mathématiques à partir de plusieurs données source, telles que des attributs et des fonctions, et le résultat est directement utilisé dans un paramètre.

Éditeur arithmétique

Valeur conditionnelle

Définit des valeurs selon un ou plusieurs tests.

Fenêtre de définition de conditions

Contenu

Les expressions et chaînes de caractères peuvent inclure des fonctions, caractères, paramètres et plus.

Lors du paramétrage des valeurs - qu'elles soient entrées directement dans un paramètre ou construites en utilisant l'un des éditeurs - les chaînes de caractères et les expressions contenant des fonctions Chaîne de caractères, Math, Date et heure ou Entité FME auront ces fonctions évaluées. Par conséquent, les noms de ces fonctions (sous la forme @<nom_de_fonction>) ne doivent pas être utilisés comme valeurs littérales de chaîne de caractères.

Types de contenu

Fonctions chaînes de caractères	Ces fonctions manipulent les chaînes de caractères.
Caractères spéciaux	Un ensemble de caractères de contrôle est disponible dans l'éditeur de texte.
Fonctions mathématiques	Plusieurs fonctions sont disponibles dans les deux éditeurs.
Fonctions Date/heure	Les fonctions de dates et heures sont disponibles dans l'Editeur texte.
Opérateurs mathématiques	Ces opérateur sont disponibles dans l'éditeur arithmétique.
Fonctions d'entités	Elles retournent des valeurs spécifiques aux entités.
Paramètres FME	Les paramètres FME et spécifiques au traitement peuvent être utilisés.
Créer et modifier un paramètre publié	Créer ses propres paramètres éditables.

Note : Tous les outils ne sont pas disponibles dans tous les Transformers.