KinesisReceiver
Utilise le service Amazon Kinesis pour recevoir des enregistrements de données depuis un flux Amazon Kinesis.
Notes
Les performances de ce Transformer dépendent de la quantité de mémoire allouée à la machine virtuelle Java (Java VM ou JVM pour Java Virtual Machine). Les variables d'environnement suivantes vous permettent de spécifier la mémoire disponible pour les plugins Java :
- FME_JVM_MIN_HEAP_SIZE : Taille initiale du tas pour l'initialisation de la JVM. Si elle n'est pas définie, la valeur par défaut est de 1024K.
Ces variables doivent être définies en multiples de 1024 et supérieures à 1 Mo. Pour indiquer des kilo-octets, des méga-octets ou des giga-octets, ajoutez respectivement k ou K, m ou M, ou g ou G. Par exemple, n'importe laquelle de ces valeurs est acceptable :
6291456
6144k
6m
- FME_JVM_MAX_HEAP_SIZE : Taille maximale du tas pour l'initialisation de la JVM. Si elle n'est pas définie, la valeur par défaut est de 16384K.
Ces variables doivent être définies en multiples de 1024 et supérieures à 2 Mo. Pour indiquer des kilo-octets, des méga-octets ou des giga-octets, ajoutez respectivement k ou K, m ou M, ou g ou G. Par exemple, n'importe laquelle de ces valeurs est acceptable :
83886080
81920k
80m
Configuration
Ports d'entrée
Lorsqu'une entité entre dans le Transformer, KinesisReceiver commence la récupération de données du flux Kinesis.
Ports de sortie
Entités contenant des enregistrements de données provenant du flux Amazon Kinesis spécifié. Le contenu et les autres détails de l'enregistrement de données sont stockés en tant qu'attributs de l'entité. Les attributs suivants sont utilisés :
Attribut | Description |
---|---|
sequence_number |
Numéro de séquence de l'enregistrement de données. |
partition_key |
Clé de partition de l'enregistrement de données. |
data_blob |
Attribut blob de l'enregistrement de données. |
shard_id |
Id du groupe "shard" contenant l'enregistrement de données. |
Paramètres
Flux |
Nom du flux Kinesis dans lequel les données sont récupérées. |
Région |
Région AWS dans laquelle le flux Kinesis est créé. |
Clé d'accès |
Une clé d'accès associée à un utilisateur ayant la permission de recevoir des messages depuis le flux Kinesis. |
Clé d'accès secrète |
Une clé secrète associée à la clé d'accès fournie. |
Nom de l'application |
Nom de l'application traitant le flux Kinesis. |
Période d'inactivité entre les lectures |
Le temps d'inactivité en secondes entre les lectures du flux Kinesis. Le minimum est de 0,001 seconde et peut aller jusqu'à 3 espaces décimaux. |
Enregistrements max par lecture |
Nombre maximum d'enregistrements pouvant être reçus du flux Kinesis par lecture. Le maximum est de 10 000 enregistrements de données. |
Condition de fin |
Si Aucun, le récepteur fonctionne indéfiniment. Si Temps de scrutation max, entrez une durée maximale d'interrogation en secondes dans Temps de scrutation max. Si Enregistrement max en sortie, entrez le nombre maximum d'enregistrements de données à produire dans Enregistrement max en sortie. Si l'option Les deux est sélectionnée, entrez les valeurs de la durée maximale de scrutation et du nombre maximal d'enregistrements à produire. Quelle que soit la première condition d'arrêt remplie, le récepteur arrête la lecture du flux. |
Temps de scrutation maximum |
Le temps maximum en secondes passé à ne recevoir aucun enregistrement de données du flux Kinesis. Le temps d'interrogation commence une fois que tous les shards du flux ont été initialisés. Une fois la durée maximale d'interrogation atteinte, le récepteur arrêtera de lire le flux. Le minimum est de 1 seconde et doit être des valeurs entières. |
Enregistrements max à produire |
Le nombre maximum d'enregistrements de données à sortir par le Transformer. Une fois que le nombre maximum d'enregistrements ressort, le récepteur arrête de lire le flux. |
Éditer les paramètres des Transformers
À l'aide d'un ensemble d'options de menu, les paramètres du Transformer peuvent être attribués en faisant référence à d'autres éléments de traitement. Des fonctions plus avancées, telles qu'un éditeur avancé et un éditeur arithmétique, sont également disponibles dans certains Transformers. Pour accéder à un menu de ces options, cliquez sur à côté du paramètre applicable. Pour plus d'informations, voir Options de menus et paramètres de Transformer.
Définir les valeurs
Il existe plusieurs façons de définir une valeur à utiliser dans un Transformer. La plus simple est de simplement taper une valeur ou une chaîne de caractères, qui peut inclure des fonctions de différents types comme des références d'attributs, des fonctions mathématiques et de chaînes de caractères, et des paramètres de traitement. Il existe un certain nombre d'outils et de raccourcis qui peuvent aider à construire des valeurs, généralement disponibles dans le menu contextuel déroulant adjacent au champ de valeur.
Utilisation de l'éditeur de texte
L'éditeur de texte fournit un moyen efficace de construire des chaînes de textes (dont les expressions régulières) à partir de données source diverses, telles que des attributs, des paramètres et des constantes, et le résultat est directement utilisé dans le paramètre.
Utilisation de l'éditeur arithmétique
L'éditeur arithmétique fournit un moyen simple de construire des expressions mathématiques à partir de plusieurs données source, telles que des attributs et des fonctions, et le résultat est directement utilisé dans un paramètre.
Valeur conditionnelle
Définit des valeurs selon un ou plusieurs tests.
Fenêtre de définition de conditions
Contenu
Les expressions et chaînes de caractères peuvent inclure des fonctions, caractères, paramètres et plus.
Lors du paramétrage des valeurs - qu'elles soient entrées directement dans un paramètre ou construites en utilisant l'un des éditeurs - les chaînes de caractères et les expressions contenant des fonctions Chaîne de caractères, Math, Date et heure ou Entité FME auront ces fonctions évaluées. Par conséquent, les noms de ces fonctions (sous la forme @<nom_de_fonction>) ne doivent pas être utilisés comme valeurs littérales de chaîne de caractères.
Ces fonctions manipulent les chaînes de caractères. | |
Caractères spéciaux |
Un ensemble de caractères de contrôle est disponible dans l'éditeur de texte. |
Plusieurs fonctions sont disponibles dans les deux éditeurs. | |
Fonctions Date/heure | Les fonctions de dates et heures sont disponibles dans l'Editeur texte. |
Ces opérateur sont disponibles dans l'éditeur arithmétique. | |
Elles retournent des valeurs spécifiques aux entités. | |
Les paramètres FME et spécifiques au traitement peuvent être utilisés. | |
Créer et modifier un paramètre publié | Créer ses propres paramètres éditables. |
Options - Tables
Les Transformers avec des paramètres de style table possèdent des outils additionnels pour remplir et manipuler des valeurs.
Réordonner
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
|
Couper, Copier et Coller
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
Copier, copier et coller peuvent être utilisés au sein d'un Transformer ou entre Transfromers. |
Filtre
|
Commencez à taper une chaîne de caractères, et la matrice n'affichera que les lignes correspondant à ces caractères. Recherche dans toutes les colonnes. Cela n'affecte que l'affichage des attributs dans le Transformer - cela ne change pas les attributs qui sont sortis. |
Importer
|
Le bouton d'import remplit la table avec un jeu de nouveaux attributs lus depuis un jeu de données. L'application spécifique varie selon les Transformers. |
Réinitialiser/Rafraîchir
|
Réinitialise la table à son état initial, et peut fournir des options additionnelles pour supprimer des entrées invalides. Le comportement varie d'un Transformer à l'autre. |
Note : Tous les outils ne sont pas disponibles dans tous les Transformers.
FME Community
FME Community est l'endroit où trouver des démos, des tutoriaux, des articles, des FAQ et bien plus encore. Obtenez des réponses à vos questions, apprenez des autres utilisateurs et suggérez, votez et commentez de nouvelles entités.
Voir tous les résultats à propos de ce Transformer sur FME Community.