TweetStreamer
Se connecte à un flux Twitter™ et produit une nouvelle entité pour chaque tweet. Le Transformer permet aux utilisateurs de configurer un filtre, de sorte que les entités de sortie ne contiennent que les tweets contenant certains mots-clés, les tweets qui sont géolocalisés avec un emplacement particulier, et/ou les tweets qui sont écrits dans des langues particulières.
Un flux Twitter est une connexion HTTP qui ne se ferme jamais, donc, sauf en cas d'erreur, tout traitement contenant ce Transformer ne se terminera pas de lui-même. Le Transformer continuera à produire des entités jusqu'à ce que le traitement soit fermé par l'utilisateur.
Au moins une entité doit entrer dans le Transformer pour pouvoir lancer le flux. Une fois que toutes les entités d'entrée sont arrivées, le Transformer ouvre une connexion à l'API de streaming de Twitter et commence à produire des entités. En fonction des filtres définis dans les paramètres du Transformer, la sortie du Transformer peut ne pas être continue. Il peut y avoir des périodes pendant lesquelles aucun tweet ne correspond aux filtres. Ceci est particulièrement vrai lors du filtrage par langue et par géométrie.
Si aucun mot-clé ou filtre géométrique n'est fourni, le Transformer se connectera à un flux d'échantillons. Ce flux fournit un échantillon aléatoire de tweets à mesure qu'ils sont créés. Il est possible de filtrer ce flux par langue.
Notez qu'un nombre limité de connexions de streaming est autorisé par utilisateur. Si trop de connexions simultanées sont tentées avec les mêmes informations d'identification de l'utilisateur, une ou plusieurs des connexions seront interrompues.
Configuration
Ports de sortie
Le Transformer produira une nouvelle entité pour chaque tweet reçu de l'API de streaming de Twitter. Chaque entité de sortie contiendra plusieurs attributs :
_tweet_id : Le numéro d'identification du résultat de la recherche.
_tweet_status: Le texte du résultat de la recherche.
_tweet_username: Nom de l'utilisateur de Twitter qui a écrit le tweet.
_tweet_created_at : La date et l'heure à laquelle le tweet a été créé. Ceci sera formaté dans le format standard de date/heure de FME : YYYYMMDDHHMMSS
_tweet_search_result : Le texte JSON du tweet. D'autres informations sur le tweet peuvent être extraites de cette valeur à l'aide des Transformers JSONFragmenter et JSONExtractor.
L'API de streaming Twitter renvoie périodiquement des messages qui ne sont pas des tweets. Par exemple, ces messages peuvent contenir des informations sur la limitation du débit ou des messages supprimés. Vous trouverez de plus amples informations à l'adresse suivante : https://dev.twitter.com/docs/streaming-apis/messages
Une entité sera produite par ce port pour chaque message non tweeté renvoyé par l'API de diffusion en continu de Twitter. Chacune de ces entités aura un attribut _tweet_search_result, qui contiendra la représentation objet JSON du message. Cet objet peut être examiné dans FME Workbench à l'aide des Transformers JSON.
Paramètres
Mots clefs |
Ce paramètre est utilisé pour filtrer le flux pour les tweets qui contiennent les mots-clés donnés. Pour chaque entité d'entrée, la valeur doit contenir une liste de mots-clés séparés par des espaces. Si un tweet contient tous les mots-clés d'une seule entité, il sera retourné par le flux. Par exemple, si une entité fournit le mot clef “FME Workbench” et une deuxième fournit le mot clef "safe", les tweets suivants passeront le filtre :
Et les tweets suivants ne seront pas correspondants :
Les mots clés ne tiennent pas compte de la casse. En outre, les mots-clés seront comparés s'ils sont contenus dans le nom d'utilisateur Twitter, une URL liée ou des hashtags Twitter. Pour plus de détails, consultez le site https://dev.twitter.com/docs/streaming-apis/parameters#track. |
Langages |
Ce paramètre peut être utilisé pour limiter les tweets aux langues sélectionnées. Si aucune langue n'est sélectionnée, les tweets diffusés peuvent être dans n'importe quelle langue. |
Filtrer par géométrie |
Si ce paramètre vaut Yes |
Zone tampon pour les entités ponctuelles |
Ce paramètre ne prend effet que si le flux est filtré par géométrie. Comme le flux nécessite une boîte de délimitation, ce paramètre détermine la taille de la boîte de délimitation qui sera utilisée pour les géométries ponctuelles. |
Compte |
Sélectionnez ou créez une connexion Web pour vous connecter à un compte Twitter. |
Éditer les paramètres des Transformers
À l'aide d'un ensemble d'options de menu, les paramètres du Transformer peuvent être attribués en faisant référence à d'autres éléments de traitement. Des fonctions plus avancées, telles qu'un éditeur avancé et un éditeur arithmétique, sont également disponibles dans certains Transformers. Pour accéder à un menu de ces options, cliquez sur à côté du paramètre applicable. Pour plus d'informations, voir Options de menus et paramètres de Transformer.
Définir les valeurs
Il existe plusieurs façons de définir une valeur à utiliser dans un Transformer. La plus simple est de simplement taper une valeur ou une chaîne de caractères, qui peut inclure des fonctions de différents types comme des références d'attributs, des fonctions mathématiques et de chaînes de caractères, et des paramètres de traitement. Il existe un certain nombre d'outils et de raccourcis qui peuvent aider à construire des valeurs, généralement disponibles dans le menu contextuel déroulant adjacent au champ de valeur.
Utilisation de l'éditeur de texte
L'éditeur de texte fournit un moyen efficace de construire des chaînes de textes (dont les expressions régulières) à partir de données source diverses, telles que des attributs, des paramètres et des constantes, et le résultat est directement utilisé dans le paramètre.
Utilisation de l'éditeur arithmétique
L'éditeur arithmétique fournit un moyen simple de construire des expressions mathématiques à partir de plusieurs données source, telles que des attributs et des fonctions, et le résultat est directement utilisé dans un paramètre.
Valeur conditionnelle
Définit des valeurs selon un ou plusieurs tests.
Fenêtre de définition de conditions
Contenu
Les expressions et chaînes de caractères peuvent inclure des fonctions, caractères, paramètres et plus.
Lors du paramétrage des valeurs - qu'elles soient entrées directement dans un paramètre ou construites en utilisant l'un des éditeurs - les chaînes de caractères et les expressions contenant des fonctions Chaîne de caractères, Math, Date et heure ou Entité FME auront ces fonctions évaluées. Par conséquent, les noms de ces fonctions (sous la forme @<nom_de_fonction>) ne doivent pas être utilisés comme valeurs littérales de chaîne de caractères.
Ces fonctions manipulent les chaînes de caractères. | |
Caractères spéciaux |
Un ensemble de caractères de contrôle est disponible dans l'éditeur de texte. |
Plusieurs fonctions sont disponibles dans les deux éditeurs. | |
Fonctions Date/heure | Les fonctions de dates et heures sont disponibles dans l'Editeur texte. |
Ces opérateur sont disponibles dans l'éditeur arithmétique. | |
Elles retournent des valeurs spécifiques aux entités. | |
Les paramètres FME et spécifiques au traitement peuvent être utilisés. | |
Créer et modifier un paramètre publié | Créer ses propres paramètres éditables. |
Options - Tables
Les Transformers avec des paramètres de style table possèdent des outils additionnels pour remplir et manipuler des valeurs.
Réordonner
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
|
Couper, Copier et Coller
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
Copier, copier et coller peuvent être utilisés au sein d'un Transformer ou entre Transfromers. |
Filtre
|
Commencez à taper une chaîne de caractères, et la matrice n'affichera que les lignes correspondant à ces caractères. Recherche dans toutes les colonnes. Cela n'affecte que l'affichage des attributs dans le Transformer - cela ne change pas les attributs qui sont sortis. |
Importer
|
Le bouton d'import remplit la table avec un jeu de nouveaux attributs lus depuis un jeu de données. L'application spécifique varie selon les Transformers. |
Réinitialiser/Rafraîchir
|
Réinitialise la table à son état initial, et peut fournir des options additionnelles pour supprimer des entrées invalides. Le comportement varie d'un Transformer à l'autre. |
Note : Tous les outils ne sont pas disponibles dans tous les Transformers.
FME Community
FME Community est l'endroit où trouver des démos, des tutoriaux, des articles, des FAQ et bien plus encore. Obtenez des réponses à vos questions, apprenez des autres utilisateurs et suggérez, votez et commentez de nouvelles entités.
Voir tous les résultats à propos de ce Transformer sur FME Community.