Accède au service Google BigQuery pour charger ou requêter des tables depuis un compte Google Cloud.
Cas d'utilisation courants
- Charger des données formatées au format CSV dans des tables BigQuery nouvelles ou existantes.
- Requêter des tables BigQuery avec l'option pour charger le résultat dans une table BigQuery de destination spécifiée.
- Créez une table externe interrogeable dans Google BigQuery qui renvoie à des données existantes sur Google Cloud Storage.
Comment fonctionne-t-il ?
Google BigQuery est un service de base de données NoSQL database géré.
GoogleBigQueryConnector utilise vos identifiants de connexion Cloud (soit avec une connexion web FME précédemment définie, soit par le réglage d'une nouvelle connexion web FME directement dans le Transformer).
Pour plus d'informations sur BigQuery, visitez la page produit Google Cloud BigQuery.
Configuration
Ports d'entrée
Input
Ce Transformer accepte tous types d'entités.
Ports de sortie
Output
La sortie de ce Transformer varie selon l'action Requête > Action effectuée.
- Après une action Chargement de données, le port de sortie inclut les attributs suivants :
|
_project_id |
Nom du projet_id chargé. |
|
_table |
Nom de la table chargée. |
|
_dataset |
Nom du jeu de données chargé. |
|
_rows_written |
Nombre de lignes écrites dans la table spécifiée du jeu de données. |
- Après une action Requête, le résultat contient des attributs définis dans le paramètre Attributs exposés, qui correspond aux colonnes de la requête exécutée.Les fonctions de géographie produiront un Well-Known Text (WKT).
Initiator
L'entité entrante ressort par ce port.
<Rejected>
Les entités qui provoquent l'échec de l'opération sont sorties par ce port. Un attribut fme_rejection_code, sera ajouté, ainsi qu'un attribut fme_rejection_message plus descriptif qui contient des détails plus spécifiques sur la raison de l'échec.
Note: Si une entité arrive dans GoogleBigQueryConnector en ayant déjà une valeur pour fme_rejection_code, cette valeur est supprimée.
Gestion des entités rejetées : ce paramètre permet d'interrompre la traduction ou de la poursuivre lorsqu'elle rencontre une entité rejetée. Ce paramètre est disponible à la fois comme option par défaut de FME et comme paramètre de traitement.
Paramètres
Authentification
|
Source des identifiants |
Les informations d'identification peuvent être utilisées à partir de différentes sources. L'utilisation d'une connexion Web s'intègre le mieux à FME, mais dans certains cas, vous pouvez souhaiter utiliser l'une des autres sources.
|
|
Compte |
Disponible lorsque la source d'informations d'identification est une connexion Web. Pour créer une connexion à Google BogQuery, cliquez sur la liste déroulante "Compte" et sélectionnez "Ajouter une connexion Web...". La connexion pourra ensuite être gérée via Outils > Options FME > Connexions Web. |
|
ID Projet |
L'identifiant du projet Google Cloud. Uniquement requis lorsque la source d'accréditation est Connexion web. |
Requête
|
Action |
Le type d'opération à effectuer. Les choix comprennent :
|
Paramètres - Action Chargement de données
Source de données
|
Source de chargement |
Sélectionner le type de données source à charger :
|
|
Fichier à charger |
Si la Source de chargement est Fichier. spécifier l'emplacement et le nom du fichier à charger. |
|
Compartiment |
Si la Source de chargement est Google Storage, spécifier le compartiment Google Storage. |
|
Chemin |
Si la Source de chargement est Google Storage, spécifier le chemin Google Storage. |
|
Type de fichier |
Seul le CSV est actuellement pris en charge. |
|
Lignes d'en-tête à passer |
Pour les fichiers CSV, spécifier le nombre de lignes à sauter en haut du fichier. Par exemple, si le fichier contient une simple ligne d'en-tête, entrer 1. |
|
Auto-détection du schéma |
Si Oui, BigQuery essaiera au mieux de détecter et définir les types de données de vos données. Si Non, Schéma défini sera utilisé. |
|
Schéma défini |
Si Auto-détection du schéma vaut Non, définit un schéma en utilisant le format JSON suivant : [ Pour plus d'informations, voir la documentation BigQuery Spécifier un schéma. |
Options de chargement
|
Gestion de la table |
Si la Table de destination spécifiée n'existe pas, elle sera créée. Si elle existe déjà, la méthode sélectionnée sera utilisée pour charger les données :
La gestion des tables n'est pas une option lorsque la Source de chargement est une table externe GCS. |
|
Jeu de données destination |
Le jeu de données de la table destination. |
|
Table destination |
La table cible où les résultats sont chargés. |
Paramètres - Action Requête
Options de requête
|
Requête |
La requête SQL à exécuter. Notez que lors de la requête du type BigQuery NUMERIC, FME reçoit le type fme_string. |
Activer la table de destination
Si activé, les résultats des requêtes sont stockés dans une table.
|
Gestion de la table |
Si la Table de destination spécifiée n'existe pas, elle sera créée. Si elle existe déjà, la méthode sélectionnée sera utilisée pour charger les données :
|
|
Jeu de données destination |
Le jeu de données de la table destination. |
|
Table destination |
La table cible où les résultats sont chargés. |
Attributs exposés
|
Attributs exposés |
La liste des attributs à produire. Les attributs doivent être les noms des colonnes de la requête. |
Éditer les paramètres des Transformers
À l'aide d'un ensemble d'options de menu, les paramètres du Transformer peuvent être attribués en faisant référence à d'autres éléments de traitement. Des fonctions plus avancées, telles qu'un éditeur avancé et un éditeur arithmétique, sont également disponibles dans certains Transformers. Pour accéder à un menu de ces options, cliquez sur 
à côté du paramètre applicable. Pour plus d'informations, voir Options de menus et paramètres de Transformer.
Définir les valeurs
Il existe plusieurs façons de définir une valeur à utiliser dans un Transformer. La plus simple est de simplement taper une valeur ou une chaîne de caractères, qui peut inclure des fonctions de différents types comme des références d'attributs, des fonctions mathématiques et de chaînes de caractères, et des paramètres de traitement. Il existe un certain nombre d'outils et de raccourcis qui peuvent aider à construire des valeurs, généralement disponibles dans le menu contextuel déroulant adjacent au champ de valeur.
Définir des valeurs de paramètres
Utilisation de l'éditeur de texte
L'éditeur de texte fournit un moyen efficace de construire des chaînes de textes (dont les expressions régulières) à partir de données source diverses, telles que des attributs, des paramètres et des constantes, et le résultat est directement utilisé dans le paramètre.
Utilisation de l'éditeur arithmétique
L'éditeur arithmétique fournit un moyen simple de construire des expressions mathématiques à partir de plusieurs données source, telles que des attributs et des fonctions, et le résultat est directement utilisé dans un paramètre.
Valeur conditionnelle
Définit des valeurs selon un ou plusieurs tests.
Fenêtre de définition de conditions
Contenu
Les expressions et chaînes de caractères peuvent inclure des fonctions, caractères, paramètres et plus.
Lors du paramétrage des valeurs - qu'elles soient entrées directement dans un paramètre ou construites en utilisant l'un des éditeurs - les chaînes de caractères et les expressions contenant des fonctions Chaîne de caractères, Math, Date et heure ou Entité FME auront ces fonctions évaluées. Par conséquent, les noms de ces fonctions (sous la forme @<nom_de_fonction>) ne doivent pas être utilisés comme valeurs littérales de chaîne de caractères.
Types de contenu
| Ces fonctions manipulent les chaînes de caractères. | |
|
Caractères spéciaux |
Un ensemble de caractères de contrôle est disponible dans l'éditeur de texte. |
| Plusieurs fonctions sont disponibles dans les deux éditeurs. | |
| Fonctions Date/heure | Les fonctions de dates et heures sont disponibles dans l'Editeur texte. |
| Ces opérateur sont disponibles dans l'éditeur arithmétique. | |
| Elles retournent des valeurs spécifiques aux entités. | |
| Les paramètres FME et spécifiques au traitement peuvent être utilisés. | |
| Créer et modifier un paramètre publié | Créer ses propres paramètres éditables. |
Options - Tables
Les Transformers avec des paramètres de style table possèdent des outils additionnels pour remplir et manipuler des valeurs.
Outils de tableau
|
Réordonner
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
|
|
Couper, Copier et Coller
|
Activé une fois que vous avez cliqué sur un élément de ligne. Les choix comprennent :
Copier, copier et coller peuvent être utilisés au sein d'un Transformer ou entre Transfromers. |
|
Filtre
|
Commencez à taper une chaîne de caractères, et la matrice n'affichera que les lignes correspondant à ces caractères. Recherche dans toutes les colonnes. Cela n'affecte que l'affichage des attributs dans le Transformer - cela ne change pas les attributs qui sont sortis. |
|
Importer
|
Le bouton d'import remplit la table avec un jeu de nouveaux attributs lus depuis un jeu de données. L'application spécifique varie selon les Transformers. |
|
Réinitialiser/Rafraîchir
|
Réinitialise la table à son état initial, et peut fournir des options additionnelles pour supprimer des entrées invalides. Le comportement varie d'un Transformer à l'autre. |
Note : Tous les outils ne sont pas disponibles dans tous les Transformers.
Références
|
Comportement |
|
|
Stockage des entités |
Non |
| Dépendances | Compte Google Cloud Storage |
| Alias | |
| Historique | Implémenté dans FME 2019.1 |
FME Community
FME Community est l'endroit où trouver des démos, des tutoriaux, des articles, des FAQ et bien plus encore. Obtenez des réponses à vos questions, apprenez des autres utilisateurs et suggérez, votez et commentez de nouvelles entités.
Voir tous les résultats à propos de ce Transformer sur FME Community.
Les exemples peuvent contenir des informations sous licence Open Government - Vancouver et/ou Open Government - Canada.