Présentation du routage et du stockage

Ce document explique comment Cloud Logging traite les entrées de journal et décrit les principaux composants du routage et du stockage Logging. Le routage fait référence au processus utilisé par Cloud Logging pour déterminer avec une entrée de journal nouvellement arrivée. Vous pouvez acheminer les entrées de journal vers des destinations comme les buckets Logging, qui stockent les entrée de journal, Pub/Sub. Pour exporter vos journaux vers des destinations tierces, acheminez vos les journaux dans un sujet Pub/Sub, puis autoriser la destination tierce pour s'abonner au sujet Pub/Sub.

De manière générale, voici comment Cloud Logging achemine et stocke les entrées de journal :

Schéma illustrant le routage des entrées des journal par Cloud Logging.

Acheminer les journaux avec le routeur de journaux

Les sections suivantes expliquent comment Logging achemine les journaux avec le routeur de journaux à l'aide de récepteurs.

Routeur de journaux

Une entrée de journal est envoyée à la ressource Google Cloud spécifiée dans son champ logName au moment de l'appel entries.write.

Cloud Logging reçoit les entrées de journal ayant API Cloud Logging, où elles transitent le routeur de journaux. Les récepteurs du routeur de journaux vérifient chacun une entrée de journal par rapport à son filtre d'inclusion. filtres d'exclusion, puis déterminez les destinations, y compris Buckets Cloud Logging auxquels l'entrée de journal doit être envoyée. Vous pouvez utiliser des combinaisons de récepteurs pour acheminer une entrée de journal vers plusieurs destinations.

Le routeur de journaux stocke temporairement l'entrée de journal. Ce comportement protège contre les interruptions et pannes temporaires qui peuvent survenir lorsqu'un récepteur achemine une entrée de journal vers une destination. La mise en mémoire tampon ne protège pas contre le récepteur de configuration. Si votre récepteur n'est pas configuré correctement, d'acheminer les entrées de journal, un journal d'erreurs est généré, et un e-mail vous informant d'une erreur de configuration du récepteur est envoyé. Lorsque les entrées de journal ne peuvent pas être acheminées, elles sont supprimées.

Le stockage temporaire du routeur de journaux est différent du stockage temporaire est fourni par les buckets Logging.

Les entrées de journal entrantes dont l'horodatage est supérieur au durée de conservation des journaux antérieure ou que qui se situent dans plus de 24 heures sont supprimés.

Récepteurs

Les récepteurs contrôlent la manière dont Cloud Logging achemine les journaux. Les récepteurs vous permettent d'acheminer une partie ou l'ensemble de vos journaux vers des destinations compatibles. Vous trouverez ci-dessous certaines des raisons pour lesquelles vous pouvez avoir besoin de contrôler la manière dont vos journaux sont acheminés :

  • Pour stocker des journaux peu susceptibles d'être lus, mais qui doivent être conservés à des fins de conformité.
  • Pour organiser vos journaux dans des buckets selon un format qui vous est utile.
  • Utiliser des outils d'analyse big data sur vos journaux.
  • Diffuser vos journaux vers d'autres applications, d'autres dépôts, ainsi que vers des organisations tierces. Par exemple, si vous souhaitez exporter vos journaux depuis Google Cloud pour pouvoir les consulter sur une plate-forme tierce, puis configurer un récepteur acheminer les entrées de journal vers Pub/Sub.

Les récepteurs appartiennent à une ressource Google Cloud donnée: projets Google Cloud, comptes de facturation, dossiers et organisations. Lorsque la ressource reçoit une entrée de journal, elle l'achemine en fonction des récepteurs qu'elle contient et, si cette option est activée, de tous les récepteurs ancêtres appartenant à la hiérarchie des ressources. L'entrée de journal est envoyée à la destination associée à chaque récepteur correspondant.

Cloud Logging fournit deux récepteurs prédéfinis pour chaque projet Google Cloud : compte de facturation, dossier et organisation: _Required et _Default. Tous les journaux générés dans une ressource sont automatiquement traités via ces deux récepteurs, puis sont stockés dans l'un des buckets du nom correspondant _Required ou _Default.

Les récepteurs agissent indépendamment les uns des autres. Quelle que soit la manière dont les récepteurs prédéfinis traitent vos entrées de journal, vous pouvez créer vos propres récepteurs pour acheminer une partie ou l'ensemble de vos journaux vers différentes destinations compatibles, ou pour les exclure du stockage Cloud Logging.

Les entrées de journal acheminées par un récepteur sont contrôlées par la configuration filtre d'inclusion et filtres d'exclusion. Selon la configuration du récepteur, chaque entrée de journal reçue par Cloud Logging appartient à une ou plusieurs des catégories suivantes :

  • Stockée dans Cloud Logging et non routée ailleurs.

  • Stockée dans Cloud Logging et acheminée vers une destination compatible.

  • Non stockée dans Cloud Logging, mais acheminée vers une destination compatible.

  • Ni stockée dans Cloud Logging, ni acheminée ailleurs.

Vous créez généralement des récepteurs au niveau au niveau du projet Google Cloud, mais si vous souhaitez combiner et acheminer les journaux d'une organisation ou d'un dossier Google Cloud, vous pouvez créer des récepteurs agrégés ;

Les récepteurs ne acheminent que les entrées de journal qui arrivent après la création du récepteur, car car les journaux passent par l'API Logging. Si vous devez acheminer des entrées de journal rétroactivement, consultez la section Copier les journaux.

Filtres d'inclusion

Lorsqu'un récepteur ne spécifie aucun filtre, toutes les entrées de journal correspondent et sont acheminées vers vers la destination du récepteur. Vous pouvez configurer le récepteur pour sélectionner des entrées de journal en définissant un filtre d'inclusion. Vous pouvez également définir une ou plusieurs filtres d'exclusion pour empêcher le routage des entrées de journal.

Lorsque vous configurez un récepteur, vous spécifier ses filtres à l'aide du langage de requête Logging.

Une entrée de journal est acheminée par un récepteur en fonction des règles suivantes:

  • Si l'entrée de journal ne correspond pas au filtre d'inclusion, elle n'est pas acheminée. Lorsqu'un récepteur ne spécifie pas de filtre d'inclusion, chaque entrée de journal correspond à ce filtre.

  • Si l'entrée de journal correspond au filtre d'inclusion et au moins un filtre d'exclusion, il n'est pas acheminé.

  • Si l'entrée de journal correspond au filtre d'inclusion et ne correspond pas correspondant à n'importe quel filtre d'exclusion, il est acheminé vers la destination du récepteur.

Filtres d'exclusion

Lorsque vous créez un récepteur, vous pouvez définir plusieurs filtres d'exclusion. Les filtres d'exclusion vous permettent d'exclure les entrées de journal correspondant au filtre d'inclusion d'être acheminées vers vers la destination du récepteur ou d'être stockées dans un bucket de journaux. Pour définir des filtres d'exclusion, utilisez les Langage de requête Logging

Les entrées de journal exclues consomment entries.write de quota d'API, car ils sont exclus après leur réception par l'API Logging. Vous ne pouvez pas réduire le nombre Appels d'API entries.write par en excluant les entrées de journal.

Les entrées de journal exclues ne sont pas disponibles dans l'explorateur de journaux.

Entrées de journal qui ne sont pas acheminées vers au moins un bucket de journaux, explicitement avec des filtres d'exclusion ou parce qu'ils ne correspondent à aucun récepteur associé à la destination de stockage Logging, sont également exclues de Error Reporting. Par conséquent, ces entrées de journal ne sont pas disponibles pour résoudre les défaillances. Les métriques basées sur les journaux définies par l'utilisateur sont calculées à partir des entrées de journaux et les entrées de journal exclues. Pour en savoir plus, consultez Surveillez vos journaux.

Destinations compatibles

Vous pouvez utiliser le routeur de journaux pour acheminer certaines entrées de journal vers les journaux destinations dans n'importe quel projet Google Cloud. Logging est compatible avec destinations des récepteurs:

  • Bucket Cloud Logging: stockage dans Cloud Logging. Un bucket de journaux peut stocker des entrées de journal reçus par plusieurs projets Google Cloud. Le bucket de journaux peut se trouver dans le projet d'où proviennent les entrées de journal. dans un autre projet. Vous pouvez combiner Cloud Logging avec d'autres données en mettant à niveau un bucket de journaux pour qu'il utilise l'Analyse de journaux, puis en créant un ensemble de données BigQuery associé. Pour en savoir plus sur l'affichage des entrées de journal stockées dans des buckets de journaux, consultez Présentation des requêtes et de l'affichage des journaux et afficher les journaux acheminés vers des buckets Cloud Logging.
  • Ensemble de données BigQuery: permet de stocker les entrées de journal dans Ensembles de données BigQuery. L'ensemble de données BigQuery peut se trouver dans le projet dans lequel les entrées de journal proviennent ou se trouvent dans un autre projet. Vous pouvez utiliser des fonctionnalités d'analyse de big data sur les entrées de journal stockées. Pour combiner vos données Cloud Logging avec d'autres sources de données, nous vous recommandons de mettre à niveau vos buckets de journaux dans l'Analyse de journaux, puis créer un ensemble de données BigQuery associé. Pour en savoir plus sur l'affichage des entrées de journaux acheminées vers BigQuery, consultez Affichez les journaux acheminés vers BigQuery.
  • Bucket Cloud Storage: ce bucket permet de stocker les entrées de journal dans Cloud Storage. Le bucket Cloud Storage peut se trouver dans le projet dans lequel les entrées de journal proviennent ou se trouvent dans un autre projet. Les entrées de journaux sont stockées sous forme de fichiers JSON. Pour savoir comment afficher les entrées de journal acheminées vers Cloud Storage, consultez la section Afficher les journaux acheminés vers Cloud Storage.
  • Sujet Pub/Sub: fournit la prise en charge des applications des intégrations telles que Splunk Les entrées de journal sont au format JSON, puis acheminées vers un serveur Pub/Sub sur un sujet. Le sujet peut se trouver dans le projet dans lequel les entrées de journal proviennent ou se trouvent dans un autre projet. Pour plus d'informations sur l'affichage des entrées de journal acheminées vers pour Pub/Sub, consultez Affichez les journaux acheminés vers Pub/Sub.

  • Projet Google Cloud: acheminez les entrées du journal vers un autre projet Google Cloud. Dans les récepteurs du projet de destination traitent les entrées de journal correspondantes.

Pour en savoir plus, consultez Acheminez les journaux vers des destinations compatibles.

Stocker, afficher et gérer les journaux

La section suivante explique comment les journaux sont stockés dans Cloud Logging et comment les afficher et les gérer.

Buckets de journaux

Cloud Logging utilise des buckets de journaux comme conteneurs dans vos projets, comptes de facturation, dossiers et organisations Google Cloud pour stocker et organiser vos données de journaux. Les entrées de journal que vous stockez dans Cloud Logging sont indexées, optimisées pour analyser vos journaux en temps réel. Buckets Cloud Logging sont des entités de stockage différentes des buckets Cloud Storage portant un nom similaire.

Pour chaque projet, compte de facturation, dossier et organisation Google Cloud, Logging crée automatiquement deux buckets de journaux: _Required et _Default Logging crée automatiquement des récepteurs nommés _Required et _Default qui, dans la configuration par défaut, acheminent les entrées de journal vers les buckets nommés correspondants.

Vous pouvez désactiver le récepteur _Default, qui achemine les entrées de journal vers _Default bucket de journaux. Vous pouvez également modifier le comportement des récepteurs _Default créés pour de nouveaux projets ou dossiers Google Cloud. Pour en savoir plus, consultez Configurez les paramètres par défaut pour les organisations et les dossiers.

Vous ne pouvez pas modifier les règles de routage du bucket _Required.

De plus, vous pouvez créer des buckets définis par l'utilisateur pour projet Google Cloud.

Vous créez des récepteurs pour acheminer toutes vos entrées de journal, ou seulement une partie d'entre elles, vers les bucket de journaux. Cette flexibilité vous permet de choisir le projet Google Cloud où sont stockées vos entrées de journal, et vous permet de stocker les entrées de journaux de plusieurs de façon centralisée.

Pour en savoir plus, consultez Configurez des buckets de journaux.

Bucket de journaux _Required

Cloud Logging achemine automatiquement les types d'entrées de journal suivants vers la Bucket _Required:

Cloud Logging conserve les entrées de journal du bucket _Required pendant 400 jours vous ne pouvez pas modifier cette durée de conservation.

Vous ne pouvez ni modifier, ni supprimer le bucket _Required. Vous ne pouvez pas désactiver Le récepteur _Required, qui achemine les entrées de journal vers le bucket _Required.

Bucket de journaux _Default

Toute entrée de journal qui n'est pas stockée dans le bucket _Required est acheminée par le récepteur _Default vers le bucket _Default, sauf si vous désactivez ou modifiez d'une autre manière le récepteur _Default. Pour obtenir des instructions sur la modification des récepteurs, consultez la page Gérer les récepteurs.

Par exemple, Cloud Logging achemine automatiquement les types suivants dans le bucket _Default:

Cloud Logging conserve les entrées de journal du bucket _Default pendant au cours des 30 derniers jours, configurer des règles de conservation personnalisées bucket.

Vous ne pouvez pas supprimer le bucket _Default.

Buckets de journaux définis par l'utilisateur

Vous pouvez également créer des buckets de journaux définis par l'utilisateur dans n'importe quel projet Google Cloud. En appliquant des récepteurs à vos buckets de journaux définis par l'utilisateur, vous pouvez acheminer n'importe quel sous-ensemble d'entrées de journal vers n'importe quel bucket de journaux, choisissez le projet Google Cloud où sont stockées vos entrées de journal, et vous permet de stocker les entrées de journaux de plusieurs de façon centralisée.

Par exemple, pour tout journal généré dans le projet A, vous pouvez configurer un récepteur pour acheminer ces entrées de journal vers un bucket défini par l'utilisateur dans le projet A ou vers bucket de journaux dans le projet B.

Vous pouvez configurer des règles de conservation personnalisées pour dans le bucket.

Pour en savoir plus sur la gestion des buckets de journaux définis par l'utilisateur, y compris sur la suppression ou les mettre à jour, consultez Configurer et gérer des buckets de journaux.

Régionalisation

Les buckets de journaux sont des ressources régionales. L'infrastructure qui stocke, les index et les recherches dans vos entrées de journal se situent dans une zone géographique spécifique l'emplacement. Google Cloud gère cette infrastructure pour que vos applications soient disponibles de façon redondante entre les zones de cette région.

Lorsque vous créez un bucket de journaux ou définissez un règle régionale à l'échelle de l'organisation, vous pouvez choisissez de stocker vos entrées de journal dans l'une des régions suivantes:

Afrique

Nom de la région Description de la région
africa-south1 Johannesburg

Amériques

Nom de la région Description de la région
northamerica-northeast1 Montréal
northamerica-northeast2 Toronto
southamerica-east1 São Paulo
southamerica-west1 Santiago
us-central1 Iowa
us-east1 Caroline du Sud
us-east4 Virginie du Nord
us-east5 Columbus
us-south1 Dallas
us-west1 Oregon
us-west2 Los Angeles
us-west3 Salt Lake City
us-west4 Las Vegas

Asie-Pacifique

Nom de la région Description de la région
asia-east1 Taïwan
asia-east2 Hong Kong
asia-northeast1 Tokyo
asia-northeast2 Osaka
asia-northeast3 Séoul
asia-south1 Mumbai
asia-south2 Delhi
asia-southeast1 Singapour
asia-southeast2 Jakarta
australia-southeast1 Sydney
australia-southeast2 Melbourne

Europe

Nom de la région Description de la région
europe-central2 Varsovie
europe-north1 Finlande
europe-southwest1 Madrid
europe-west1 Belgique
europe-west2 Londres
europe-west3 Francfort
europe-west4 Pays-Bas
europe-west6 Zurich
europe-west8 Milan
europe-west9 Paris
europe-west10 Berlin
europe-west12 Turin

Moyen-Orient

Nom de la région Description de la région
me-central1 Doha
me-central2 Dammam
me-west1 Tel-Aviv

Autre

Nom de la région Description de la région
eu Journaux stockés dans des centres de données au sein de l'Union européenne aucune autre garanties de redondance
us Journaux stockés dans des centres de données aux États-Unis aucune autre garanties de redondance
global Journaux stockés dans n'importe quel centre de données dans le monde aucune redondance supplémentaire garanties

Lorsque vous définissez l'emplacement sur global, vous n'avez pas besoin d'indiquer où vos les entrées de journal sont stockées physiquement.

Vous pouvez appliquer automatiquement une région de stockage particulière au _Default et _Required buckets créés dans une organisation ou un dossier. Pour en savoir plus, consultez Configurez les paramètres par défaut pour les organisations et les dossiers.

Pour en savoir plus sur la régionalité des données et découvrir où stocker vos les données de journaux, consultez Découvrez les régions de données.

Règle d'administration

Vous pouvez créer une règle d'administration pour vous assurer que votre organisation répond à vos besoins réglementaires et de conformité. Grâce à la règle d'administration, vous pouvez spécifier les régions dans lesquelles votre organisation peut créer des buckets de journaux. Vous pouvez également empêcher votre organisation de créer des buckets de journaux dans des régions spécifiées.

Cloud Logging n'applique pas la règle d'administration que vous venez de créer sur des buckets de journaux existants ; la stratégie n'est appliquée qu'aux nouveaux buckets de journaux.

Pour en savoir plus sur la création d'une règle d'administration basée sur l'emplacement, consultez Limitez les emplacements des ressources.

En outre, vous pouvez configurer un emplacement de stockage par défaut pour le Bucket _Default et _Required d'une organisation ou d'un dossier. Si vous configurez une règle d'administration qui limite l'emplacement des données stocké, vous devez vous assurer que l'emplacement de stockage par défaut que vous spécifiez est de façon cohérente avec cette contrainte. Pour en savoir plus, consultez Configurez les paramètres par défaut pour les organisations et les dossiers.

Conservation

Cloud Logging conserve les journaux conformément aux règles de conservation appliquées au type de bucket de journaux où ils sont conservés. Pour en savoir plus sur les durées de conservation pour connaître les différents types de journaux, consultez Quotas et limites.

Vous pouvez configurer Cloud Logging pour conserver vos journaux entre 1 et 3 650 jours. Les règles de conservation personnalisées s'appliquent à tous les journaux d'un bucket, qu'ils aient été copiés depuis un autre emplacement ou non.

Pour en savoir plus sur la définition des règles de conservation d'un bucket de journaux, consultez Configurer des règles de conservation personnalisées

Vues de journaux

Les vues de journaux vous permettent d'autoriser un utilisateur à accéder uniquement à un sous-ensemble d'entrées de journal stockées dans un bucket de journaux. Pour en savoir plus sur la configuration des vues de journaux, et accorder l'accès à des vues de journaux spécifiques, consultez Configurez des vues de journaux sur un bucket de journaux.

Pour chaque bucket de journaux, Cloud Logging crée automatiquement la classe _AllLogs. qui affiche tous les journaux stockés dans ce bucket. Cloud Logging crée aussi une vue pour le bucket _Default appelée _Default ; La vue _Default pour Le bucket _Default affiche tous les journaux, à l'exception des journaux d'audit des accès aux données. La Vous ne pouvez pas modifier les vues _AllLogs et _Default, et vous ne pouvez pas les supprimer la vue de journal _Default.

Les vues de journaux personnalisées vous offrent un moyen avancé et précis de contrôler les accès à vos données de journaux. Par exemple, supposons que vous stocker tous les journaux de votre organisation dans un un projet Google Cloud central. Comme les buckets de journaux peuvent contenir des journaux plusieurs projets Google Cloud, vous voudrez peut-être contrôler les projets Google Cloud dont différents utilisateurs peuvent afficher les journaux. Utiliser des journaux personnalisés vous pouvez accorder à un utilisateur l'accès aux journaux uniquement dans un seul projet Google Cloud, tout en permettant à un autre utilisateur d'accéder aux journaux tous les projets Google Cloud.

Utiliser des journaux dans l'écosystème Google Cloud

La section suivante explique comment utiliser les journaux au sens plus large Google Cloud.

Métriques basées sur les journaux

Les métriques basées sur les journaux sont des métriques Cloud Monitoring. dérivés du contenu des entrées de journal. Par exemple, si Cloud Logging reçoit une entrée de journal pour un projet Google Cloud qui correspond aux filtres de l'une des métriques du projet Google Cloud, puis cette entrée de journal est comptabilisée dans les données de métriques.

Les métriques basées sur les journaux interagissent différemment avec le routage, selon que les métriques basées sur les journaux sont définies par le système ou par vous-même. Les éléments suivants : décrivent ces différences.

Métriques basées sur les journaux et filtres d'exclusion

Les filtres d'exclusion de récepteurs s'appliquent aux métriques basées sur les journaux définies par le système, qui comptent que les journaux stockés dans des buckets de journaux.

Les filtres d'exclusion de récepteur ne s'appliquent pas aux métriques basées sur les journaux définies par l'utilisateur. Même si vous excluez le stockage des journaux dans les buckets Logging, vous pourriez voir ces journaux compter dans ces métriques.

Champ d'application des métriques basées sur les journaux

Les métriques basées sur les journaux définies par le système s'appliquent au niveau du projet Google Cloud. Ces métriques sont calculées par le routeur de journaux et ne s'appliquent qu'aux journaux dans le projet Google Cloud qui les reçoit.

Les métriques basées sur les journaux définies par l'utilisateur peuvent s'appliquer au projet Google Cloud ou d'un bucket de journaux spécifique:

  • Les métriques au niveau du projet sont calculées comme les métriques basées sur les journaux définies par le système. ces métriques basées sur les journaux définies par l'utilisateur ne s'appliquent qu'aux journaux dans le projet Google Cloud qui les reçoit.
  • Les métriques à l'échelle du bucket s'appliquent aux journaux du bucket de journaux leur réception, quel que soit le projet Google Cloud dans lequel des entrées de journal créées.

    Avec les métriques basées sur les journaux à l'échelle du bucket, vous pouvez créer des métriques basées sur les journaux qui peut évaluer les journaux dans les cas suivants:

    • Journaux acheminés d'un projet vers un bucket dans un autre projet
    • Journaux acheminés vers un bucket via un récepteur agrégé

Pour en savoir plus, consultez Présentation des métriques basées sur les journaux.

Rechercher des journaux dans les destinations compatibles

Pour en savoir plus sur le format des entrées de journal acheminées et sur l'organisation des journaux dans les destinations, consultez la page Afficher les journaux dans les destinations de récepteur.

Cas d'utilisation courants

Pour découvrir les cas d'utilisation courants du routage et du stockage des journaux, consultez les documents et tutoriels suivants :

Exigences de conformité

Pour connaître les bonnes pratiques d'utilisation du routage pour la gouvernance des données, consultez les ressources suivantes : documents:

Contrôle des accès avec IAM

Pour en savoir plus sur la façon dont vous utilisez les rôles et autorisations IAM (Identity and Access Management) pour pour contrôler l'accès aux données Cloud Logging, consultez la Contrôle des accès avec IAM

Tarifs

Cloud Logging ne facture pas l'acheminement des journaux vers destination prise en charge ; Toutefois, des frais peuvent s'appliquer à la destination. À l'exception du bucket de journaux _Required, Cloud Logging facture l'insertion de journaux dans des buckets de journaux pour le stockage plus longtemps que la durée de conservation par défaut du bucket de journaux.

Cloud Logging ne facture pas la copie des journaux ni les requêtes émises via la page Explorateur de journaux ou la page Analyse de journaux.

Pour en savoir plus, consultez les documents suivants :

Étape suivante

Pour vous aider à acheminer et à stocker les données Cloud Logging, consultez les documents suivants :

  • Error Reporting peut analyser les entrées de journal et vous signaler les erreurs. Pour en savoir plus sur ce service, y compris sur quand les entrées de journal peuvent être analysées, consultez Présentation d'Error Reporting