Tech SEO North · Conférence de 20 minutes

01 / Le web est rempli de bots

Logs d’accès et signaux de fraîcheur.

Ce que font réellement les bots.

Nous optimisons les sites pour les bots.
Mais savons-nous vraiment ce qu’ils font ?

Charles Vayssié Journey Further & Scrubnet

24 sections · Logs d’accès, comportement des crawlers et signaux de fraîcheur

Cette conférence comporte deux parties : l’analyse concrète des logs d’accès en SEO technique, puis les signaux de fraîcheur et les observations de Scrubnet qui soulèvent de nouvelles questions. Consultez les explications ci-dessous ou utilisez Présenter pour parcourir la conférence comme un diaporama.

01 / Présentation rapide

Bonjour, moi c’est Charles.

Spécialiste du SEO technique, développeur web et fondateur de Scrubnet.

Charles Vayssié, fondateur de Scrubnet
Charles Vayssié
Journey Further

Un SEO technique fondé sur les faits.

Des sites e-commerce et internationaux complexes, de l’investigation technique aux améliorations concrètes.

Scrubnet

Un espace pour créer et explorer.

Des outils de SEO et des recherches sur les crawlers, dont SEO Scrubbox et l’Observatoire de fraîcheur.

Partie 01

Logs d’accès

Ce que les logs enregistrent. Où les trouver. Comment les utiliser.

SEO technique · Travail client · Analyses concrètes

01 / Le web est rempli de bots

Le web compte un public
non humain considérable.

Selon Cloudflare, le trafic non humain a dépassé 50 % en 2026.

>50%

Le seuil décrit dans le rapport de Cloudflare du
.

Les moteurs de recherche ne sont qu’une partie du tableau.

Crawlers d’entraînement, assistants, outils de surveillance et autres systèmes automatisés envoient aussi des requêtes.

Ce constat porte sur un ensemble de trafic plus large. Il ne décrit pas la répartition des bots sur chaque site.

Cloudflare · Rapport de juillet 2026

01 / Le web est rempli de bots

« Un bot est passé » ne dit pas tout.

Distinguez le rôle documenté d’un crawler de ce qu’une requête permet d’établir.

Rôle

Découvrir et actualiser les contenus de recherche

Googlebot et Bingbot sont des exemples connus. La recherche par IA dispose aussi de ses crawlers.

Exemple

Googlebot

Le crawler de Google Search. Ses chaînes de user-agent contiennent Googlebot/2.1. Une visite ne garantit pas l’indexation.

Rôle

Collecter du contenu pour développer des modèles

Certains crawlers collectent des données sans répondre à une demande utilisateur immédiate.

Exemple

GPTBot

OpenAI indique que le contenu collecté peut servir à l’entraînement de modèles. Une ligne de log ne prouve pas que cet entraînement a eu lieu.

Rôle

Récupérer une page pour une action utilisateur

Un assistant peut demander une ressource pendant l’exécution d’une tâche.

Exemple

ChatGPT-User

OpenAI distingue cet agent du crawl automatique. Analysez son activité séparément.

Google · User-agents de Googlebot OpenAI · Agents d’entraînement et d’action utilisateur

02 / Comprendre les logs d’accès

Partir d’une seule requête.

Une ligne de log enregistre une interaction. Pour la comprendre, il faut lire ses différents champs.

access.log · Exemple de format combiné Exemple fictif
192.0.2.24 - -
[01/Nov/2026:10:32:04 +0000]
"GET /discoveries/freshness-signals-vs-crawl-reality.html HTTP/2.0"
200 12418 "-"
"Googlebot/2.1 (+http://www.google.com/bot.html)"
La requête

Une méthode et une ressource.

GET demande la ressource HTML à ce chemin. Le champ indique la représentation demandée, pas seulement le sujet qui a attiré l’attention.

L’horodatage

Placer la requête sur une chronologie.

L’horodatage inclut un décalage de fuseau horaire. Alignez les fuseaux avant de comparer le crawl avec les déploiements, les mises à jour et les incidents.

La réponse

Un statut et un volume transféré.

200 est le statut de réponse enregistré. Dans le format de cet exemple, 12418 est la taille du corps de réponse en octets. Une réponse réussie ne prouve pas l’indexation.

L’identité déclarée

Un user-agent est une déclaration.

Cette ligne se présente comme Googlebot. Il faut vérifier séparément l’adresse IP source selon la procédure documentée par le fournisseur.

Cette ligne est fictive et utilise une adresse IP réservée à la documentation. Elle ne prouve pas une visite vérifiée de Googlebot.

L’origine du log compte. Un log du serveur d’origine peut manquer les requêtes servies entièrement par un CDN. Les logs du CDN et du serveur peuvent décrire des étapes différentes d’une même requête. Les champs, tailles de réponse et mesures de temps disponibles dépendent de la configuration.

Pour les crawlers de Google, utilisez les méthodes documentées de vérification par plages IP ou DNS. Conservez l’identité vérifiée séparément de la chaîne de user-agent brute.

Apache · Logs d’accès NGINX · Format des logs

02 / Comprendre les logs d’accès

Quelle partie du parcours
votre log a-t-il réellement vue ?

Un CDN et un serveur d’origine observent des étapes différentes d’une requête.

  1. 01

    Crawler

    Demande l’URL.

  2. 02

    CDN / périphérie

    Peut servir le cache ou filtrer.

  3. 03

    Origine

    Reçoit la requête si elle est transmise.

Logs du serveur

Apache / NGINX / hébergeur

Commencez par la destination configurée des logs d’accès ou l’export de requêtes de votre hébergeur.

Logs du CDN

Cloudflare / Akamai / autres CDN

Vérifiez l’export, les champs, la rétention et la couverture du fournisseur. Un accès servi depuis le cache du CDN peut être absent des logs d’origine.

Apache · Journalisation Cloudflare Logpush

02 / Comprendre les logs d’accès

Un user-agent est une déclaration.
La vérification est une étape distincte.

Pour les requêtes Google, suivez la procédure de vérification publiée par Google.

  1. 01

    Conserver la déclaration

    Gardez la chaîne de user-agent originale.

  2. 02

    Vérifier la source

    Utilisez les plages IP publiées par le fournisseur ou sa méthode documentée de résolution DNS inverse puis directe.

  3. 03

    Enregistrer le résultat

    Distinguez les identités vérifiées, non vérifiées et inconnues.

Derrière un proxy, établissez d’abord quelle adresse IP enregistrée est fiable. Une requête non identifiée n’est pas automatiquement malveillante.

Google · Vérification des requêtes de crawlers

03 / Transformer les logs en analyses SEO

Trois sources.
Trois questions différentes.

Une fois l’émetteur identifié, ajoutez l’état technique de l’URL et ses performances de recherche.

Logs d’accès

Qu’est-ce qui a été demandé ?

Crawler, ressource, date, réponse et, si disponibles, volume transféré ou temps de traitement.

Screaming Frog

Quels signaux l’URL expose-t-elle ?

Une photographie du statut, des canonicals, de l’indexabilité, des liens internes et d’autres éléments techniques.

Google Search Console

Que rapporte Google ?

Les performances de recherche, les rapports d’indexation et l’inspection d’URL ajoutent un autre point de vue.

03 / Transformer les logs en analyses SEO

Réunir ces données :
Bot Control.

L’approche du tableau de bord de Journey Further : passer de données séparées à une investigation.

VUE CROISÉE ILLUSTRATIVE
URL et valeurs fictives · Exemple sur sept jours

Exemple fictif réunissant des données de crawl, de logs d’accès et de Google Search Console sur sept jours.
Page d’exempleIndexable¹Requêtes vérifiées²5xx²Clics de recherche³
/guides/log-analysis/Oui20140
/guides/crawl-signals/Oui64048310
/search/?sort=latestNon1 28000
QUESTION SUIVANTE →

Cette page indexable reçoit des clics de recherche, mais peu de requêtes de bots. Est-ce cohérent avec ses mises à jour et son historique de crawl ?

¹ Crawl Screaming Frog ² Logs d’accès ³ Google Search Console

Une piste à examiner, pas un diagnostic automatique. Un faible nombre de requêtes ne prouve pas un problème de crawl. Une forte activité sur une URL non indexable n’est pas automatiquement du gaspillage. Vérifiez le rôle de la ressource, la période observée, la vérification des identités et la couverture des logs.

Ce schéma illustre la conférence : ce n’est ni une capture de Bot Control ni un résultat client. Les URL et les valeurs fictives expliquent la méthode sans représenter de données ou de résultats mesurés chez un client.

03 / Transformer les logs en analyses SEO

Trouver les requêtes que les autres rapports
ne montrent pas en détail.

Identifiez l’URL, le crawler et l’horodatage des échecs et des requêtes interrompues.

Repérer

Ressources absentes ou bloquées

Repérez les requêtes 404 et 410 , les blocages d’accès comme 403et les limitations de débit signalées par 429.

Relier

Quels bots demandent quelles URL ?

Regroupez les requêtes par crawler, modèle d’URL et période pour repérer les ressources concernées et les chemins récurrents.

Repérer

Les échecs réellement rencontrés par les bots

Repérez les réponses 500, 502 et 503 dans les requêtes de crawlers, y compris lors d’incidents brefs.

Relier

La requête et l’heure exactes

Reliez les échecs aux pages importantes, à l’activité de l’origine ou du CDN et aux temps de réponse enregistrés. Vérifiez si les requêtes suivantes ont réussi.

Repérer · Logs NGINX

Requêtes interrompues

499 signale une déconnexion du client avant l’envoi des en-têtes par NGINX. Les logs donnent l’URL, l’heure et le client enregistré.

Visibilité supplémentaire

Un détail que Search Console ne peut pas nommer 499

C’est un code local de journalisation, pas une réponse HTTP envoyée à Googlebot. Search Console peut signaler un problème de récupération, mais n’expose pas votre ligne de log NGINX 499.

Google · Traitement des statuts HTTP NGINX · Définition de 499 Search Console · Statistiques d’exploration

Partie 02

Signaux de fraîcheur

Ce que nous signalons. Ce que nous observons. Ce qui reste incertain.

Scrubnet · Observations des crawlers · Questions ouvertes

04 / Signaux de fraîcheur : les bots écoutent-ils ?

Que se passe-t-il après
une mise à jour du contenu ?

Les logs révèlent des problèmes techniques. Sur Scrubnet, je les utilise aussi pour observer ce qui suit une mise à jour du contenu.

Du contenu autorisé, publié sous différentes représentations pour les lecteurs et les systèmes automatisés.

HTML Page web
MD Markdown
TXT Texte brut
JSON Données structurées

Du diagnostic à la compréhension des comportements.

Nous modifions le contenu et signalons le changement. Quels crawlers reviennent, quand et pour quel format ?

Scrubnet · Contexte de l’étude

04 / Signaux de fraîcheur : les bots écoutent-ils ?

Les signaux de fraîcheur ont
des rôles différents.

Publication, mises à jour éditoriales, changements de page et versions HTTP décrivent des événements différents.

<lastmod>2026-11-01</lastmod>
Mise à jour significative de la page

Quand cette URL a-t-elle changé de façon significative ?

Sitemap lastmod peut refléter des changements importants du contenu, des liens ou des données structurées. Ce n’est pas simplement la date de génération du sitemap.

"dateModified":
"2026-11-01T10:00:00Z"
Contenu éditorial

Quand ce contenu a-t-il été mis à jour ?

Les données structurées peuvent décrire l’article ou une autre entité de la page. Comparez les dates du même élément ; le lastmod du sitemap décrit l’URL dans son ensemble.

Last-Modified:
Sun, 08 Nov 2026 10:00:00 GMT
Mise à jour de la représentation HTTP

Quand la ressource servie a-t-elle changé ?

Un fichier HTML régénéré ou redéployé peut avoir une date HTTP plus récente sans modification éditoriale. Une date plus récente que lastmod ou dateModified n’est pas automatiquement incohérente.

ETag: "feed-html-v7"
Validateur de représentation HTTP

Cette version correspond-elle toujours ?

Un ETag identifie une version de représentation, pas une date de publication. Le client peut envoyer If-None-Match pour valider sa copie en cache.

"datePublished": "2026-07-20"

Publié le : 20 juillet 2026
Mis à jour le : 1er novembre 2026
Publication et contexte pour le lecteur

Créé, puis mis à jour de façon significative.

La publication et la mise à jour éditoriale sont deux événements distincts. Les dates visibles doivent l’expliquer clairement et correspondre au contenu décrit.

Google · Lastmod des sitemaps HTTP · Last-Modified Google · Dates des pages

04 / Signaux de fraîcheur : les bots écoutent-ils ?

Une requête peut éviter un téléchargement.

Un GET conditionnel peut apparaître dans le log d’accès même si aucun corps de contenu n’est renvoyé.

Client → serveur
GET /resource.html
Serveur → client
200 OK
ETag: "v1"

[corps du contenu]

Le client conserve la représentation et son validateur.

Client → serveur
GET /resource.html
If-None-Match: "v1"
Serveur → client
304 Not Modified
ETag: "v1"

[sans corps de contenu]

Il y a bien eu une requête. Le corps déjà stocké peut être réutilisé.

Client → serveur
GET /resource.html
If-None-Match: "v1"
Serveur → client
200 OK
ETag: "v2"

[corps du contenu mis à jour]

Le validateur ne correspond plus : la représentation mise à jour est envoyée.

Requêtes HTTP conditionnelles Cache des crawlers Google

05 / Mes premières observations

Observer la requête.
Garder le contexte.

L’Observatoire de fraîcheur relie crawler, format et heure de requête à l’âge enregistré de la ressource.

Capture historique de l’Observatoire filtré sur Amazonbot, avec volumes et âges du contenu par format
Capture publiée d’Amazonbot · vue filtrée distincte.
Exemple de calcul d’âge · toutes les heures sont en UTC
  1. Mise à jour enregistrée
  2. Requête du crawler
  3. Âge lors de la requête 3 jours

Source de la date : JSON du flux dateModified, avec repli sur la date du fichier.

Heure de requête − date de modification stockée de la ressource.

L’étude publiée couvre les requêtes vérifiées dont l’âge est exploitable, en HTML, Markdown, TXT et JSON. Elle ne mesure ni l’indexation ni l’entraînement.

Méthode et observations publiées Ouvrir l’Observatoire public

05 / Mes premières observations

Les contenus anciens recevaient encore
la plupart des requêtes.

Une observation historique issue des 28 premiers jours rapportés par l’Observatoire de fraîcheur de Scrubnet.

88%

des requêtes observées visaient du contenu de plus de sept jours.

  • Un jour au maximum 4%
  • Plus d’un jour, jusqu’à sept jours 8%
  • Plus de sept jours 88%

Qu’est-ce qui pourrait l’expliquer ?

Explications possibles
  • Cycles de revisite : les bots pourraient revenir aux ressources connues selon des cycles établis.
  • Contenu disponible : les anciennes URL pourraient constituer l’essentiel des ressources accessibles.
  • Autres priorités : la découverte, les liens et les objectifs propres au crawler pourraient intervenir en plus de l’âge.

Plusieurs facteurs pourraient contribuer à cette répartition des requêtes.

Photographie historique, pas un tableau de bord en direct. Ces pourcentages approximatifs proviennent de Signaux de fraîcheur et réalité du crawl, publié le . L’article décrit une première fenêtre de 28 jours ; sa publication ne donne pas les dates exactes de début et de fin de cette période.

L’interprétation nécessite la répartition par âge des ressources disponibles, la définition de l’âge enregistré et les autres influences sur le crawl. Cette observation ne prouve ni l’indexation, ni le classement, ni l’entraînement d’IA, ni l’effet causal d’un signal. Les chiffres décrivent cette fenêtre historique et non l’état actuel de l’outil.

05 / Mes premières observations

Les crawlers ne suivaient pas
un même schéma.

Observations historiques de l’étude Scrubnet publiée sur 28 jours.

Formats enregistrés

Les quatre formats

Googlebot et GoogleOther ont demandé HTML, Markdown, TXT et JSON.

Chronologie des requêtes

Un pic TXT au même moment

Les deux crawlers ont produit un pic important de requêtes TXT à peu près au même moment.

Formats enregistrés

Principalement HTML

HTML recevait la majorité des requêtes de Bingbot dans les données sélectionnées.

Activité Markdown

Très peu de requêtes

Très peu d’activité Markdown a été enregistrée pendant la période observée.

Activité Markdown

Environ deux fois plus de requêtes

Amazonbot a demandé Markdown environ deux fois plus souvent que HTML ou TXT, pris séparément.

Activité JSON

Aucune requête observée

Aucune requête Amazonbot vers des ressources JSON n’a été enregistrée dans ces données.

Activité Markdown

Des rafales concentrées

Le crawler externe de Meta a demandé des groupes de ressources Markdown lors de pics importants.

Autres formats

Plus répartis dans le temps

Ses requêtes HTML, TXT et JSON étaient comparativement plus réparties sur la période.

Chronologie des requêtes

Une faible activité, puis de grands pics

ClaudeBot a maintenu une activité relativement faible pendant une grande partie de la période, interrompue par quelques pics importants.

Formats enregistrés

Les quatre formats

Les quatre formats ont été demandés, HTML recevant le plus grand volume total de requêtes.

Scrubnet · Observations par crawler

05 / Mes premières observations

Un observatoire,
pas une expérience contrôlée.

La configuration actuelle de Scrubnet sert à observer. Elle ne suit pas encore un protocole d’expérimentation contrôlée.

Cadre observé

Un site, une configuration

Les flux de Scrubnet, ses ressources et la fenêtre de 28 jours sélectionnée. Un autre site peut présenter un comportement différent.

Méthode de l’étude

Pas de comparaison contrôlée

Les formats et les ressources n’étaient pas des traitements répartis aléatoirement. Plusieurs facteurs varient ensemble : cette configuration n’isole pas les causes.

Comment les utiliser

Des questions à explorer

Ces tendances donnent matière à réflexion. Elles ne constituent pas encore des recommandations générales de crawl, de formats ou de fraîcheur pour d’autres sites.

Rattachez chaque observation à son site, ses ressources et sa période.

Scrubnet · Périmètre et méthode de l’étude

Conclusion

À retenir

Ce qui sert aujourd’hui. Ce qui reste à observer.

Logs d’accès · Données croisées · Signaux de fraîcheur

06 / Il reste tant à découvrir

Trois façons de mieux comprendre
l’activité des bots.

Utilisez les logs pour relier les requêtes des crawlers aux pages importantes.

  1. 01

    Consulter les logs

    CDN ou serveur : quels bots demandent vos URL, quand et avec quel résultat ?

  2. 02

    Ajouter le contexte des pages

    Croisez les performances Search Console avec des crawls réguliers, les signaux d’indexabilité et les liens internes.

  3. 03

    Enquêter plus tôt

    À l’arrivée des logs, repérez les tendances et les échecs avant leur apparition dans les rapports de pages différés.

Une vue plus détaillée et plus récente des interactions des bots, avec les performances de recherche à côté.

Search Console · Couverture des statistiques d’exploration

06 / Il reste tant à découvrir

Des signaux exacts.
Un contexte de crawl plus large.

Gardez des informations de fraîcheur pertinentes. Leur influence sur les revisites reste difficile à isoler.

Ce que nous pouvons faire

Décrire les changements fidèlement

Gardez les signaux de publication, éditoriaux, du sitemap et HTTP cohérents avec leur rôle. Les dates ne doivent pas forcément être identiques.

Ce qui reste incertain

L’effet de chaque signal sur le crawl

Découverte, liens, comportement du serveur et priorités des crawlers forment un contexte plus large. Ces observations n’isolent pas l’effet d’un signal.

Je documente ce qui se passe sur Scrubnet et partage ces observations à mesure que les données s’accumulent.

06 / Il reste tant à découvrir

Il reste tant
à découvrir.

« Plus nous observons le comportement des bots, plus nous réalisons tout ce qu’il reste à apprendre. »
Des questions ou des observations ?

Charles Vayssié · Journey Further & Scrubnet

scrubnet.org/fr/talks/logs-acces-et-signaux-de-fraicheur.html ↗

06 / Garder le contact

Merci.

Des questions ou des observations ? Poursuivons la conversation.

Me retrouver sur LinkedIn linkedin.com/in/charles-vayssie ↗
QR code pour https://scrubnet.org/fr/
Scannez pour découvrir Scrubnet Outils, articles et observations des crawlers.

Votre navigateur devient le diaporama.

Présenter active une mise en page dédiée. Les 24 diapositives restent sur la page : le défilement et les six liens de chapitre fonctionnent toujours. Les explications complémentaires réapparaissent en lecture et à l’impression.

← / → · Page préc. / suiv.
Étape interactive précédente ou suivante, puis section, en mode présentation.
Espace / Maj + Espace
Étape suivante ou précédente en présentation. Un bouton ayant le focus conserve son action habituelle avec Espace.
Début / Fin
Première ou dernière section en mode présentation.
P · Échap
Activer la présentation · Revenir à la lecture.
F · ?
Activer le plein écran · Ouvrir cette aide.

Suivant parcourt les états interactifs avant de continuer : champs du log, rôles des crawlers, vues du tableau de bord, codes de réponse, signaux de fraîcheur, validation HTTP et tendances observées. Précédent suit l’ordre inverse. Les boutons à l’écran utilisent le même parcours dans les deux modes.

Le plein écran dépend du navigateur. La présentation fonctionne aussi dans une fenêtre normale. L’impression produit un document lisible à partir du même contenu.