[Accueil](https://scrubnet.org/fr/) [Conférences](https://scrubnet.org/fr/conferences.html) Tech SEO North

01 / Le web est rempli de bots

# Logs d’accès et signaux de fraîcheur.

Ce que font réellement les bots.

Nous optimisons les sites pour les bots.  
Mais savons-nous vraiment ce qu’ils font ?

CV

**Charles Vayssié** Journey Further & Scrubnet

CETTE CONFÉRENCE EN DEUX PARTIES

01

Applications concrètes chez nos clients **Logs d’accès** Ce qu’ils enregistrent, où les trouver et comment nous les utilisons en SEO technique.

02

Observations et questions ouvertes **Signaux de fraîcheur** Leur rôle, le fonctionnement de Scrubnet et les questions que soulève le comportement des crawlers.

Des outils utilisés aujourd’hui, puis des questions encore ouvertes.

24 sections · Logs d’accès, comportement des crawlers et signaux de fraîcheur

Cette conférence comporte deux parties : l’analyse concrète des logs d’accès en SEO technique, puis les signaux de fraîcheur et les observations de Scrubnet qui soulèvent de nouvelles questions. Consultez les explications ci-dessous ou utilisez **Présenter** pour parcourir la conférence comme un diaporama.

### Analyse pratique des logs et questions sur la fraîcheur

La première partie explique ce que les logs d’accès enregistrent, où les trouver et comment ils servent au travail de SEO technique déjà réalisé pour nos clients. Croiser les requêtes avec les données de crawl et Search Console permet de relier l’activité des crawlers à l’état technique et à l’importance des pages concernées.

La seconde partie présente les signaux de fraîcheur, le système de publication de Scrubnet et les observations de son Observatoire de fraîcheur. Elle propose des tendances à examiner et des questions sur la réaction des crawlers aux mises à jour. Les deux parties relient les outils utilisés aujourd’hui à un sujet qui reste à mieux comprendre.

01 / Présentation rapide

## Bonjour, moi c’est Charles.

Spécialiste du SEO technique, développeur web et fondateur de Scrubnet.

![Charles Vayssié, fondateur de Scrubnet](https://scrubnet.org/charles-vayssie-about.webp)

*Charles Vayssié*

Journey Further

### Un SEO technique fondé sur les faits.

Des sites e-commerce et internationaux complexes, de l’investigation technique aux améliorations concrètes.

Scrubnet

### Un espace pour créer et explorer.

Des outils de SEO et des recherches sur les crawlers, dont SEO Scrubbox et l’Observatoire de fraîcheur.

[linkedin.com/in/charles-vayssie ↗](https://www.linkedin.com/in/charles-vayssie/)

### Relier le SEO technique au développement

Le SEO technique se situe souvent entre l’identification d’un problème et la mise en œuvre d’une solution. Mon parcours en développement web, en SEO technique et en infrastructure informatique m’aide à relier les résultats d’un crawl ou d’un rapport de recherche aux systèmes qui servent le site.

Chez Journey Further, cela consiste à transformer les constats techniques en décisions concrètes pour des sites e-commerce et internationaux complexes. Scrubnet offre un espace pour créer des outils et étudier le comportement des crawlers. Cette conférence réunit ces deux approches : appliquer les observations au travail quotidien et examiner les hypothèses qui les sous-tendent.

Partie 01

## Logs d’accès

Ce que les logs enregistrent. Où les trouver. Comment les utiliser.

SEO technique · Travail client · Analyses concrètes

### Les logs d’accès en SEO technique

Les logs d’accès enregistrent les requêtes observées par un CDN ou un serveur. Cette première partie explique le contenu de ces traces, où les obtenir et comment établir quels crawlers ont envoyé les requêtes.

Les exemples croisent ensuite les requêtes avec les données de crawl et Search Console pour mener des investigations SEO chez nos clients. Cette base pratique prépare les observations sur la fraîcheur de la seconde partie.

01 / Le web est rempli de bots

## Le web compte un public  
non humain considérable.

Selon Cloudflare, le trafic non humain a dépassé 50 % en 2026.

\>50%

Le seuil décrit dans le rapport de Cloudflare du  
1er juillet 2026 .

### Les moteurs de recherche ne sont qu’une partie du tableau.

Crawlers d’entraînement, assistants, outils de surveillance et autres systèmes automatisés envoient aussi des requêtes.

Ce constat porte sur un ensemble de trafic plus large. Il ne décrit pas la répartition des bots sur chaque site.

[Cloudflare · Rapport de juillet 2026](https://blog.cloudflare.com/agentic-internet-bot-report/)

### Replacer la statistique de trafic dans son contexte

Le chiffre de Cloudflare décrit l’ampleur de l’activité non humaine dans un environnement bien plus vaste qu’un seul site. Ce n’est pas une référence à atteindre pour la proportion de requêtes automatisées. Le public, le contenu, l’infrastructure et la période observée influencent la répartition du trafic de chaque site.

En SEO technique, la question utile est donc plus précise que « quelle part du trafic est automatisée ? ». Des bots différents peuvent demander la même ressource à des fins différentes. Distinguer leurs identités et leurs rôles permet d’examiner séparément le crawl de recherche, la collecte de données et les accès déclenchés par les utilisateurs.

01 / Le web est rempli de bots

## « Un bot est passé » ne dit pas tout.

Distinguez le rôle documenté d’un crawler de ce qu’une requête permet d’établir.

Recherche Entraînement Action utilisateur

Rôle

### Découvrir et actualiser les contenus de recherche

Googlebot et Bingbot sont des exemples connus. La recherche par IA dispose aussi de ses crawlers.

Exemple

### ``Googlebot``

Le crawler de Google Search. Ses chaînes de user-agent contiennent ``Googlebot/2.1``. Une visite ne garantit pas l’indexation.

Rôle

### Collecter du contenu pour développer des modèles

Certains crawlers collectent des données sans répondre à une demande utilisateur immédiate.

Exemple

### ``GPTBot``

OpenAI indique que le contenu collecté peut servir à l’entraînement de modèles. Une ligne de log ne prouve pas que cet entraînement a eu lieu.

Rôle

### Récupérer une page pour une action utilisateur

Un assistant peut demander une ressource pendant l’exécution d’une tâche.

Exemple

### ``ChatGPT-User``

OpenAI distingue cet agent du crawl automatique. Analysez son activité séparément.

[Google · User-agents de Googlebot](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers#googlebot) · [OpenAI · Agents d’entraînement et d’action utilisateur](https://developers.openai.com/api/docs/bots)

### Pourquoi le rôle du crawler compte

Le crawl de recherche, la collecte pour l’entraînement et la récupération déclenchée par un utilisateur décrivent des activités différentes. Un fournisseur peut exploiter plusieurs agents. La présence de l’un ne prouve pas que tous ses systèmes ont utilisé le contenu. Le rôle documenté d’un agent ne révèle pas non plus ce qui suit une requête donnée.

Conserver séparément le user-agent brut, l’identité vérifiée et la catégorie d’usage préserve cette distinction. Cela facilite aussi la révision de l’analyse si la documentation du fournisseur évolue. Le résultat à mesurer dépend de la question : une revisite de recherche, une collecte et une récupération demandée par un utilisateur ne correspondent pas automatiquement au même succès.

02 / Comprendre les logs d’accès

## Partir d’une seule requête.

Une ligne de log enregistre une interaction. Pour la comprendre, il faut lire ses différents champs.

access.log · Exemple de format combiné Exemple fictif

````
192.0.2.24 - -
[01/Nov/2026:10:32:04 +0000]
"GET /discoveries/freshness-signals-vs-crawl-reality.html HTTP/2.0"
200 12418 "-"
"Googlebot/2.1 (+http://www.google.com/bot.html)"
````

Requête Date Réponse Identité du bot

La requête

### Une méthode et une ressource.

``GET`` demande la ressource HTML à ce chemin. Le champ indique la représentation demandée, pas seulement le sujet qui a attiré l’attention.

L’horodatage

### Placer la requête sur une chronologie.

L’horodatage inclut un décalage de fuseau horaire. Alignez les fuseaux avant de comparer le crawl avec les déploiements, les mises à jour et les incidents.

La réponse

### Un statut et un volume transféré.

``200`` est le statut de réponse enregistré. Dans le format de cet exemple, ``12418`` est la taille du corps de réponse en octets. Une réponse réussie ne prouve pas l’indexation.

L’identité déclarée

### Un user-agent est une déclaration.

Cette ligne se présente comme Googlebot. Il faut vérifier séparément l’adresse IP source selon la procédure documentée par le fournisseur.

Cette ligne est fictive et utilise une adresse IP réservée à la documentation. Elle ne prouve pas une visite vérifiée de Googlebot.

**L’origine du log compte.** Un log du serveur d’origine peut manquer les requêtes servies entièrement par un CDN. Les logs du CDN et du serveur peuvent décrire des étapes différentes d’une même requête. Les champs, tailles de réponse et mesures de temps disponibles dépendent de la configuration.

Pour les crawlers de Google, utilisez les [méthodes documentées de vérification par plages IP ou DNS](https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot). Conservez l’identité vérifiée séparément de la chaîne de user-agent brute.

[Apache · Logs d’accès](https://httpd.apache.org/docs/2.4/logs.html) · [NGINX · Format des logs](https://nginx.org/en/docs/http/ngx_http_log_module.html)

### Lire une requête dans son contexte de journalisation

Le chemin identifie la représentation demandée, tandis que l’horodatage situe la requête dans le temps. Le statut et le volume transféré décrivent le résultat à la couche qui journalise. L’exemple est volontairement fictif : son user-agent se présente comme Googlebot, mais il ne démontre pas une visite vérifiée.

La durée de réponse peut apporter du contexte, bien qu’elle ne figure pas dans cet exemple. Ce champ n’existe que si la configuration le prévoit, et il faut comprendre sa signification avant de comparer des systèmes. La durée totale de la requête et le temps de réponse de l’amont décrivent notamment des étapes différentes.

02 / Comprendre les logs d’accès

## Quelle partie du parcours  
votre log a-t-il réellement vue ?

Un CDN et un serveur d’origine observent des étapes différentes d’une requête.

1. 01
   
   ### Crawler
   
   Demande l’URL.
2. 02
   
   ### CDN / périphérie
   
   Peut servir le cache ou filtrer.
3. 03
   
   ### Origine
   
   Reçoit la requête si elle est transmise.

Logs du serveur

### Apache / NGINX / hébergeur

Commencez par la destination configurée des logs d’accès ou l’export de requêtes de votre hébergeur.

Logs du CDN

### Cloudflare / Akamai / autres CDN

Vérifiez l’export, les champs, la rétention et la couverture du fournisseur. Un accès servi depuis le cache du CDN peut être absent des logs d’origine.

[Apache · Journalisation](https://httpd.apache.org/docs/2.4/logs.html) · [Cloudflare Logpush](https://developers.cloudflare.com/logs/logpush/)

### Comprendre les limites de couverture des requêtes

Un CDN peut répondre depuis son cache sans transmettre la requête au serveur d’origine. Une règle en périphérie peut également intervenir avant l’application. Les logs d’origine peuvent donc omettre des interactions visibles dans un export CDN, tout en donnant un contexte applicatif ou amont absent de cet export.

Une apparente absence de crawl doit être interprétée selon cette couverture. La rétention, l’échantillonnage, les filtres et les fuseaux horaires peuvent modifier les traces disponibles. Lorsqu’on combine CDN et origine, un identifiant de requête fiable aide à relier les deux vues sans compter deux fois la même interaction.

02 / Comprendre les logs d’accès

## Un user-agent est une déclaration.  
La vérification est une étape distincte.

Pour les requêtes Google, suivez la procédure de vérification publiée par Google.

1. 01
   
   ### Conserver la déclaration
   
   Gardez la chaîne de user-agent originale.
2. 02
   
   ### Vérifier la source
   
   Utilisez les plages IP publiées par le fournisseur ou sa méthode documentée de résolution DNS inverse puis directe.
3. 03
   
   ### Enregistrer le résultat
   
   Distinguez les identités vérifiées, non vérifiées et inconnues.

Derrière un proxy, établissez d’abord quelle adresse IP enregistrée est fiable. Une requête non identifiée n’est pas automatiquement malveillante.

[Google · Vérification des requêtes de crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests)

### Vérifier la source derrière l’identité déclarée

La méthode DNS de Google consiste à effectuer une résolution inverse de l’IP source, à vérifier le nom d’hôte obtenu par rapport aux domaines documentés, puis à confirmer par résolution directe qu’il renvoie à l’IP initiale. Les plages IP publiées pour la catégorie de crawler constituent une autre méthode. Un nom qui semble plausible ne suffit pas.

Les autres fournisseurs ont leurs propres vérifications documentées. Enregistrer la méthode et la date de vérification aide à expliquer la couverture d’un jeu de données, notamment lorsque les plages IP changent. Une identité vérifiée ne révèle toujours pas les décisions ultérieures d’indexation, de récupération ou d’entraînement.

03 / Transformer les logs en analyses SEO

## Trois sources.  
Trois questions différentes.

Une fois l’émetteur identifié, ajoutez l’état technique de l’URL et ses performances de recherche.

Logs d’accès

### Qu’est-ce qui a été demandé ?

Crawler, ressource, date, réponse et, si disponibles, volume transféré ou temps de traitement.

Screaming Frog

### Quels signaux l’URL expose-t-elle ?

Une photographie du statut, des canonicals, de l’indexabilité, des liens internes et d’autres éléments techniques.

Google Search Console

### Que rapporte Google ?

Les performances de recherche, les rapports d’indexation et l’inspection d’URL ajoutent un autre point de vue.

### Croiser les données de différents systèmes

Chaque source répond à une question distincte. Un crawl capture les signaux techniques selon une configuration et à un instant donnés. Search Console ajoute des rapports propres à Google, avec leurs fenêtres de restitution. GA4 décrit les interactions mesurées et ne constitue pas une trace exhaustive des requêtes de crawlers.

Une jointure utile conserve les distinctions importantes : paramètres, représentations, redirections et relations canoniques. Les périodes doivent aussi être comparables. Deux enregistrements portant la même URL peuvent décrire des versions différentes d’une page ou des étapes différentes de son histoire. Faire correspondre l’adresse n’est donc qu’un début.

03 / Transformer les logs en analyses SEO

## Réunir ces données :  
Bot Control.

L’approche du tableau de bord de Journey Further : passer de données séparées à une investigation.

**VUE CROISÉE ILLUSTRATIVE**  
URL et valeurs fictives · Exemple sur sept jours

Explorer Faible activité de requêtes Erreurs serveur

| Page d’exemple | Indexable¹ | Requêtes vérifiées² | 5xx² | Clics de recherche³ |
| --- | --- | --- | --- | --- |
| /guides/log-analysis/ | Oui | **2** | 0 | 140 |
| /guides/crawl-signals/ | Oui | 640 | 48 | 310 |
| /search/?sort=latest | Non | 1 280 | 0 | 0 |

QUESTION SUIVANTE →

Cette page indexable reçoit des clics de recherche, mais peu de requêtes de bots. Est-ce cohérent avec ses mises à jour et son historique de crawl ?

¹ Crawl Screaming Frog ² Logs d’accès ³ Google Search Console

**Une piste à examiner, pas un diagnostic automatique.** Un faible nombre de requêtes ne prouve pas un problème de crawl. Une forte activité sur une URL non indexable n’est pas automatiquement du gaspillage. Vérifiez le rôle de la ressource, la période observée, la vérification des identités et la couverture des logs.

Ce schéma illustre la conférence : ce n’est ni une capture de Bot Control ni un résultat client. Les URL et les valeurs fictives expliquent la méthode sans représenter de données ou de résultats mesurés chez un client.

### Passer d’un tableau de bord à une question utile

L’intérêt d’une vue croisée est de passer d’un résumé aux éléments qui l’expliquent. Un faible nombre de requêtes peut être comparé à l’historique des mises à jour, aux signaux techniques et à l’activité de recherche. Une concentration d’erreurs serveur peut être examinée par ressource, crawler et période.

Le schéma utilise des données fictives pour montrer cette approche. Ses deux vues posent des questions différentes : une page peu visitée est-elle revisitée à bon escient, et quelles requêtes ont échoué sur une page plus active ? Aucune tendance ne constitue à elle seule un diagnostic. Les requêtes détaillées et la couverture des données déterminent les explications plausibles.

03 / Transformer les logs en analyses SEO

## Trouver les requêtes que les autres rapports  
ne montrent pas en détail.

Identifiez l’URL, le crawler et l’horodatage des échecs et des requêtes interrompues.

4xx 5xx 499

Repérer

### Ressources absentes ou bloquées

Repérez les requêtes ``404`` et ``410`` , les blocages d’accès comme ``403``et les limitations de débit signalées par ``429``.

Relier

### Quels bots demandent quelles URL ?

Regroupez les requêtes par crawler, modèle d’URL et période pour repérer les ressources concernées et les chemins récurrents.

Repérer

### Les échecs réellement rencontrés par les bots

Repérez les réponses ``500``, ``502`` et ``503`` dans les requêtes de crawlers, y compris lors d’incidents brefs.

Relier

### La requête et l’heure exactes

Reliez les échecs aux pages importantes, à l’activité de l’origine ou du CDN et aux temps de réponse enregistrés. Vérifiez si les requêtes suivantes ont réussi.

Repérer · Logs NGINX

### Requêtes interrompues

``499`` signale une déconnexion du client avant l’envoi des en-têtes par NGINX. Les logs donnent l’URL, l’heure et le client enregistré.

Visibilité supplémentaire

### Un détail que Search Console ne peut pas nommer 499

C’est un code local de journalisation, pas une réponse HTTP envoyée à Googlebot. Search Console peut signaler un problème de récupération, mais n’expose pas votre ligne de log NGINX 499.

[Google · Traitement des statuts HTTP](https://developers.google.com/crawling/docs/troubleshooting/http-status-codes) · [NGINX · Définition de 499](https://github.com/nginx/nginx/blob/master/src/http/ngx_http_request.h) · [Search Console · Statistiques d’exploration](https://support.google.com/webmasters/answer/9679690?hl=en)

### Le détail des requêtes pour l’investigation technique

Les logs d’accès peuvent identifier la ressource, le client enregistré et l’heure associés à un échec. Ils rendent visibles les incidents brefs et les modèles d’URL récurrents pour les crawlers de recherche vérifiés et les autres bots, dans les limites de la couche qui journalise.

NGINX utilise 499 pour enregistrer la fermeture d’une connexion par le client avant l’envoi des en-têtes. Google ne reçoit donc pas de réponse 499 et Search Console ne peut pas présenter cet événement local comme un statut HTTP 499 reçu. Il peut y apparaître comme un problème de connexion ou de récupération. Ce code n’est pas non plus un statut d’indexation : les temps de requête et de traitement amont aident à examiner l’interruption.

Partie 02

## Signaux de fraîcheur

Ce que nous signalons. Ce que nous observons. Ce qui reste incertain.

Scrubnet · Observations des crawlers · Questions ouvertes

### Des investigations concrètes aux questions ouvertes

La première partie a montré comment les logs d’accès servent au SEO technique chez nos clients. Ces mêmes traces permettent aussi d’explorer une question plus ouverte : que se passe-t-il après une modification du contenu et son signalement aux crawlers ?

Cette seconde partie présente les signaux de fraîcheur et le système de publication de Scrubnet, puis les observations des crawlers. Elle relie les informations communiquées par le site aux requêtes visibles et aux questions qui restent ouvertes.

04 / Signaux de fraîcheur : les bots écoutent-ils ?

## Que se passe-t-il après  
une mise à jour du contenu ?

Les logs révèlent des problèmes techniques. Sur Scrubnet, je les utilise aussi pour observer ce qui suit une mise à jour du contenu.

Du contenu autorisé, publié sous différentes représentations pour les lecteurs et les systèmes automatisés.

**HTML** Page web

**MD** Markdown

**TXT** Texte brut

**JSON** Données structurées

### Du diagnostic à la compréhension des comportements.

Nous modifions le contenu et signalons le changement. Quels crawlers reviennent, quand et pour quel format ?

[Scrubnet · Contexte de l’étude](https://scrubnet.org/fr/articles/signaux-fraicheur-realite-exploration.html)

### Suivre les requêtes après une mise à jour

Les investigations précédentes utilisent les logs pour repérer des problèmes techniques. Scrubnet applique ces mêmes traces à une autre question : que se passe-t-il après une mise à jour et son signalement ? Ses flux publics proposent du contenu autorisé en HTML, Markdown, texte brut et JSON structuré. Ce sont des représentations du contenu destinées aux lecteurs et aux systèmes automatisés, pas quatre catégories de crawler.

Les représentations diffèrent par leur balisage, leurs métadonnées et leur volume. Documenter ce qui était disponible et quand cela a changé donne du contexte aux requêtes. Je relève quels crawlers reviennent, les représentations demandées et l’évolution des tendances, puis je partage ces observations à mesure que les données s’accumulent.

04 / Signaux de fraîcheur : les bots écoutent-ils ?

## Les signaux de fraîcheur ont  
des rôles différents.

Publication, mises à jour éditoriales, changements de page et versions HTTP décrivent des événements différents.

Sitemap Mise à jour éditoriale Last-Modified ETag Publication / dates visibles

````
<lastmod>2026-11-01</lastmod>
````

Mise à jour significative de la page

### Quand cette URL a-t-elle changé de façon significative ?

Sitemap ``lastmod`` peut refléter des changements importants du contenu, des liens ou des données structurées. Ce n’est pas simplement la date de génération du sitemap.

````
"dateModified":
"2026-11-01T10:00:00Z"
````

Contenu éditorial

### Quand ce contenu a-t-il été mis à jour ?

Les données structurées peuvent décrire l’article ou une autre entité de la page. Comparez les dates du même élément ; le lastmod du sitemap décrit l’URL dans son ensemble.

````
Last-Modified:
Sun, 08 Nov 2026 10:00:00 GMT
````

Mise à jour de la représentation HTTP

### Quand la ressource servie a-t-elle changé ?

Un fichier HTML régénéré ou redéployé peut avoir une date HTTP plus récente sans modification éditoriale. Une date plus récente que ``lastmod`` ou ``dateModified`` n’est pas automatiquement incohérente.

````
ETag: "feed-html-v7"
````

Validateur de représentation HTTP

### Cette version correspond-elle toujours ?

Un ETag identifie une version de représentation, pas une date de publication. Le client peut envoyer ``If-None-Match`` pour valider sa copie en cache.

````
"datePublished": "2026-07-20"

Publié le : 20 juillet 2026
Mis à jour le : 1er novembre 2026
````

Publication et contexte pour le lecteur

### Créé, puis mis à jour de façon significative.

La publication et la mise à jour éditoriale sont deux événements distincts. Les dates visibles doivent l’expliquer clairement et correspondre au contenu décrit.

[Google · Lastmod des sitemaps](https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap) · [HTTP · Last-Modified](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Headers/Last-Modified) · [Google · Dates des pages](https://developers.google.com/search/docs/appearance/publication-dates)

### Cohérent ne veut pas dire identique

La date de publication décrit la création ; la date de modification éditoriale décrit une mise à jour du contenu ou de l’entité concernée. Le lastmod du sitemap décrit la dernière mise à jour significative de l’URL, y compris celle des liens ou des données structurées. Une entité et la page qui la contient peuvent donc avoir des dates différentes.

HTTP Last-Modified décrit la représentation sélectionnée selon le système qui la sert. Pour un fichier statique, une reconstruction ou un redéploiement peut avancer cette date sans modifier l’article. Dans les exemples, les dates éditoriale et du sitemap sont le 1er novembre et la date HTTP le 8 novembre. Ces valeurs peuvent être valides ensemble : vérifiez la génération de l’en-tête plutôt que d’exiger des dates identiques.

ETag est un validateur de version distinct, sans obligation de contenir une date. La cohérence consiste à faire décrire à chaque signal le bon événement et le bon périmètre. Elle n’impose pas de réinitialiser les dates éditoriales à chaque déploiement. Cette distinction guide aussi les vérifications Freshness Signals de SEO Scrubbox.

04 / Signaux de fraîcheur : les bots écoutent-ils ?

## Une requête peut éviter un téléchargement.

Un GET conditionnel peut apparaître dans le log d’accès même si aucun corps de contenu n’est renvoyé.

1 · Premier accès 2 · Inchangé 3 · Modifié

Client → serveur

````
GET /resource.html
````

Serveur → client

````
200 OK
ETag: "v1"

[corps du contenu]
````

Le client conserve la représentation et son validateur.

Client → serveur

````
GET /resource.html
If-None-Match: "v1"
````

Serveur → client

````
304 Not Modified
ETag: "v1"

[sans corps de contenu]
````

Il y a bien eu une requête. Le corps déjà stocké peut être réutilisé.

Client → serveur

````
GET /resource.html
If-None-Match: "v1"
````

Serveur → client

````
200 OK
ETag: "v2"

[corps du contenu mis à jour]
````

Le validateur ne correspond plus : la représentation mise à jour est envoyée.

[Requêtes HTTP conditionnelles](https://developer.mozilla.org/en-US/docs/Web/HTTP/Guides/Conditional_requests) · [Cache des crawlers Google](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers)

### Pourquoi un 304 reste une requête

Après un premier téléchargement, un client peut conserver la représentation et son validateur. Lors d’une requête ultérieure, ce validateur permet au serveur de vérifier si la version stockée correspond toujours. Une ressource inchangée peut produire un 304 sans corps ; une ressource modifiée peut produire un nouveau corps et un nouveau validateur.

La validation implique toujours une requête. Un graphique de volumes ne montre donc pas tous les effets du cache. Les statuts, les volumes transférés et les en-têtes conditionnels, lorsqu’ils sont enregistrés, aident à distinguer les revisites qui transfèrent un corps de celles qui le réutilisent. L’exemple décrit le fonctionnement HTTP sans supposer que chaque crawler l’utilise à chaque visite.

05 / Mes premières observations

## Observer la requête.  
Garder le contexte.

L’Observatoire de fraîcheur relie crawler, format et heure de requête à l’âge enregistré de la ressource.

![Capture historique de l’Observatoire filtré sur Amazonbot, avec volumes et âges du contenu par format](https://scrubnet.org/discoveries/amazon-bot-crawl-data.webp)

*Capture publiée d’Amazonbot · vue filtrée distincte.*

Exemple de calcul d’âge · toutes les heures sont en UTC

1. Mise à jour enregistrée **1er nov. · 10:00**
2. Requête du crawler **4 nov. · 10:00**
3. Âge lors de la requête **3 jours**

**Source de la date :** JSON du flux ``dateModified``, avec repli sur la date du fichier.

Heure de requête − date de modification stockée de la ressource.

L’étude publiée couvre les requêtes vérifiées dont l’âge est exploitable, en HTML, Markdown, TXT et JSON. Elle ne mesure ni l’indexation ni l’entraînement.

[Méthode et observations publiées](https://scrubnet.org/fr/articles/signaux-fraicheur-realite-exploration.html) · [Ouvrir l’Observatoire public](https://scrubnet.org/freshness-lab.php)

### Définir ce que représentent les données

La capture montre l’Observatoire filtré sur Amazonbot, tel que publié dans l’étude historique. Ses volumes et résumés d’âge appartiennent à cette sélection et sont distincts du chiffre global de 88 % présenté plus loin.

L’exemple utilise des dates fictives : une mise à jour enregistrée le 1er novembre à 10:00 UTC et une requête le 4 novembre à la même heure donnent un âge de trois jours. Le calcul est fait à la date de la requête, pas à l’ouverture du tableau de bord. Le format et l’identité vérifiée permettent de comparer d’autres groupes.

L’agrégation utilise la date de modification de la ressource stockée avec la requête, dans le champ ``last_mod`` . Le collecteur lit ``dateModified`` dans la ressource JSON ou sa représentation JSON correspondante pour HTML, Markdown et TXT. À défaut, il utilise la date de modification du fichier. C’est une mesure de l’âge enregistré de la ressource ; la date de repli n’est pas nécessairement éditoriale. Les lignes historiques gardent leur date stockée au lieu de prendre celle de la version actuelle du fichier.

L’analyse publiée porte sur quatre formats et exclut les lignes sans âge exploitable. Ces règles font partie du résultat. Changer la période, la sélection des crawlers ou l’agrégation peut modifier le résumé : chaque constat doit donc être accompagné de ses filtres et de sa fenêtre d’observation.

05 / Mes premières observations

## Les contenus anciens recevaient encore  
la plupart des requêtes.

Une observation historique issue des 28 premiers jours rapportés par l’Observatoire de fraîcheur de Scrubnet.

88%

des requêtes observées visaient du contenu de plus de sept jours.

- Un jour au maximum **4%**
- Plus d’un jour, jusqu’à sept jours **8%**
- Plus de sept jours **88%**

### Qu’est-ce qui pourrait l’expliquer ?

Explications possibles

- **Cycles de revisite :** les bots pourraient revenir aux ressources connues selon des cycles établis.
- **Contenu disponible :** les anciennes URL pourraient constituer l’essentiel des ressources accessibles.
- **Autres priorités :** la découverte, les liens et les objectifs propres au crawler pourraient intervenir en plus de l’âge.

Plusieurs facteurs pourraient contribuer à cette répartition des requêtes.

**Photographie historique, pas un tableau de bord en direct.** Ces pourcentages approximatifs proviennent de [Signaux de fraîcheur et réalité du crawl](https://scrubnet.org/fr/articles/signaux-fraicheur-realite-exploration.html), publié le 20 juillet 2026. L’article décrit une première fenêtre de 28 jours ; sa publication ne donne pas les dates exactes de début et de fin de cette période.

L’interprétation nécessite la répartition par âge des ressources disponibles, la définition de l’âge enregistré et les autres influences sur le crawl. Cette observation ne prouve ni l’indexation, ni le classement, ni l’entraînement d’IA, ni l’effet causal d’un signal. Les chiffres décrivent cette fenêtre historique et non l’état actuel de l’outil.

**Sources et lectures complémentaires**

- [Scrubnet : signaux de fraîcheur et réalité du crawl](https://scrubnet.org/fr/articles/signaux-fraicheur-realite-exploration.html) — les constats historiques et leurs limites.
- [Observatoire de fraîcheur de Scrubnet](https://scrubnet.org/freshness-lab.php) — consulter séparément l’outil public actuel.
- [Google Search Central : vérifier Googlebot et les autres crawlers Google](https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot).

### Le dénominateur du chiffre de 88 %

Le chiffre de 88 % décrit l’âge du contenu demandé, pas la proportion de pages anciennes sélectionnées parmi les ressources disponibles. L’étude rapporte aussi un âge moyen d’environ 120 jours. Cette moyenne ne révèle pas toute la distribution ni le mélange de ressources accessibles.

Si la plupart des ressources disponibles étaient anciennes, une forte part de requêtes vers ces contenus serait attendue. Il faut donc comparer les requêtes à l’inventaire. Ce constat seul ne montre pas que les signaux ont été ignorés ou que les contenus anciens avaient plus de valeur pour un crawler.

Les explications ci-dessus sont des hypothèses. Des cycles de revisite établis, un inventaire ancien ou des priorités de découverte, de liens et de crawl pourraient contribuer aux observations. Les pourcentages ne permettent pas de départager ces explications.

05 / Mes premières observations

## Les crawlers ne suivaient pas  
un même schéma.

Observations historiques de l’étude Scrubnet publiée sur 28 jours.

Google Bing Amazon Meta Claude

Formats enregistrés

### Les quatre formats

Googlebot et GoogleOther ont demandé HTML, Markdown, TXT et JSON.

Chronologie des requêtes

### Un pic TXT au même moment

Les deux crawlers ont produit un pic important de requêtes TXT à peu près au même moment.

Formats enregistrés

### Principalement HTML

HTML recevait la majorité des requêtes de Bingbot dans les données sélectionnées.

Activité Markdown

### Très peu de requêtes

Très peu d’activité Markdown a été enregistrée pendant la période observée.

Activité Markdown

### Environ deux fois plus de requêtes

Amazonbot a demandé Markdown environ deux fois plus souvent que HTML ou TXT, pris séparément.

Activité JSON

### Aucune requête observée

Aucune requête Amazonbot vers des ressources JSON n’a été enregistrée dans ces données.

Activité Markdown

### Des rafales concentrées

Le crawler externe de Meta a demandé des groupes de ressources Markdown lors de pics importants.

Autres formats

### Plus répartis dans le temps

Ses requêtes HTML, TXT et JSON étaient comparativement plus réparties sur la période.

Chronologie des requêtes

### Une faible activité, puis de grands pics

ClaudeBot a maintenu une activité relativement faible pendant une grande partie de la période, interrompue par quelques pics importants.

Formats enregistrés

### Les quatre formats

Les quatre formats ont été demandés, HTML recevant le plus grand volume total de requêtes.

[Scrubnet · Observations par crawler](https://scrubnet.org/fr/articles/signaux-fraicheur-realite-exploration.html)

### Interpréter les différences entre crawlers

Ces tendances viennent de la première étude publiée de Scrubnet et ne constituent pas un classement actuel des crawlers. Une rafale, un format peu demandé ou deux événements proches peuvent soulever une question utile. Aucun de ces constats ne révèle seul la planification ou l’objectif interne du système externe.

Les ressources disponibles, les chemins de découverte et la période sélectionnée peuvent façonner la répartition. Ces facteurs donnent du contexte à une observation sur un seul hôte. Des périodes plus longues et des données comparables aideraient à voir si une tendance persiste.

Les événements TXT proches chez Google ne prouvent pas une coordination, et le faible volume Markdown de Bing n’est pas un test de capacité. La répartition d’Amazonbot ne démontre pas une préférence universelle. Les tendances Meta et Claude décrivent une activité visible sans révéler les systèmes internes ni un cycle régulier.

05 / Mes premières observations

## Un observatoire,  
pas une expérience contrôlée.

La configuration actuelle de Scrubnet sert à observer. Elle ne suit pas encore un protocole d’expérimentation contrôlée.

Cadre observé

### Un site, une configuration

Les flux de Scrubnet, ses ressources et la fenêtre de 28 jours sélectionnée. Un autre site peut présenter un comportement différent.

Méthode de l’étude

### Pas de comparaison contrôlée

Les formats et les ressources n’étaient pas des traitements répartis aléatoirement. Plusieurs facteurs varient ensemble : cette configuration n’isole pas les causes.

Comment les utiliser

### Des questions à explorer

Ces tendances donnent matière à réflexion. Elles ne constituent pas encore des recommandations générales de crawl, de formats ou de fraîcheur pour d’autres sites.

Rattachez chaque observation à son site, ses ressources et sa période.

[Scrubnet · Périmètre et méthode de l’étude](https://scrubnet.org/fr/articles/signaux-fraicheur-realite-exploration.html)

### Ce que les observations permettent de soutenir

L’étude publiée décrit les requêtes dans un environnement Scrubnet et une période historique. Ce n’est pas une expérience contrôlée avec répartition aléatoire, groupes de ressources comparables et isolement d’un seul signal de fraîcheur. Les ressources, la découverte, les liens, les formats et les crawlers peuvent contribuer aux tendances.

Les observations documentent ce qui s’est passé et suggèrent des explications possibles. Elles n’établissent pas encore un effet causal ni une modification à appliquer à tous les sites. Des données comparables dans d’autres contextes seraient nécessaires pour évaluer leur portée. Le rôle de Scrubnet est ici de poursuivre et de partager ces observations, sans les présenter comme des règles universelles.

Conclusion

## À retenir

Ce qui sert aujourd’hui. Ce qui reste à observer.

Logs d’accès · Données croisées · Signaux de fraîcheur

### Réunir les deux parties

Les conclusions relient l’analyse pratique des logs aux questions ouvertes sur la fraîcheur. Les sections suivantes résument comment utiliser les requêtes avec d’autres données SEO et les pistes à continuer d’observer sur Scrubnet.

06 / Il reste tant à découvrir

## Trois façons de mieux comprendre  
l’activité des bots.

Utilisez les logs pour relier les requêtes des crawlers aux pages importantes.

1. 01
   
   ### Consulter les logs
   
   CDN ou serveur : quels bots demandent vos URL, quand et avec quel résultat ?
2. 02
   
   ### Ajouter le contexte des pages
   
   Croisez les performances Search Console avec des crawls réguliers, les signaux d’indexabilité et les liens internes.
3. 03
   
   ### Enquêter plus tôt
   
   À l’arrivée des logs, repérez les tendances et les échecs avant leur apparition dans les rapports de pages différés.

Une vue plus détaillée et plus récente des interactions des bots, avec les performances de recherche à côté.

[Search Console · Couverture des statistiques d’exploration](https://support.google.com/webmasters/answer/9679690?hl=en)

### Croiser les requêtes récentes avec le contexte des pages

Les logs du CDN ou du serveur exposent les requêtes enregistrées à cette couche : identité, URL, date et résultat. Croisés avec des crawls techniques réguliers et les performances Search Console, ces constats aident à prioriser les problèmes touchant des pages importantes.

Une requête peut être disponible avant qu’un problème associé n’apparaisse dans un rapport de pages différé de Search Console. Le délai dépend du fournisseur, de l’export et du traitement. Il s’agit d’une visibilité sur les requêtes, pas d’un flux d’indexation en direct. Les crawls et les rapports de recherche gardent leurs propres dates et fenêtres.

06 / Il reste tant à découvrir

## Des signaux exacts.  
Un contexte de crawl plus large.

Gardez des informations de fraîcheur pertinentes. Leur influence sur les revisites reste difficile à isoler.

Ce que nous pouvons faire

### Décrire les changements fidèlement

Gardez les signaux de publication, éditoriaux, du sitemap et HTTP cohérents avec leur rôle. Les dates ne doivent pas forcément être identiques.

Ce qui reste incertain

### L’effet de chaque signal sur le crawl

Découverte, liens, comportement du serveur et priorités des crawlers forment un contexte plus large. Ces observations n’isolent pas l’effet d’un signal.

Je documente ce qui se passe sur Scrubnet et partage ces observations à mesure que les données s’accumulent.

### Les informations de fraîcheur dans un système plus large

Des informations exactes décrivent le contenu et permettent une validation HTTP utile. Elles ne garantissent pas une date de revisite. Les chemins de découverte, les liens, les ressources disponibles, les conditions de service et les décisions des crawlers donnent du contexte aux requêtes enregistrées.

Les résultats présentés sont des observations historiques d’un seul site. Ils n’isolent pas l’influence d’un signal de fraîcheur sur le crawl. Continuer à observer peut révéler des tendances et préciser les questions posées.

06 / Il reste tant à découvrir

## Il reste tant  
à découvrir.

> « Plus nous observons le comportement des bots, plus nous réalisons tout ce qu’il reste à apprendre. »

**Des questions ou des observations ?**

Charles Vayssié · Journey Further & Scrubnet

[scrubnet.org/fr/talks/logs-acces-et-signaux-de-fraicheur.html ↗](https://scrubnet.org/fr/talks/logs-acces-et-signaux-de-fraicheur.html)

### Sources et lectures complémentaires

- [Cloudflare · Content Independence Day, un an après (1er juillet 2026)](https://blog.cloudflare.com/agentic-internet-bot-report/)
- [OpenAI · Rôle des crawlers et user-agents](https://developers.openai.com/api/docs/bots)
- [Google · Vérification des requêtes de crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests)
- [Apache · Fichiers de logs](https://httpd.apache.org/docs/2.4/logs.html)
- [NGINX · Configuration des logs d’accès](https://nginx.org/en/docs/http/ngx_http_log_module.html)
- [Cloudflare · Exports des requêtes](https://developers.cloudflare.com/logs/logpush/)
- [Google · Contexte du budget de crawl](https://developers.google.com/crawling/docs/crawl-budget)
- [Google · Traitement des statuts HTTP](https://developers.google.com/crawling/docs/troubleshooting/http-status-codes)
- [NGINX · Définition du code non standard 499](https://github.com/nginx/nginx/blob/master/src/http/ngx_http_request.h)
- [Google · Précision du lastmod des sitemaps](https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap)
- [Google · Dates des pages](https://developers.google.com/search/docs/appearance/publication-dates)
- [Google · Cache des crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers)
- [MDN · Requêtes conditionnelles](https://developer.mozilla.org/en-US/docs/Web/HTTP/Guides/Conditional_requests)
- [MDN · HTTP Last-Modified](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Headers/Last-Modified)
- [Search Console · Couverture des statistiques d’exploration](https://support.google.com/webmasters/answer/9679690?hl=en)
- [Scrubnet · Résultats historiques sur 28 jours et capture](https://scrubnet.org/fr/articles/signaux-fraicheur-realite-exploration.html)
- [Scrubnet · Observatoire public de fraîcheur](https://scrubnet.org/freshness-lab.php)

Sources techniques externes vérifiées le 1er novembre 2026; références sur les sitemaps, la fraîcheur HTTP et les rapports de requêtes revues le 11 novembre 2026. Les chiffres de Scrubnet sont historiques et proviennent de l’article publié le 20 juillet 2026. Les exemples Bot Control sont fictifs et ne contiennent aucune donnée client.

### Les questions qui restent ouvertes

Le comportement des crawlers se situe entre les capacités documentées, les requêtes visibles et les décisions qui échappent au propriétaire du site. Les logs rendent une partie de ce comportement observable tout en laissant ouvertes des questions sur la planification et les usages ultérieurs.

Comparer les observations et améliorer la couverture des logs aide à préciser les questions. Suivre les ressources disponibles et leur âge apporte du contexte. Scrubnet reste un espace pour observer et partager ce qui devient visible. L’objectif est de mieux comprendre les faits et les conclusions qu’ils permettent de soutenir.

06 / Garder le contact

## Merci.

Des questions ou des observations ? Poursuivons la conversation.

Site web [scrubnet.org ↗](https://scrubnet.org/fr/)

Me retrouver sur LinkedIn [linkedin.com/in/charles-vayssie ↗](https://www.linkedin.com/in/charles-vayssie/)

Mon extension Chrome

### SEO Scrubbox

Vérifiez l’indexabilité, comparez les signaux SEO du code source et du rendu, et explorez un site par crawl visuel.

[Découvrir SEO Scrubbox ↗](https://scrubnet.org/fr/seo-scrubbox.html) [Installer sur Chrome ↗](https://chromewebstore.google.com/detail/seo-scrubbox/bpmnoonigkfiidagbibkbfcoikiclmic)

***Scannez pour découvrir Scrubnet** Outils, articles et observations des crawlers.*

### Poursuivre la conversation

Scrubnet rassemble des outils de SEO technique, des articles et des observations publiques des crawlers. Le site et LinkedIn permettent d’explorer ces travaux et de partager des questions ou des observations.

Pour les vérifications dans le navigateur, SEO Scrubbox propose l’analyse de l’indexabilité, la comparaison entre source et rendu et le crawl visuel. La page produit décrit ces fonctions ; le lien Chrome Web Store mène à l’extension existante.
