Google a clarifié une contrainte majeure d'exploration. Lorsque Googlebot explore une page pour la recherche, il ne récupère que les 2 premiers Mo de chaque ressource prise en charge. Cette limite est inférieure aux anciens seuils, plus souples, et s'applique strictement aux données non compressées.
Il ne s'agit pas d'une recommandation théorique, mais d'une limite stricte. Une fois ce seuil atteint, la récupération s'arrête et seule la partie récupérée est prise en compte pour l'indexation et le rendu.
Ce que ce changement signifie concrètement
Le point essentiel est que la limite de 2 Mo s'applique à chaque ressource récupérée, et non à chaque page.
Cela signifie que :
- le document HTML dispose de sa propre limite de 2 Mo ;
- chaque fichier JavaScript dispose de sa propre limite de 2 Mo ;
- chaque fichier CSS dispose de sa propre limite de 2 Mo ;
- chaque ressource référencée est récupérée indépendamment.
Google ne cumule pas ces ressources. Il n'existe pas de budget global par page. Chaque requête est limitée séparément.
Pourquoi cela compte plus qu'il n'y paraît
De nombreux sites modernes transfèrent entre dix et vingt mégaoctets par page sans difficulté. Cela ne pose pas problème en soi. Ce qui compte, c'est la taille de chaque ressource et l'emplacement du contenu important.
Si le HTML dépasse 2 Mo, tout ce qui se trouve au-delà de ce seuil est invisible pour Google. Si un bundle JavaScript dépasse 2 Mo, Google n'exécute qu'une partie du fichier. Une logique de rendu critique, du contenu injecté ou des liens internes peuvent ne jamais être atteints.
La compression n'aide pas dans ce cas. La limite s'applique après décompression. Un fichier fortement compressé peut toujours dépasser le seuil une fois décompressé.
Le rôle des journaux d'accès
Dans la plupart des configurations, ce seuil est observable. Lorsque Googlebot atteint sa limite interne, il interrompt la connexion. Le serveur cesse alors d'envoyer des données.
Avec une journalisation des accès correctement configurée, vous pouvez observer :
- le nombre exact d'octets réellement envoyés ;
- les requêtes qui se terminent prématurément ;
- les réponses qui se concentrent autour de la limite de 2 Mo.
La discussion passe ainsi de la documentation aux faits. Vous pouvez voir ce que Google a réellement consommé, et non ce que la page était censée fournir.
Comment l'observatoire de Scrubnet s'inscrit dans cette réalité
L'observatoire des robots d'exploration de Scrubnet publie des flux compacts lisibles par machine et enregistre la manière dont les robots vérifiés les demandent.
Chaque flux de l'observatoire est :
- compact et de taille prévisible ;
- constitué d'un HTML épuré, sans dépendance de rendu ;
- dépourvu de scripts surdimensionnés et de bruit de mise en page ;
- conçu pour pouvoir être intégralement consommé en une seule récupération.
Les robots n'atteignent ainsi jamais un plafond d'octets avant d'accéder au contenu pertinent. Ce qui est publié est ce qui est lu.
Ce que cela annonce pour l'avenir
La clarification de Google n'est pas une régression. C'est un constat. Les robots ont besoin de limites fermes pour fonctionner à grande échelle. Tout rendre coûte cher. Deviner l'intention comporte des risques.
Le web se divise en plusieurs couches : un web humain riche en interactions et en présentation, et un web pour les machines axé sur la clarté, la structure et la maîtrise des coûts.
L'observatoire des robots d'exploration de Scrubnet évolue dans cette seconde couche.
Principaux enseignements
- La limite de 2 Mo s'applique à chaque ressource, et non à chaque page
- Un HTML ou un JavaScript surdimensionné peut perdre du contenu sans avertissement
- Les journaux d'accès révèlent le comportement réel d'exploration
- La publication pensée d'abord pour les machines réduit l'incertitude
- Les flux épurés sont conçus pour rester adaptés à l'avenir
Observez les robots sans présumer des résultats
Scrubnet aide les sites participants autorisés à publier des représentations compactes lisibles par machine, puis rend observable le comportement des requêtes vérifiées. Une requête confirme uniquement un accès ; elle ne prouve ni la confiance, ni l'indexation, ni la réutilisation, ni la citation.