Journaux d'exploration en direct
Filtrez les requêtes vérifiées par robot, chemin, format, réponse et date.
Observatoire des robots d'exploration
Données de requêtes en direct et flux publics pour observer le comportement des robots de recherche et d'IA
Un environnement de recherche au sein de Scrubnet
L'observatoire des robots d'exploration est l'environnement ouvert de Scrubnet permettant d'étudier comment des robots vérifiés de recherche et d'IA découvrent, récupèrent et revisitent des flux publics lisibles par machine. Il complète nos outils et nos articles par des données de requêtes propriétaires que les spécialistes du SEO technique, les développeurs et les chercheurs peuvent examiner directement.
Les résultats de l'observatoire alimentent des conseils pratiques et de nouvelles questions de recherche. Ils s'inscrivent dans le travail plus large de Scrubnet visant à créer de meilleures façons d'analyser, de comprendre et d'utiliser le web technique.
Explorer l'observatoire
Données en direct
Analyse interactive
Observatoire de la fraîcheur
Explorez le calendrier des requêtes, l'âge du contenu, les formats et la répartition des robots.
Infrastructure ouverte
Flux publics pour les robots
Examinez l'interface cohérente et lisible par machine utilisée par l'observatoire.
Participer
Ajouter un site
Proposez du contenu public autorisé et élargissez le jeu de données observable.
De l'observation aux enseignements pratiques
Les requêtes en direct sont étudiées avec les formats des flux, les horodatages, les codes de statut et les modifications de contenu. Les motifs utiles deviennent des observations documentées, des articles techniques et des questions susceptibles d'améliorer les audits, les systèmes de publication et les processus de développement tenant compte des robots d'exploration.
Découvrez ScrubberDuck
ScrubberDuck est le compilateur léger de flux, conçu pour tenir compte des robots, qui alimente l'observatoire. Il collecte du contenu public autorisé et crée des flux cohérents pour observer la découverte, les formats, les signaux de fraîcheur et les nouvelles explorations, tout en limitant les requêtes inutiles.
User-Agent: ScrubberDuck/1.0 (+https://scrubnet.org)
Interpréter les données
Une requête confirme qu'une ressource a été récupérée auprès de Scrubnet. Elle ne prouve pas à elle seule une indexation, un classement, un entraînement de modèle, une récupération, une citation ou la raison de la visite d'un robot. Scrubnet publie des constats descriptifs, documente les limites pertinentes et distingue les éléments observables des hypothèses.