Observatoire des robots d'exploration ===================================== Données de requêtes à l'échelle de Scrubnet et flux publics pour observer le comportement des robots de recherche et d'IA Explorer les journaux en direct (https://scrubnet.org/dashboard.php) Un environnement de recherche au sein de Scrubnet ------------------------------------------------- L'observatoire des robots d'exploration est l'environnement ouvert de Scrubnet permettant d'étudier comment des robots vérifiés de recherche et d'IA découvrent, récupèrent et revisitent des ressources sur l'ensemble du domaine Scrubnet, notamment des flux publics lisibles par machine. Il complète nos outils et nos articles par des données de requêtes propriétaires que les spécialistes du SEO technique, les développeurs et les chercheurs peuvent examiner directement. Les résultats de l'observatoire alimentent des conseils pratiques et de nouvelles questions de recherche. Ils s'inscrivent dans le travail plus large de Scrubnet visant à créer de meilleures façons d'analyser, de comprendre et d'utiliser le web technique. Explorer l'observatoire ----------------------- Image: Tableau de bord des journaux d'exploration en direct affichant des graphiques de requêtes (https://scrubnet.org/crawler-log-dashboard.webp) Données en direct Journaux d'exploration en direct -------------------------------- Filtrez les requêtes vérifiées par robot, chemin, format, réponse et date. Mis à jour tout au long de la journée Ouvrir les journaux d'exploration en direct: https://scrubnet.org/dashboard.php Image: Tableau de bord de l'observatoire de la fraîcheur affichant les requêtes des robots selon l'âge du contenu (https://scrubnet.org/freshness-observatory.webp) Analyse interactive Observatoire de la fraîcheur ---------------------------- Explorez le calendrier des requêtes, l'âge du contenu, les formats et la répartition des robots. Données interactives sur les robots Ouvrir l'observatoire de la fraîcheur: https://scrubnet.org/freshness-lab.php Infrastructure ouverte Flux publics pour les robots ---------------------------- Examinez l'interface cohérente et lisible par machine utilisée par l'observatoire. HTML, JSON, TXT et Markdown Explorer les flux publics de Scrubnet pour les robots: https://scrubnet.org/fr/flux-publics.html Participer Ajouter un site --------------- Proposez du contenu public autorisé et élargissez le jeu de données observable. Gratuit pour les sites éligibles Ajouter un site à l'observatoire Scrubnet: https://scrubnet.org/fr/ajouter-un-site.html De l'observation aux enseignements pratiques -------------------------------------------- Les requêtes sur l'ensemble de Scrubnet sont étudiées avec les formats des ressources, les horodatages, les codes de statut et les modifications de contenu. Les motifs utiles deviennent des observations documentées, des articles techniques et des questions susceptibles d'améliorer les audits, les systèmes de publication et les processus de développement tenant compte des robots d'exploration. Lire les articles et recherches (https://scrubnet.org/fr/articles.html) Collaborer avec Scrubnet (https://scrubnet.org/fr/collaborer.html) Découvrez ScrubberDuck ---------------------- ScrubberDuck est le compilateur léger de flux, conçu pour tenir compte des robots, qui alimente l'observatoire. Il collecte du contenu public autorisé et crée des flux cohérents pour observer la découverte, les formats, les signaux de fraîcheur et les nouvelles explorations, tout en limitant les requêtes inutiles. Image: Illustration de ScrubberDuck, le compilateur de flux utilisé par Scrubnet (https://scrubnet.org/scrubberduck-200.webp) User-Agent:ScrubberDuck/1.0 (+https://scrubnet.org) Interpréter les données ----------------------- Une requête confirme qu'une ressource a été récupérée auprès de Scrubnet. Elle ne prouve pas à elle seule une indexation, un classement, un entraînement de modèle, une récupération, une citation ou la raison de la visite d'un robot. Scrubnet publie des constats descriptifs, documente les limites pertinentes et distingue les éléments observables des hypothèses.