ScrubberDuck travaillant avec des flux publics lisibles par machine

Ajoutez votre site à Scrubnet

Proposez du contenu autorisé à l'observatoire public des robots d'exploration. Gratuit pour les sites comptant jusqu'à 50 000 URL.

Contribuez à l'observatoire des robots d'exploration

Scrubnet publie des flux autorisés dérivés des sources et enregistre la manière dont les robots vérifiés de recherche et d'IA les découvrent, les récupèrent et les revisitent. L'ajout de sites élargit la base de contenus observables et aide à documenter les motifs de requêtes selon différents sujets, structures et cycles de mise à jour.

La participation n'est pas une promesse d'optimisation de votre contenu pour les robots. Elle contribue à un jeu de données d'observation ouvert susceptible d'éclairer les analyses de SEO technique et de GEO, sans prétendre que les flux produisent un résultat de visibilité.

L'observatoire des robots d'exploration de Scrubnet constitue le volet de recherche dédié de la marque. Il complète une boîte à outils grandissante et des articles pratiques destinés aux spécialistes du SEO technique et aux développeurs web.

Ce que fait Scrubnet

  • Collecte les pages publiques autorisées : ScrubberDuck suit votre sitemap accessible et respecte robots.txt.
  • Crée des flux lisibles par machine : le contenu sélectionné est publié dans des formats HTML, JSON, TXT et Markdown légers.
  • Suit les signaux de modification : les URL sources et les horodatages de dernière modification sont conservés lorsqu'ils sont disponibles.
  • Observe les requêtes : les visites de robots reconnus sur les flux Scrubnet apparaissent dans le tableau de bord public des journaux.
  • Publie des observations : les motifs de requêtes utiles donnent lieu à des rapports descriptifs, des études de cas et des conseils pratiques.

Ce que vous pouvez observer

Les journaux d'exploration en direct indiquent quels robots demandent les flux Scrubnet, les chemins et formats qu'ils récupèrent, leur statut de vérification, les codes de réponse, les octets transférés et le délai par rapport à la dernière modification du flux.

Une requête de flux témoigne d'un accès, et non d'une indexation, d'un classement, d'une citation ou d'une utilisation dans un produit d'IA. Scrubnet ne garantit aucun résultat de visibilité.

Fonctionnement

  1. Inscrivez-vous gratuitement : utilisez la page de paiement Stripe pour nous indiquer le site web que vous êtes autorisé à proposer.
  2. Autorisez ScrubberDuck : gardez votre sitemap accessible et autorisez ScrubberDuck/1.0 dans robots.txt.
  3. Nous créons et actualisons les flux : le contenu est récupéré avec mesure et publié sur Scrubnet.
  4. Nous observons et apprenons : les requêtes des robots alimentent le jeu de données en direct et les recherches futures.

Conditions de participation

  • Gratuit pour un site web comptant jusqu'à 50 000 URL publiques.
  • Vous confirmez être propriétaire du site proposé ou être autorisé à fournir son contenu.
  • Seul le contenu accessible au public et couvert par cette autorisation est collecté.
  • Vous pouvez demander des corrections, un export ou la suppression à tout moment.
  • L'attribution des sources et les horodatages sont conservés.
  • Aucun classement, aucune indexation, aucune citation par une IA ni aucun résultat de trafic ne sont promis.

Ajouter un site

Utilisez l'abonnement gratuit ci-dessous pour ajouter un site web autorisé au jeu de données d'observation des robots de Scrubnet.

Abonnement ScrubberDuck

GRATUIT

Par site web · jusqu'à 50 000 URL

  • Un abonnement simple
  • Activation de ScrubberDuck
  • Flux lisibles par machine hébergés sur Scrubnet
  • Suivi des modifications avec des horodatages fiables
  • Journaux d'accès et surveillance de base
  • Résiliation à tout moment, sans engagement
S'abonner

Besoin de plus de 50 000 URL ? Écrivez à contact@scrubnet.org.