Directives techniques pour l'ingestion et la visibilité dans l'IA

Faciliter l'extraction du contenu essentiel

La première condition de l'ingestion par l'IA est simple : le contenu important et les signaux techniques doivent être accessibles sans obstacle inutile. Le texte principal, les liens internes, les balises canoniques, les métadonnées et les données structurées devraient, dans la mesure du possible, figurer dans la réponse HTML initiale.

Utiliser du HTML rendu côté serveur ou généré statiquement

Ne faites pas dépendre le contenu essentiel entièrement de JavaScript côté client. Certains robots d'IA et systèmes de recherche d'information savent exécuter JavaScript, mais il ne faut pas le tenir pour acquis. Le rendu augmente les coûts et les délais, tout en multipliant les risques que des signaux importants soient ignorés.

Adopter une structure de page sémantique

Un HTML bien organisé aide les systèmes d'IA à identifier le sujet principal, à comprendre la hiérarchie des sections, à découper le contenu en segments utiles et à citer la bonne partie d'une page.

<main>
  <article>
    <section>
      <h1>Page topic</h1>
      <h2>Section topic</h2>
      <p>Clear answer text.</p>
    </section>
  </article>
</main>

Garder les informations importantes visibles par défaut

Évitez de placer les textes clés, les liens, les détails des produits, les caractéristiques, les prix, les politiques ou les informations complémentaires uniquement dans des onglets, accordéons, filtres, carrousels ou mécanismes de chargement supplémentaire dépendant de JavaScript. Les composants interactifs conviennent, mais leur contenu devrait néanmoins être présent dans le HTML lorsque c'est possible.

Réduire le bruit HTML de faible valeur

Les systèmes d'IA traitent souvent les pages dans des fenêtres de contexte limitées. Les éléments génériques répétés, l'excès de texte de navigation, le contenu injecté par des applications, les blocs dupliqués et un balisage surchargé de scripts peuvent réduire le rapport signal-bruit. Gardez les modèles propres et rendez le contenu principal facile à isoler.

Rédiger un contenu capable d'étayer des réponses d'IA utiles

La visibilité dans l'IA n'est pas seulement une question d'exploration. Une page doit aussi répondre à de vraies questions avec suffisamment de clarté pour qu'un système d'IA puisse la résumer, la comparer, la recommander ou la citer correctement.

Privilégier un format qui commence par la réponse

Commencez les pages et les sections clés par la réponse directe ou le résumé, puis ajoutez les éléments qui les étayent. La page devient ainsi plus facile à comprendre rapidement, tout en fournissant aux systèmes d'IA suffisamment de contexte pour éviter de simplifier le sujet à l'excès.

Créer des pages adaptées aux besoins de prise de décision

Un contenu utile aux systèmes d'IA répond souvent à des questions à forte intention, telles que :

• Qu'est-ce que X ?
• Comment fonctionne X ?
• Combien coûte X ?
• X convient-il à Y ?
• Comment choisir X ?
• X ou Y
• Le meilleur X pour Y
• Les problèmes courants avec X
• Les solutions qui remplacent X

Ces pages doivent être réellement utiles et précises. Des pages superficielles créées uniquement pour cibler des formulations de prompts ont peu de chances d'apporter une valeur durable.

Étayer les comparaisons et les recommandations

Les réponses d'IA comparent fréquemment des produits, des marques, des prestataires, des fonctionnalités et leur adéquation à un besoin. Étayez-les à l'aide de tableaux comparatifs, de conseils par cas d'usage, d'avantages et d'inconvénients, d'explications tarifaires, de limites, de réserves et de recommandations pratiques.

Présenter la marque et l'offre sans ambiguïté

Le site doit expliquer clairement qui est l'organisation, ce qu'elle propose, à qui elle s'adresse, où elle exerce ses activités, ce qui la distingue et quelles preuves étayent ses affirmations.

Éviter les affirmations invérifiables

Des affirmations telles que « meilleur », « leader », « numéro un » ou « le plus fiable » doivent être étayées par des preuves. Les récompenses, les avis indépendants, les certifications, les données clients et les références crédibles de tiers peuvent aider les systèmes d'IA à déterminer si une affirmation est fondée.

Proposer des parcours de découverte lisibles par machine

Les fichiers de découverte traditionnels restent importants, mais les systèmes d'IA peuvent également bénéficier de fichiers éditorialisés qui présentent le site, mettent en avant le contenu prioritaire et fournissent des versions textuelles épurées des pages importantes.

Maintenir des sitemaps XML propres

Les sitemaps XML ne doivent contenir que des URL canoniques et indexables. Retirez les URL redirigées, les pages en noindex, les URL bloquées, les nombreuses variantes à paramètres et les pages dont la canonique pointe ailleurs.

Ajouter un fichier llms.txt lorsqu'il est utile

Un fichier /llms.txt peut servir de court guide Markdown aux systèmes d'IA. Il peut résumer le site et indiquer les pages ou ressources qui expliquent le mieux la marque, le produit, le service, la documentation ou les politiques.

• Une brève description du site ou de l'organisation
• Des liens vers les pages d'information importantes
• Des liens vers des ressources Markdown épurées lorsqu'elles existent
• Des indications sur les sections les plus utiles aux systèmes d'IA
• Des références aux flux de produits, à la documentation, au contenu d'assistance ou aux pages de politique, le cas échéant

llms.txt doit être considéré comme une amélioration. Il ne remplace ni les sitemaps XML, ni robots.txt, ni les données structurées, ni un HTML accessible, ni un maillage interne solide.

Envisager des fichiers de contexte éditorialisés

Pour certains sites, un fichier complémentaire tel que /llms-full.txt ou /llms-ctx-full.txt peut fournir une version Markdown maîtrisée des contenus d'information les plus importants.

Limitez précisément le périmètre de ces fichiers. N'y incluez aucun contenu privé, commercialement sensible, obsolète, dupliqué ou inutile.

Proposer des versions Markdown des ressources clés

La documentation, les centres d'assistance, les guides éditoriaux et les ressources longues peuvent tirer parti de versions Markdown épurées, qui éliminent le bruit de mise en page et facilitent l'extraction du contenu principal.

/page-name.html
/page-name.html.md

Renforcer les entités, les faits et les données structurées

Les systèmes d'IA ont besoin de faits cohérents pour comprendre les organisations, les produits, les auteurs, les catégories et leurs relations. Les données structurées doivent conforter les informations visibles sur la page et réduire les ambiguïtés dans l'ensemble du site.

Données structurées Organization

Utilisez des données structurées Organization détaillées dans l'ensemble du site. Incluez le nom de l'organisation, son URL, son logo, ses coordonnées, ses profils sociaux, les informations relatives à sa création lorsqu'elles sont pertinentes, les relations avec la marque mère ou les sous-marques, ainsi que des liens sameAs vers des profils externes fiables.

Données structurées Product

Les données structurées des produits e-commerce doivent être exactes, à jour et cohérentes avec la page visible et les flux marchands.

• Nom et description du produit
• Image du produit
• SKU, GTIN ou autres identifiants disponibles
• Informations sur la marque
• Prix, devise et disponibilité
• Données valides sur les avis et la note globale
• Informations sur l'expédition, la livraison et les retours lorsqu'elles sont prises en charge

Pages de catégories et de collections

Les pages de catégories ne doivent pas se limiter à énumérer des articles. Ajoutez un texte descriptif utile, des titres clairs, des liens internes, des données structurées Breadcrumb et, le cas échéant, ItemList, ainsi que des conseils d'achat et une FAQ.

Signaux relatifs aux FAQ, questions-réponses, auteurs et relecteurs

N'utilisez les données structurées FAQPage et QAPage que lorsque la page visible contient réellement ce type de contenu. Pour les contenus de conseil, éditoriaux, juridiques, financiers, de santé ou tout autre contenu sensible à la confiance, reliez les pages à des profils d'auteurs ou de relecteurs crédibles.

Signaux de fraîcheur

Lorsque l'exactitude dépend de la fraîcheur, affichez des dates claires dans le contenu visible comme dans les données structurées. Utilisez datePublished, dateModified, une mention visible de la dernière mise à jour et des sections de journal des modifications lorsqu'elles aident les utilisateurs et les machines à comprendre quand l'information a changé.

Contrôler l'accès des robots d'IA selon leur finalité

Tous les robots d'IA n'ont pas le même rôle. Certains servent à entraîner des modèles, d'autres à la recherche et à la récupération d'informations par l'IA, tandis que d'autres encore récupèrent des pages à la demande d'un utilisateur ou d'un agent. Traiter tous les robots d'IA de la même façon peut entraîner une perte de visibilité ou une exposition inutiles.

Robots d'entraînement

Les robots d'entraînement explorent du contenu susceptible de servir à entraîner, améliorer ou évaluer des modèles de fondation. GPTBot, ClaudeBot, CCBot et anthropic-ai en sont des exemples.

Autorisez ou bloquez ces robots selon votre stratégie de propriété intellectuelle, de licence, juridique et commerciale.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

Robots de recherche et de récupération d'informations par l'IA

Ces robots sont plus directement liés à la visibilité dans les réponses d'IA, à l'inclusion dans les résultats, aux citations et à la récupération en temps réel. OAI-SearchBot, PerplexityBot, YouBot et Applebot-Extended en sont des exemples.

Si l'objectif est d'apparaître dans les réponses et les citations générées par l'IA, ces robots doivent généralement être autorisés.

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Agents de récupération déclenchés par l'utilisateur et agents autonomes

Certaines requêtes sont déclenchées par le prompt d'un utilisateur, un GPT personnalisé, un agent de navigateur, un plugin ou une automatisation externe. ChatGPT-User en est un exemple.

Ce trafic se comporte souvent différemment d'une exploration classique. Utilisez une surveillance côté serveur, une limitation du débit, des règles WAF, des contrôles d'authentification et des protections d'API au lieu de vous fier uniquement à robots.txt.

Robots.txt exprime une politique, ce n'est pas une couche de sécurité

Robots.txt déclare des préférences d'accès sans les faire respecter. Utilisez-le pour les signaler, puis appuyez-vous sur les journaux, les adresses IP vérifiées, les règles WAF et les contrôles d'accès lorsqu'une application effective est nécessaire.

Améliorer la fiabilité pour les robots et les agents de récupération

Les systèmes d'IA, les agents et les robots fonctionnent souvent avec des délais d'attente courts et tolèrent peu les réponses lentes ou irrégulières. Les pages importantes doivent être rapides, stables et prévisibles.

Contrôles techniques prioritaires

• Des temps de réponse serveur rapides
• Une diffusion stable du HTML
• Une mise en cache CDN du HTML lorsqu'elle est appropriée
• Un minimum de chaînes de redirection
• Des codes d'état HTTP corrects
• Un HTML léger
• Un rendu fiable
• Aucun blocage accidentel des principaux robots de récupération d'informations par l'IA

Cohérence des codes d'état

Les pages importantes doivent renvoyer des réponses 200 propres. Évitez les erreurs 404 logicielles, les redirections inutiles, les erreurs 403 accidentelles dues à la protection contre les robots, les erreurs 5xx lors des pics d'exploration et les réponses qui varient de façon incohérente selon le user-agent.

Mise en cache HTTP

Utilisez les en-têtes de cache pour limiter les téléchargements répétés et rendre l'exploration plus efficace. ETag, If-None-Match, Last-Modified et If-Modified-Since peuvent aider les robots à repérer le contenu inchangé.

Taille des pages et des fichiers

Gardez les pages et les fichiers de contexte concis. Pour les contenus longs, organisez-les en sections claires et envisagez des versions Markdown pour les ressources les plus importantes.

Mesurer la visibilité dans l'IA au-delà des outils d'analyse standards

Les outils d'analyse standards ne révèlent qu'une partie limitée de la visibilité dans l'IA. Pour obtenir une vue plus complète, combinez le suivi des visites provenant d'assistants d'IA, la journalisation côté serveur des robots d'IA et la mesure de la part de voix à partir de prompts.

Visites provenant d'assistants d'IA

GA4 peut aider à identifier les sessions humaines provenant d'assistants d'IA reconnus tels que ChatGPT, Gemini, Claude, Perplexity et des plateformes similaires.

Cela ne permet pas de mesurer l'essentiel de l'activité des robots, les explorations d'entraînement, les récupérations côté serveur ou les systèmes d'IA qui consomment le contenu sans envoyer d'utilisateur vers le site.

Journalisation des robots d'IA côté serveur

Utilisez les journaux du CDN et du WAF, les journaux d'accès du serveur ou des workers en périphérie pour suivre l'activité des robots d'IA séparément des sessions humaines.

• Horodatage
• URL demandée
• Code d'état
• User-agent
• Nom et catégorie du robot détecté
• Référent lorsqu'il est présent
• Pays ou région, le cas échéant
• État du cache et temps de réponse
• Méthode HTTP
• Statut de robot vérifié lorsque c'est possible

Évitez d'afficher des adresses IP brutes dans les tableaux de bord, sauf si vous disposez d'une base juridique claire, de contrôles d'accès adaptés et d'un motif opérationnel précis. Dans les rapports destinés aux clients ou au public, agrégez ou anonymisez les données au niveau des adresses IP.

Catégories utiles pour les rapports

• Robots d'entraînement : exploration à grande échelle susceptible de servir à entraîner ou améliorer des modèles.
• Robots de recherche et de récupération d'informations par l'IA : robots liés aux moteurs de réponse, aux citations, à la recherche par l'IA ou à la récupération d'informations.
• Agents de récupération déclenchés par l'utilisateur : requêtes générées par des prompts, des GPT personnalisés, des plugins ou des assistants comparables à un navigateur.
• Robots d'action autonomes : robots qui interagissent avec des API, des formulaires, des parcours de réservation, des parcours d'achat ou des expériences centrées sur une tâche.
• Trafic inconnu ou usurpé ressemblant à celui d'une IA : trafic suspect qui imite des navigateurs ou des robots connus, mais échoue à la vérification.

Vérification des robots

La seule correspondance du user-agent ne suffit pas. Lorsque c'est possible, vérifiez les robots connus à l'aide des plages d'adresses IP publiées, de contrôles DNS inversés, du DNS inversé confirmé par résolution directe, de contrôles ASN, des schémas de user-agent connus et de signaux comportementaux.

Part de voix fondée sur des prompts

Suivez la visibilité sur les principales plateformes d'IA à l'aide de prompts qui reflètent les véritables comportements de recherche des clients. Mesurez si la marque apparaît, où elle apparaît, le sentiment, les citations, les URL citées, les concurrents, l'exactitude des réponses ainsi que la justesse des informations sur les produits et les prix.