Il y a quelques semaines, Google a publié une nouvelle directive robots.txt pour bloquer Google-Extended afin d’indiquer à ses algorithmes de ne pas utiliser votre contenu pour Bard ou d’autres projets d’IA Google.
Cependant, Google a annoncé récemment que le blocage de Google-Extended n’empêche pas l’IA de SGE d’utiliser vos contenus. Cela signifie que vos contenus peuvent continuer à s’afficher dans les réponses générées par la SGE à moins que vous ne bloquiez complètement Googlebot.
Dans cet article, nous allons approfondir ce sujet et explorer les options qui se présentent à vous.
C’est quoi Google-Extended ?
Google-Extended, le nouveau produit autonome de Google, permet d’indiquer au moteur de recherche via votre fichier robots.txt de ne pas utiliser le contenu de votre site pour Bard et Vertex AI ainsi que d’autres projets d’IA.
Néanmoins, il ne fonctionne pas pour les réponses IA et instantanés fournis dans Search Generative Experience.
Quel est le lien entre la SGE et Google-Extended ?
Si vous effectuez une recherche sur Google, vous pourriez constater que la Google Search Generative Experience (SGE) a transformé la manière dont les résultats sont présentés.
Au lieu de voir un simple lien vers un site web en tête des résultats, la SGE peut désormais vous fournir directement des réponses sur la page de résultats du moteur de recherche (SERP). Cette innovation repose sur l’intégration de l’intelligence artificielle générative.
La SGE s’appuie sur des technologies avancées telles que Google Bard AI et Google Vertex AI pour générer ces réponses instantanées. Cela améliore l’expérience de recherche en fournissant des informations directement accessibles, ce qui peut être particulièrement pratique pour des requêtes simples et courantes.
Cependant, il est important de noter que l’utilisation de Google Bard AI pour indexer publiquement les conversations des utilisateurs a soulevé des préoccupations en matière de protection des données.
Certains utilisateurs ont exprimé des inquiétudes quant à la confidentialité de leurs informations lorsqu’elles sont traitées par des moteurs d’IA. Cela a conduit à des débats sur la nécessité de garantir la sécurité des données dans ce contexte.
Pour résoudre ce problème, Google a récemment introduit un nouvel outil appelé « Google Extended » afin d’offrir aux propriétaires de sites Web un meilleur contrôle sur la manière dont leur contenu est utilisé par Google Bard et Google Vertex AI.
Comme mentionné dans la première section, avec Google-Extended, vous pouvez empêcher ces outils d’indexer et d’utiliser le contenu de votre site Web en ajoutant une balise méta NOINDEX à votre fichier robots.txt.
Cela permet de signaler clairement à Google que vous ne souhaitez pas que votre contenu soit inclus dans les réponses générées par les outils IA de Google sauf la Search Generative Experience (SGE).
En fait, même si un site Web interdit Google-Extended dans son fichier robots.txt, le contenu sera toujours utilisé dans les réponses générées par l’IA de SGE.
Par exemple, voici une réponse générée par l’IA de SGE qui inclut une carte du site Web Rolling Stones, malgré l’exclusion de Google-Extended :
Source : Seroundtable
Voici une capture de leur fichier robots.txt où Google-Extended est bloqué :
Ces captures sont la preuve que réellement, le blocage de Google-Extended n’a aucun impact sur l’utilisation de vos contenus par l’IA de la SGE.
La réponse de Google
Suite à cette révélation, Google a déclaré que la Google Search Generative Experience (SGE) est actuellement une fonctionnalité expérimentale indépendante de Google Extended.
En d’autres termes, la SGE est considérée comme une fonctionnalité de recherche distincte, soumise aux mêmes directives que les résultats de recherche normaux.
Alors, si vous préférez que vos contenus ne soient pas inclus dans les réponses générées par la SGE, vous n’avez qu’une seule solution. Il s’agit de bloquer entièrement l’indexation par Googlebot en utilisant le fichier robots.txt et la balise méta NOINDEX, ce qui n’est probablement pas souhaitable.
En résumé
Pour conclure, les administrateurs de sites Web doivent être conscients que l’utilisation de Google-Extended ne garantit pas que leur contenu sera exclu des réponses générées par l’IA dans Search Generative Experience.
Pour éviter que votre contenu apparaisse dans les résultats fournis par la SGE, vous devriez bloquer l’agent utilisateur Googlebot en utilisant la balise méta NOINDEX.
Cependant, cette action peut empêcher votre contenu d’apparaître dans les résultats de recherche traditionnels de Google.
Vous n’avez donc pas d’autre choix que d’autoriser Google SGE à utiliser le contenu de votre site Web, réduisant ainsi potentiellement le trafic organique direct vers celui-ci. Espérons que la situation change à l’avenir.
