Zoekmachines redeneren dat, als een eigenaar van inhoud niet wil dat de inhoud van de webpagina wordt geïndexeerd, hij de boodschap kan invoeren in een tekstbestand met de naam "robots.txt" waardoor hij ervoor kiest om de zoekmachine te verhinderen inhoud te kopiëren.
Les moteurs de recherche estiment que, si un propriétaire de contenu ne veut pas que le contenu de la page web soit indexé, il peut inclure des instructions en ce sens dans un fichier texte, «robots.txt», pour empêcher le moteur de recherche d'en copier le contenu.