当OpenAI推出他们的聊天机器人ChatGPT时，他们还公布了他们的网络爬虫GPTBot。他们的爬虫与谷歌爬虫的工作方式相同，网站所有者可以在robots.txt中阻止这些爬虫访问他们的网站。OpenAI还提供了阻止他们的机器人的访问权限。根据Originality.AI的一项研究，约有48%的网站已经阻止了他们的访问。在此之后，谷歌也宣布了一个独立的Google-Extended机器人，以允许网站管理员阻止他们的AI工具，而不影响他们的搜索机器人。
关于AI机器人的持续争论
自ChatGPT推出以来，关于如何从阻止一些AI机器人访问网站中获益的争论一直存在。没有一个答案能够使所有利益相关者满意，因为关于这个问题的讨论在SEO行业参与者和几乎所有在线出版物中都是持续不断的。这是一个关于阻止这些机器人是否会产生任何实际影响的次要话题，因为许多服务正在未经许可的情况下搜索网络。
支持这种观点的一个观点是OpenAI的爬虫宣布得相当晚。该公司可能使用了许多不同的方法来获取数据，他们称之为在网络上广泛可用。人们担心的是，公司可以使用不同名称和不同供应商的机器人，所以如果你阻止了一个新机器人，你就无法收回已经被其消化的数据。
这使得刮板网站更容易从这些以你的数据为训练对象的机器人中产生内容。
他们想要你的内容
有些人可能认为AI公司不想要他们的内容，他们迟早能够创造出与你的内容同样水平的内容，那么这对于以内容为中心的网站来说是一个非常令人担忧的问题。这也引发了对我们已知的SEO实践的有效性和相关性的质疑。另一个问题将是会有大量的网站产生完全相同的内容。因此，考虑到这些因素，某些行业可能会大规模阻止AI机器人。
支持给予ChatGPT等机器人访问权限的专家们主张，该服务不是用作搜索引擎，而是用作助手，特别是用于代码创建、翻译和内容创作。他们还表示，自从Bing整合ChatGPT以来，其市场份额仅增加了1%。目前，谷歌称其AI机器人是独立的，但我们不知道未来会发生什么，因为谷歌将在未来将AI整合到搜索结果中。
支持者还表示，问题不仅仅是聊天机器人写内容，而是如果他们提到了你的品牌名称，根据他们的说法，这种情况还将使你的品牌暴露给更广泛的受众。此外，如果你阻止他们的访问，你将阻止你的思想被纳入训练未来的LLMs。然而，有很大可能性的是，将来这些模型将生成品牌和产品的克隆，从而最终加剧深度伪造问题。
AI模型对SEO和谷歌构成的威胁不是作为直接竞争对手，而是作为一个可以用来大规模创建内容的工具。这对于搜索来说是具有破坏性的，因为它将为谷歌和Bing带来问题，并消耗本来可以消耗已有人类内容的流量。因此，最终是否允许机器人的决定取决于作为博主或出版商的个人偏好，以及分析他们的优先事项。
