GEO100问:需要专门为AI爬虫设置robots.txt规则吗?

答:目前主流建议是:不要专门去禁止它们。像ChatGPT-User这样的爬虫,一般会尊重网站的robots.txt规则。除非您有特殊原因不希望内容被AI学习,否则最佳做法是保持对通用爬虫(如Googlebot)的开放,这通常也就意味着对AI爬虫开放。刻意屏蔽等于主动放弃GEO机会。我们建议保持默认开放状态。

——数聚酷GEO优化专家

相关新闻