统，你还要去破解，硬要去爬，那就是入侵。

但，很多网站，比如微博、贴吧这些，他们的网站是不禁止机器人的，一个网站是否允许爬取，HTTP响应头就直接有体现。

不过，纪弘还是有一些自己的打算，他说道：“赵东赫记一下，现在主要利用的还是搜索引擎的规则，我们出一套自己的规则开放给所有网站开发者。

“他们可以设置禁止允许或者禁止我们的AI获取