robots.txt是一个文本文件，用于告诉搜索引擎爬虫哪些网页可以被抓取，哪些不可以。 robots.txt 是一个存放于网站根目录下的纯文本文件，用于指导搜索引擎爬虫（也称为网络漫游器或蜘蛛）如何抓取网站上的内容，它……
