Robots文件是网站用于告知搜索引擎爬虫哪些页面可以抓取，哪些不可以的文本文件。作用是优化SEO，保护隐私。使用方法是在网站根目录下创建名为robots.txt的文件。 什么是robots文件？ robots文件是放置在网站的根……
