robots.txt是网站管理者用来告诉搜索引擎爬虫哪些页面可以被抓取，哪些页面不能被抓取的文件。该文件存放在网站根目录下，是一种遵循Robots协议的文件，可以控制搜索引擎爬虫对网站内容的访问。
本站提供 robots.txt 在线生成工具
