robots.txt 生成器

它必须位于域名的根目录，通过 https://你的域名.com/robots.txt 提供。爬虫只会读取该位置——放在子文件夹中的 robots.txt 会被忽略。

Disallow 告诉爬虫不要抓取某个路径；Allow 则在被禁止的路径内重新放行更具体的路径。空的 Disallow 行表示没有任何内容被屏蔽，因此整个网站都可被抓取。

并不可靠。Disallow 会停止抓取，但如果其他页面链接到被屏蔽的网址，它仍可能出现在搜索结果中。要将页面排除在索引之外，应允许抓取并添加 noindex 元标签，或将其置于登录之后。

不会。文件完全在你的浏览器中根据你的输入生成。不会上传任何内容——复制或下载结果后自行托管即可。