为网站生成 robots.txt 文件，控制搜索引擎爬虫访问
开发者工具
关于此工具
为您的网站生成 robots.txt 文件，控制搜索引擎爬虫如何访问您的页面。通过简单的表单界面配置用户代理规则、允许和禁止路径，以及添加站点地图 URL，所有处理均在浏览器本地完成。
主要功能
- 用户代理配置，针对特定爬虫
- Allow 和 Disallow 路径规则，支持多行输入
- 包含 Sitemap URL 以优化 SEO
- 一键加载示例模板快速开始
- 一键清除输出并重置所有字段
- 复制生成的 robots.txt 到剪贴板
使用场景
- 控制搜索引擎可以抓取您网站上的哪些页面
- 阻止访问管理后台和私有目录
- 添加站点地图 URL 帮助搜索引擎发现您的内容
- 在网站上线前生成 robots.txt
- 为不同的用户代理创建特定的爬虫规则
generator
seo
常见问题
什么是 Robots.txt 生成器？
Robots.txt 生成器是一款在线开发者工具，为网站生成 robots.txt 文件。它完全在您的浏览器中运行，不会向任何服务器发送数据。
robots.txt 文件有什么用途？
robots.txt 文件告诉搜索引擎爬虫应该和不应该抓取网站的哪些页面或部分。它有助于管理抓取预算、防止索引敏感或重复内容，并引导机器人到站点地图。
应该包含哪些用户代理？
常见用户代理包括 Googlebot（Google）、Bingbot（Bing）和通配符（*）以应用于所有爬虫。你可以为不同机器人添加特定规则，或使用通配符统一应用相同规则。
Allow 和 Disallow 有什么区别？
Disallow 告诉爬虫不要访问指定路径。Allow 创建 Disallow 规则的例外，允许爬虫访问禁止目录中的特定路径。例如，你可以 Disallow /private/ 但 Allow /private/public/。
应该在 robots.txt 中包含站点地图 URL 吗？
是的。在 robots.txt 中包含站点地图 URL 有助于搜索引擎更容易发现你的站点地图。在文件末尾用格式 Sitemap: https://yoursite.com/sitemap.xml 添加。生成器为此提供了输入字段。