のためサイト生成 robots.txt ファイル，制御検索エンジン爬虫访问
開発者ツール
このツールについて
のためお客様のサイト生成 robots.txt ファイル，制御検索エンジン爬虫どのように访问お客様のページ。経由で简单の表单界面設定用户代理ルール、允许と禁止パス，及び追加站点マップ URL，すべての処理はブラウザ内でローカルに完了します。
主な機能
- 用户代理設定，针に対して特定爬虫
- Allow と Disallow パスルール，対応多行入力
- 含む Sitemap URL 以最適化 SEO
- ワンクリックで読み込みサンプルテンプレート高速開始
- ワンクリックでクリア出力かつリセットすべてフィールド
- コピー生成された robots.txt クリップボードに
使用シーン
- 制御検索エンジンできます抓取您サイト上の哪些ページ
- 阻止访问管理后台と私有目录
- 追加站点マップ URL ヘルプ検索エンジン发现お客様のコンテンツ
- でサイト上线前生成 robots.txt
- のため不同の用户代理作成特定の爬虫ルール
generator
seo
よくある質問
とは何ですか Robots.txt ジェネレーター？
Robots.txt ジェネレーターはオンライン開発者ツールです，のためサイト生成 robots.txt ファイル。お使いのブラウザ内で完全に動作します，サーバーにデータが送信されることはありません。
robots.txt ファイル有何用途？
robots.txt ファイル告诉検索エンジン爬虫すべきと不すべき抓取サイトの哪些ページまたは部分。它有助于管理抓取预算、防止索引敏感または重复コンテンツ，かつ引导机ツール人に站点マップ。
すべき含む哪些用户代理？
常见用户代理含む Googlebot（Google）、Bingbot（Bing）と通配符（*）以应使用すべて爬虫。你できますのため不同机ツール人追加特定ルール，または使用通配符统一应用相同ルール。
Allow と Disallow 違いは何ですか？
Disallow 告诉爬虫不要访问指定パス。Allow 作成 Disallow ルールの例外，允许爬虫访问禁止目录の中の特定パス。例えば，你できます Disallow /private/ 但 Allow /private/public/。
すべきで robots.txt 中含む站点マップ URL か？
はい。で robots.txt 中含む站点マップ URL 有助于検索エンジン更容易发现你の站点マップ。でファイル末尾用フォーマット Sitemap: https://yoursite.com/sitemap.xml 追加。ジェネレーターのため此提供た入力フィールド。