Gere arquivos robots.txt para sites, controlando o acesso dos robôs de mecanismos de busca
Ferramentas de desenvolvimento
Sobre esta ferramenta
Gere arquivos robots.txt para o seu site, controlando como os robôs de mecanismos de busca acessam suas páginas. Configure regras de user-agent, caminhos permitidos e bloqueados e adicione URLs de sitemap através de uma interface de formulário simples. Todo o processamento é feito localmente no navegador.
Principais funcionalidades
- Configuração de user-agent para robôs específicos
- Regras de caminho Allow e Disallow com suporte a entrada de múltiplas linhas
- Inclusão de URL de Sitemap para otimização de SEO
- Carregar modelo de exemplo com um clique para começar rapidamente
- Limpar saída e redefinir todos os campos com um clique
- Copiar o robots.txt gerado para a área de transferência
Casos de uso
- Controlar quais páginas do seu site os mecanismos de busca podem rastrear
- Bloquear acesso a painéis administrativos e diretórios privados
- Adicionar URLs de sitemap para ajudar os mecanismos de busca a descobrir seu conteúdo
- Gerar robots.txt antes do lançamento do site
- Criar regras de rastreamento específicas para diferentes user-agents
generator
seo
Perguntas frequentes
O que é o Gerador de Robots.txt?
O Gerador de Robots.txt é uma ferramenta online para desenvolvedores que gera arquivos robots.txt para sites. Ele roda completamente no seu navegador, sem enviar dados a nenhum servidor.
Para que serve o arquivo robots.txt?
O arquivo robots.txt informa aos robôs de mecanismos de busca quais páginas ou seções do site devem ou não ser rastreadas. Ele ajuda a gerenciar o orçamento de rastreamento, evitar a indexação de conteúdo sensível ou duplicado e orientar os robôs para o sitemap.
Quais user-agents devo incluir?
User-agents comuns incluem Googlebot (Google), Bingbot (Bing) e o curinga (*) para aplicar a todos os robôs. Você pode adicionar regras específicas para diferentes robôs ou usar o curinga para aplicar as mesmas regras uniformemente.
Qual é a diferença entre Allow e Disallow?
Disallow informa aos robôs para não acessarem o caminho especificado. Allow cria uma exceção à regra Disallow, permitindo que robôs acessem caminhos específicos dentro de um diretório bloqueado. Por exemplo, você pode Disallow /private/ mas Allow /private/public/.
Devo incluir a URL do sitemap no robots.txt?
Sim. Incluir a URL do sitemap no robots.txt ajuda os mecanismos de busca a descobrirem seu sitemap mais facilmente. Adicione no final do arquivo no formato Sitemap: https://seusite.com/sitemap.xml. O gerador fornece um campo de entrada para isso.