Gerador de robots.txt — grátis e privado, no seu navegador
Crie um robots.txt válido para o seu site — na hora, sem enviar nada.
Esta ferramenta roda inteiramente no seu navegador. Seus arquivos nunca são enviados — eles ficam no seu dispositivo.
User-agent: * Disallow:
Um arquivo robots.txt diz aos mecanismos de busca e a outros crawlers quais partes do seu site eles podem visitar. Acertá-lo é importante: uma regra perdida pode esconder o seu site inteiro do Google, ou expor páginas que você pretendia manter fora do índice.
Este gerador cria o arquivo conforme você digita, para que você veja exatamente o que cada regra faz. Tudo acontece no seu navegador — nenhum dado é enviado para lugar nenhum — e você pode copiar o resultado ou baixá-lo como robots.txt quando ele estiver do jeito certo.
Como usar Gerador de robots.txt
- Defina o user-agent ao qual as regras se aplicam (use * para todos os crawlers).
- Adicione os caminhos que você quer bloquear com Disallow e, opcionalmente, quaisquer caminhos para Allow.
- Opcionalmente, adicione um crawl-delay e a URL do seu sitemap.
- Revise a pré-visualização ao vivo, então copie-a ou baixe-a como robots.txt.
- Envie o arquivo para a raiz do seu site, por exemplo, example.com/robots.txt.
Perguntas frequentes
Algo é enviado para um servidor?
Não. O texto do robots.txt é construído inteiramente no seu navegador conforme você digita. Nada do que você digita é enviado, armazenado ou compartilhado.
Onde eu coloco o arquivo robots.txt?
Ele precisa ficar na raiz do seu domínio, acessível em https://seudominio.com/robots.txt. Os crawlers não o procuram em subpastas.
O que faz "Disallow: /"?
Um Disallow de uma única barra bloqueia o site inteiro para aquele user-agent. Deixe os caminhos de Disallow vazios (ou use "Allow: /") se você quiser que tudo seja rastreado.
O robots.txt mantém páginas totalmente fora do Google?
Não necessariamente. Ele pede aos crawlers bem-comportados para não buscarem um caminho, mas uma URL bloqueada ainda pode ser indexada se houver links para ela em outro lugar. Use uma meta tag noindex ou um cabeçalho HTTP para manter uma página fora dos resultados de busca de forma confiável.
Devo adicionar uma linha de sitemap?
É opcional, mas recomendado. Uma linha Sitemap aponta os crawlers para o seu sitemap XML e os ajuda a descobrir suas páginas mais rápido.