Gerador robots.txt
Gere rapidamente regras básicas para crawlers de motores de pesquisa.
O resultado aparecerá aqui…
Como utilizar esta ferramenta
Introduza ou cole as informações solicitadas pela ferramenta.
Ajuste as opções disponíveis, se necessário.
Execute a ferramenta e depois consulte, copie ou descarregue o resultado.
Por exemplo, teste primeiro a ferramenta com uma pequena quantidade de dados para verificar o resultado.
Gerador robots.txt
Introduza um domínio e, se necessário, um caminho que os crawlers não devem visitar. A ferramenta gera uma estrutura robots.txt simples para rever antes da publicação.