Rastrear, ou não rastrear robots.txt eis a pergunta.

Rastrear, ou não rastrear, eis a pergunta

Às vezes, criar e manter os arquivos robots.txt corretos pode ser difícil. Embora muitos sites não tenham problemas com isso (dica: eles geralmente nem precisam de um arquivo robots.txt!), encontrar as diretivas em um grande arquivo robots.txt que estão ou estavam bloqueando URLs individuais, pode ser um pouco complicado. Para facilitar esse processo, anunciamos uma atualização na ferramenta de teste de arquivos robots.txt nas Ferramentas do Google para webmasters.

A ferramenta de teste atualizada está na seção Rastreamento das Ferramentas do Google para webmasters:

Deixe uma resposta

O seu endereço de e-mail não será publicado.

HostFirewall