Às vezes, criar e manter os arquivos robots.txt corretos pode ser difÃcil. Embora muitos sites não tenham problemas com isso (dica: eles geralmente nem precisam de um arquivo robots.txt!), encontrar as diretivas em um grande arquivo robots.txt que estão ou estavam bloqueando URLs individuais, pode ser um pouco complicado. Para facilitar esse processo, anunciamos uma…
