Robots.txt: entenda o que é e como usá-lo em sua estratégia de SEO

Aparecer nas primeiras posições das pesquisas em mecanismos de busca é o desejo de todas as empresas que já tenham alguma presença online. No entanto, para ser completa, uma  estratégia de SEO também precisa levar em conta as páginas do seu site que não devem ser encontradas pelos buscadores.

Por isso, neste post, vamos entender o que é o arquivo robots.txt e por que pode ser interessante usá-lo para bloquear páginas para o Google, Bing, Yahoo! etc.

O robots.txt é um arquivo com instruções para os mecanismos de busca saberem quais páginas ou diretórios de um site eles não devem acessar.

Ele tem esse nome porque os programas que os buscadores utilizam para vasculhar a web também são conhecidos como robôs. E é justamente o robots.txt que os robôs consultam antes de analisar as páginas de um site.

O robots.txt é compatível com os mecanismos de busca mais populares, que, inclusive, têm nomes para seus respectivos robôs. O robô do Google é o Googlebot e o do Bing e do Yahoo! é o Bingbot. O robô do Yahoo! era o Slurp até a empresa ser comprada pela Microsoft.

O robots.txt é um simples arquivo de texto, que você pode criar até mesmo usando o Bloco de Notas, o Word ou outro editor de texto similar.

Depois de criado, você precisa salvá-lo na raiz do site, o que vai torná-lo acessível por uma URL como www.meusite.com.br/robots.txt. Dependendo da sua hospedagem, isso pode ser feito de forma fácil utilizando o gerenciador de arquivos.

Depois de salvo na localização correta, é possível testar o funcionamento do robots.txt usando uma ferramenta do Google. A opção Testar robots.txt está disponível no Google Search Console e permite testar o seu robots.txt apenas para os robôs do Google.

1- Previne o rastreamento de conteúdo irrelevante

Se o site da sua empresa possui alguma página com acesso restrito, como uma tela de login apenas para colaboradores, pode ser interessante bloqueá-la para os mecanismos de busca.

Imagine que um potencial cliente esteja procurando pela sua marca no Google, e, por algum motivo, uma página de acesso restrito aparece nos resultados. O usuário clica, acreditando que encontrará alguma informação, mas, ao entrar na página, não consegue ir adiante.

Utilizar o robots.txt pode evitar frustrações como essa e tornar sua estratégia de SEO mais consistente.

2- Controla o rastreamento de conteúdo duplicado

Os buscadores não são muito tolerantes com plágio e penalizam o posicionamento de sites que insistem nessa péssima prática. Outros tipos de conteúdo duplicado, como páginas distintas com o mesmo conteúdo dentro do seu próprio site, também são mal vistos pelos sites de busca.

Pode ser que você tenha algumas  landing pages com o mesmo conteúdo, mas com designs diferentes, por exemplo, para testar qual funciona melhor com a sua audiência. Ou mesmo páginas para impressão (o conteúdo é o mesmo, mas a formatação não).

Em casos como esses, é interessante usar o robots.txt para manter os robôs de busca longe dos conteúdos em duplicidade e evitar alterações no seu ranking nos resultados de busca.

Se não forem impedidos, os robôs vão rastrear todas as imagens que encontrarem em um site e elas poderão aparecer nas busca por imagens.

Porém, certas imagens só fazem sentido dentro de uma página (fazem parte de um contexto) e podem gerar confusão ou passar uma má impressão quando visualizadas individualmente.

Para garantir que seus clientes e potenciais clientes vejam determinadas imagens apenas quando acessarem o seu site, crie um diretório para esses arquivos e bloqueie-o para os robôs.

Além de ser vantajoso para SEO, o robots.txt pode ajudar no orçamento da sua empresa. Se as suas despesas com hospedagem são proporcionais ao tráfego que o seu site recebe, restringir o acesso dos robôs a recursos irrelevantes diminuirá seus custos e evitará a sobrecarga do servidor.

Agora que você já sabe mais sobre o robots.txt, que tal nos contar como o uso desse arquivo pode contribuir para a sua estratégia de SEO? E se ficou com alguma dúvida, fique à vontade para enviar a sua pergunta. Deixe o seu comentário!