Robots.txt

Olá usuário do blog NuvemSEO, saiba o que é e para que serve o arquivo robots.txt!

O que é Robots.txt?

Robots.txt é um arquivo de texto puro, que fica na raíz do diretório do site e mostra para o Crawler ( algorítmo dos buscadores que percorrem a web buscando informações sobre as páginas dos sites ) o que deve e não deve ser indexado pelos motores de busca.

Os Crawlers são referenciados como “User-agents” e o comando “Disallow” é usado para não permitir que um diretório seja indexado.

Exemplo:

User-agent: *

Disallow: /temp/

Exemplo com comentários:

User-agent: * # O asterístico indica que todos os webcrawlers estão autorizados à indexar

Disallow: /temp/ # Aqui o diretório “Temp” está exposto como não permitido à indexação

O comentário acima foi inserido para explicar o exemplo, mas no caso de comentários no próprio arquivo robots.txt, deve ser inserido da seguinte maneira:

O comentário deve ser inserido antes do diretório seguido do sinal “#“.

User-agent: *

Disallow: # Todos User-agents estão desabilitados a verem o diretório temporário: /temp/

User-agent: Googlebot # Aqui apenas o Googlebot não poderá enxergar o diretório “Temp”

Disallow: /temp/

Como verificar erros em meu arquivo robots.txt?

Neste –> link aqui você insere a url do seu site/blog e checa a qualidade do seu arquivo robots.txt, o mesmo apresenta o que deve estar faltando ou onde contém erros.

Obrigado pela visita!

Alvimar Olímpio

Quainta-feira

Atualizado: 13/05/10

Nova Serrana – MG

Barra NuvemSEO