Olá leitor, se você usa o WordPress.org, este exemplo de arquivo robots.txt, é indicado pela plataforma como ideal para utilizar e com embasamento SEO!
Eexemplo de robots.txt para SEO, sugerido no próprio site do WordPress:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
————————————————————
A maioria dos motores de busca respeitam corretamente o que está declarado no robots!
veja como é um arquivo robots.txt padrão:
User-agent:
Disallow:
Se você quer liberar acesso para todos buscadores e todos arquivos e diretórios, só precisa disso acima, mais nada!
Inserindo comentários no arquivo robots:
# use isso para inserir um comentário padrão
——————————————–
Exemplo de sintáxe do sitemap xml:
http://www.example.com/sitemap.xml
2 Comentários recebido(s)
dezembro 25th, 2009 @7:34
Can i take a one small photo from your blog?
Thanks
Ilias
janeiro 17th, 2010 @10:29
Because?
Participe comentando!