Olá leitor, se você usa o WordPress.org, este exemplo de arquivo robots.txt, é indicado pela plataforma como ideal para utilizar e com embasamento SEO!

Eexemplo de robots.txt para SEO, sugerido no próprio site do WordPress:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /
————————————————————

A maioria dos motores de busca respeitam corretamente o que está declarado no robots!

veja como é um arquivo robots.txt padrão:

User-agent:
Disallow:

Se você quer liberar acesso para todos buscadores e todos arquivos e diretórios, só precisa disso acima, mais nada!

Inserindo comentários no arquivo robots:

# use isso para inserir um comentário padrão

——————————————–

Exemplo de sintáxe do sitemap xml:

http://www.example.com/sitemap.xml

——————————————–

Saiba mais sobre a categoria SEO (Otimização para buscadores) aqui!

Siga o NuvemSEO no Twitter!

Alvimar Olímpio – 23/12/09, Nova Serrana – MG

Radioclip

Playlist:  “Minha lista dos 20 mais dos 2000 – Estilo: Indierock”

Autor: Alvix ( Mixpod)

Tags:

Este artigo foi postado quarta-feira, dezembro 23rd, 2009 em 3:30 pm e foi arquivado em SEO (Otimização). Voce pode seguir as respostas para esta postagem atraves do RSS 2.0 feed. Voce pode deixar uma resposta, ou trackback do seu proprio site.