Usar robots.txt para impedir conteúdo duplicado no WordPress

Muitos utilizadores quando criam um blog usando a plataforma do wordpress.org simplesmente não dão importancia ou desconhecem que existe uma série de acções que devem tomar para melhorar o seu blog. A instalação do WordPress apenas não chega e é preciso criar ficheiros .htaccess e robots.txt para impor alguns limites.

Wordpress robots.txt

Antes de continuar quero apenas deixar aqui uma nota:
$ - significa fim do ficheiro
* - Significa que tem caracteres antes

Disallow: /*? - Esta linha bloqueia todas as urls que possuam ? (ponto de interrogação) nelas. Obviamente que no caso do mercadoblogger.com se aplica esta regra, mas blogs que não usem urls amigáveis (idênticas ás dos artigos no mercadoblogger.com). não é boa ideia.

Disallow: /*.php$ - Bloqueia todos os ficheiros .php

Disallow: /*.inc$ - Esta é importante. Não deves mostrar ficheiros .inc nos motores de busca correndo o risto de o teu blog ser assaltado por alguém con más intenções.

Disallow: /*.css$ - É opcional mas porque razão quererás indexar o teu ficheiro de css?

Disallow: */feed/ - Compreende-se que queiras indexar as tuas feeds, quem sabe não ganhas mais uns leitores á pala disso. Mas o problema é que duplicas o teu conteúdo.

Disallow: */trackback/ - Esta é uma das minhas preferidas, impedir a indexação do trackback que normalmente é SPAM!

Disallow: /page/ - Bloqueia a indexação de urls com /page/.

Disallow: /tag/ - Navegação por páginas através de tags é bom para os leitores, não para os motores de busca.

Disallow: /category/ - Pela mesma razão que as tags.

Se tiveres curiosidade, ve o meu robots.txt. Estás á vontade para copiar e adaptar ao teu blog!

Este artigo foi criado com base no artigo WordPress Robots.txt do shoemoney

Tags: robots.txt, wordpress

1 Comment(s)

Comments RSS TrackBack Identifier URI