WordPress ( SEO ) – Como criar o robots.txt

Veja como criar o arquivo robots.txt para seu site em WordPress. Versão em texto do vídeo:

Quando criamos um site, queremos que mecânismos de busca como o Yahoo, Google e Bing, encontrem o nosso conteúdo para que outras pessoas também possam conhecer nosso site. O problema é que quando o Google encontra seu site por exemplo, vai analisar todos os seus artigos, scripts e imagens. Para quem usa um sistema gerenciador de conteúdo como o WordPress, Joomla ou qualquer outro, possuem vários arquivos que fazem parte do site e não do seu conteúdo.

Veja por exemplo, o nosso painel de controle do WordPress, ele só interessa apenas a você, que é administrador do site, o Google não vai encontrar nenhum conteúdo valioso nessa área, com isso os robôs acabam ficando meio perdidos. Só pra esclarecer: robôs são os programas dos mecanismos de busca que analisam seu site, exite uma maneira simples de se comunicar com esses robôs. Vamos aprender como criar um arquivo especial chamado “robots.txt”, com isso você vai informar aos mecânismos de busca onde está seu conteúdo.

O primeiro passo é acessar o seu painel de controle Hostnet, em www.hostnet.com.br e no canto direito, clique em “Painel de Controle”. Na tela de autenticação informe seu domínio e a senha de FTP, clicando em “OK”.

No painel de controle, procure o “Gerenciador de Arquivos“, que está dentro da área “Ferramentas”, vamos acessar a pasta “www”, que é onde se encontra o nosso site principal, nessa página procure pelo arquivo “robots.txt”. Em nosso caso, não temos esse arquivo, então devemos criá-lo, na parte de cima clique em “Novo Arquivo”. Em “Nome do arquivo” digite robots.txt, em seguida, clique em “Ok”.

Na lista de arquivos, temos agora o “robots.txt”, clicando sobre o último ícone, você vai editar o arquivo. Para editar o arquivo e continuar nessa página, segure o “Ctrl” e clique sobre o ícone, uma nova janela será aberta.

O arquivo “robots.txt” é um arquivo de texto simples, só que você tem que conhecer alguns comandos específicos que são bem fáceis de entender. A primeira linha que vamos colocar é a do User-agent:

Logo após os dois pontos, você deve informar um dos agentes de busca. Se você quiser referenciar todos os agentes de busca,  basta colocar o *. Na outra linha você pode usar qualquer um dos três comandos:

Allow, que quer dizer permitir, ou Disallow, que quer dizer proibir ou desabilitar. Qualquer coisa que for informada em Allow, vai ser permitida, vai ser habilitada e qualquer coisa que tiver sido informada em Disallow, vai ser proibida ou desabilitada.

Voltando a listagem do site, vamos analisar algumas pastas, por exemplo, em nosso caso estamos utilizando o WordPress, então temos a pasta “wp-admin” que é o painel administrativo do WordPress e por isso, vamos desabilitá-la no arquivo “robots.txt”. Indo até o arquivo, preenchemos:

Disallow: /wp-admin

A partir de agora, todos os robôs que passarem pelo nosso site não vão visitar a pasta “wp/admin”.

A pasta “wp/content” tem algumas áreas que são muito importantes, por exemplo, por exemplo a pasta “uploads”, que é pra onde vão todos os arquivos e imagens. Queremos que o Google, veja essa pasta, então acessamos o arquivo “robots.txt” e coloco:

Allow: /wp-content/uploads

Em nosso site, a pasta “wp/content” tem uma curiosidade. Apenas a pasta “uploads” importa, as demais pastas não importam para os mecânismos de busca. Sendo assim, antes de dar a permissão para uploads, vamos desabilitar a pasta “wp-content”:

Disallow: /wp-content

Com isso, estamos desabilitando todo o conteúdo da pasta “wp-content” exceto a “wp-content.uploads”, onde estamos dando uma permissão. Se você quiser fazer permissões para User-agents específicos, você pode colocar:

User-agent: Googlebot-Image

Esse é robô do Google que busca por imagens e nesse robô, não vamos limitar o acesso, para isso vamos permitir:

User-agent: Googlebot-Image

Allow: /*

Estamos permitindo o acesso do robô de imagens do Google a qualquer área do nosso site e não vamos bloquear nada, para isso basta informar:

User-agent: Googlebot-Image

Allow: /*

Disallow:

E não colocar nada após. Se você quiser colocar uma barra:

Disallow: /

Você vai está desabilitando o site inteiro para esses mecânismos de busca e não é o que queremos. Uma outra coisa muito importante é que você deve informada dentro do “robots.txt” é a localização.

Nós do Como Criar Meu Site, já fizemos um vídeo ensinando a como criar seu Sitemap, utilizando um plugin do WordPress.

Se dermos uma olhada na listagem dos arquivos, na pasta “www” existe um arquivo, chamado “sitemap.xml”, está na pasta raiz do nosso site que se chama “comocriarmeusite.com.br”.

Vamos acessar o arquivo “robots.txt” e colocar (o endereço completo do sitemap, incluindo o protocolo "http://".

Sitemap: http://www.comocriarmeusite.com.br/sitemap.xml

Mantenha todas as letras do seu endereço em minúsculas, pronto! Essa é uma configuração básica do arquivo “robots.txt”. Em nosso caso, essa configuração básica já é suficiente. Na parte inferior da tela, clique em “Salvar”. A partir de agora, quando o Google, Yahoo ou Bing passarem pelo seu site, vão procurar pelo arquivo “robots.txt” e navegar apenas pela área que você habilitou com o item “Allow”.

A nossa recomendação é que você prepare o seu “sitemap”" e o “robots.txt”, antes de apresentar seu site ao Google, Yahoo ou Bing.

Continue acompanhando as nossas dicas sobre SEO que serão postadas em nosso site.

Tags:Robots.txt, SEO, Super Wordpress, Wordpress





Compartilhe:

Vídeos relacionados

Veja também

Outros destaques