O Arquivo robots.txt conhecido também como Robot exclusion standart ou robot exclusion protocol permite que os mecanismos de buscas possam identificar quais pastas e artigos devem ser lidos no site. ...