Para que serve o Robots.txt

1 minute read

O arquivo robots.txt serve para informar aos mecanismos de pesquisa (Google, Bing, Yahoo! e outros) quais URLs podem ser acessadas no site.