robots.txt作用和写法 建站相关

robots.txt作用和写法

一、robots.txt是什么? robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分,或者指定搜索引擎只收录指定的内容。 当一个搜索引擎(又称搜索机器...
阅读全文