[利为汇SEO课程]2-4-4-5:SEO基础-robots

微克网推荐阅读值:★★★☆☆ 等级:初级SEO

[利为汇SEO课程]2-4-4-5:SEO基础-robots
内容大纲:
a、概念:
搜索引擎使用爬虫程序自动访问互联网上的网页并获取网页信息。爬虫在访问一个网站时,首先会检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件,这个文件是用于指定爬虫在您网站上的抓取范围。
robots文件就是一个协议。
您可以在您的网站中创建一个robots.txt,在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
也许您对下面的内容感兴趣“robots.txt文件放在哪里?”、“robots.txt文件的格式【标准写法】”和“robots.txt文件用法举例



发表评论