【广州微勤网络科技有限公司】主营:网站建设|网页设计|网站推广优化|APP开发|微信公众平台制作|小程序开发|H5网站 关于微勤网络 | 联系我们 | 15013057453
当前位置:首页 » 新闻资讯 » Robots文件的相关知识

Robots文件的相关知识

发表:2019-09-10 | 阅读:357 | 作者:微勤广州网站建设

Robots文件在网站优化中是一个很重要的文件,搜索引擎爬行网站第一个抓取的文件就是Robots文件。robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过该文件,搜索引擎就可以知道在你的网站中哪些文件是可以被索引的,哪些文件是被拒绝索引的。那么关于Robots文件的知识你又知道多少呢?今天微勤广州网站建设就带大家了解一下

一、robots.txt 文件的定义 

Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

二、robots.txt文件的作用

robots.txt文件主要用来告诉搜索引擎蜘蛛网站哪些内容是可以爬行和抓取的,哪些页面是被屏蔽的,不能爬行和抓取,例如我们可以通过robots.txt文件屏蔽网站的死链接、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面和阻止搜索引擎索引网站隐私性的内容

三、robots.txt文件注意事项

1、必须放置在一个站点的根目录下;

2、文件名必须全部小写;

3、最好是UTF-8编码。

四、robots.txt文件的基本语法

1、User-agent,搜索引擎蜘蛛的名称;常见蜘蛛名称见文末。

2、Disallow,要拦截的部分,禁止蜘蛛访问的部分。

3、Allow,放行的部分,允许蜘蛛访问的部分。

4、Sitemap,网站地图索引文件。

五、robots.txt文件常见的用法举例

例子1:禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow:/

例子2:允许所有搜索引擎访问网站任何部分
User-agent: *
allow:/
或者创建一个空白的robots.txt文件放在根目录

如没特殊注明,文章均为广州网站建设公司微勤网络原创,转载请注明来自http://www.gzweiqin.com

咨询热线:
15013057453
在线客服:
客服一
客服二

官方微信站:
公司官网: www.gzweiqin.com