QQ咨询

电话咨询

12345678901

微信咨询

申请体验

TOP

导航关闭
微勤广州网站建设
广州网站建设公司联系电话15013057453
广州网站建设公司联系人付先生
广州网站建设公司QQ411733402
广州网站建设公司邮箱weiqin@gzweiqin.com
广州网站建设公司地址广州地址:广州市番禺区市桥沙头街道丹山新村瑞龙北街五巷24号
广州网站建设公司地址清远地址:清远市英德市维多利亚广场7栋1308

广州网站建设告诉你Robots文件的相关知识

发布者:微勤广州网站建设 |发布时间:2021-03-12|文章浏览量814

Robots文件在网站优化中是一个很重要的文件,搜索引擎爬行网站第一个抓取的文件就是Robots文件。robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过该文件,搜索引擎就可以知道在你的网站中哪些文件是可以被索引的,哪些文件是被拒绝索引的。那么关于Robots文件的知识你又知道多少呢?今天微勤广州网站建设就带大家了解一下。

一、robots.txt 文件的定义 

Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

二、robots.txt文件的作用

robots.txt文件主要用来告诉搜索引擎蜘蛛网站哪些内容是可以爬行和抓取的,哪些页面是被屏蔽的,不能爬行和抓取,例如我们可以通过robots.txt文件屏蔽网站的死链接、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面和阻止搜索引擎索引网站隐私性的内容

三、robots.txt文件注意事项

1、必须放置在一个站点的根目录下;

2、文件名必须全部小写;

3、最好是UTF-8编码。

四、robots.txt文件的基本语法

1、User-agent,搜索引擎蜘蛛的名称;常见蜘蛛名称见文末。

2、Disallow,要拦截的部分,禁止蜘蛛访问的部分。

3、Allow,放行的部分,允许蜘蛛访问的部分。

4、Sitemap,网站地图索引文件。

五、robots.txt文件常见的用法举例

例子1:禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow:/

例子2:允许所有搜索引擎访问网站任何部分

User-agent: *

allow:/

或者创建一个空白的robots.txt文件放在根目录

本文由广州网站建设团队微勤网络整编而成,如需了解更多网站建设资讯、案例、各种网站建设知识可以联系广州网站建设公司微勤网络专业项目经理进行一对一问答

本文地址:广州网站建设告诉你Robots文件的相关知识:http://www.gzweiqin.com/seo/99.html

微勤广州网站建设

广州微勤网络有限公司

广州网站建设公司地址 广州地址:广州市番禺区市桥沙头街道丹山新村瑞龙北街五巷24号
广州网站建设公司地址 清远地址:清远市英德市维多利亚广场7栋1308
广州网站建设联系电话 15013057453 / 14749357375
广州网站建设联系QQ 411733402 / 1799126254
Copyright © 2019 微勤网络 All Right Reserved 粤ICP备18141229号
本网站设计、源代码及其所展示之作品著作权均属于微勤网络,保留所有权利