加拿大预测网-在线预测

信息动态

网站设计是技术与创意的完美融合!

技术资讯

为什么要将网站地图链接放在robots.txt？

2011-10-24 11:57:02

如何将网站地图放在robots.txt？𒉰怎样将网站地图链接放在robots.txt？网站地图链接放在robots.txt文件里的用处🐭有哪些？之所以这样做，目的是为了网站管理员不用到每个搜索引擎的站长工具或者相似的站长部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就会抓取robots.txt文件，读取其中的sitemap路径，接着抓取其中相链接的网页。

这里基于一个假设，robots.txt已然是一个标准，在青岛网站建设时候每个网站至少都有一个，而sitemap还正在建立标准中，这样的做法，可以让大家在青岛网站设计管理中减轻工作，而且如果他们不需要更为详细的索引和搜索的资✨料的话，那么就只需要包括sitemap到ro🏅bots.txt就可以了。

各大搜索引擎都发布𓆏了对网站地图的新的支持方式，就是在robots.txt文件里直接包括sitemap文件的链接。目前对此表示支持的搜索引擎公司有Google， Yahoo，而中文搜索引擎公司，显然不在这个圈子内。

这样做的好处就是，网站管理员不用到每个搜索引擎的站🧸长工具或者相似的站长部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就🌳会抓取robots.txt文件，读取其中的sitemap路径，接着抓取其中相链接的网页。

好，废话少说，让我们现在修改robots.txt文件吧。

例如力图数字科技网站域名是bynetsys.com，修改如下：

# # robots.txt for bynetsys.com # Version 2009.04.04 # User-agent: *
Disallow: /function/
Disallow: /FCKeditor/
Disallow: /CACHE/
Disallow: /SCRIPT/
Disallow: /ADMIN/
Disallow: /wap.asp
Disallow: /cmd.asp
Sitemap: //bynetsys.com/sitemap.xml

0532-85810878 473587358 扫码添加微信

加拿大预测网-在线预测:扫码添加微信

 扫码关注公众号

加拿大预测网-在线预测:官方公众号

 2054585360